2020年5月底OpenAI发布了有史以来强的NLP预训练模型GPT-3，大的GPT-3模型参数达到了1750亿个参数。论文《Language Models are Few-Shot Learners》长达74页已发布在arXiv。
有网友估算大的GPT-3模型大小大约有700G，这个大小即使OpenAI公开模型，我们一般的电脑也无法使用。一般需要使用分布式集群才能把这个模型跑起来。虽然OpenAI没有公布论文的花费，不过有网友估计这篇论文大约花费了上千万美元用于模型训练。
如此惊人的模型在模型的设计上和训练上有什么特别之处吗？答案是没有。作者表示GPT-3的模型架构跟GPT-2是一样的，只是使用了更多的模型参数。模型训练也跟GPT-2是一样的，使用预测下一个词的方式来训练语言模型，只不过GPT-3训练时使用了更多的数据。
既然这样，那这只怪兽特别之处是什么？GPT-3论文的核心在于下图：
 |
| 商用机器人 Disinfection Robot 展厅机器人 智能垃圾站 轮式机器人底盘 迎宾机器人 移动机器人底盘 讲解机器人 紫外线消毒机器人 大屏机器人 雾化消毒机器人 服务机器人底盘 智能送餐机器人 雾化消毒机 机器人OEM代工厂 消毒机器人排名 智能配送机器人 图书馆机器人 导引机器人 移动消毒机器人 导诊机器人 迎宾接待机器人 前台机器人 导览机器人 酒店送物机器人 云迹科技润机器人 云迹酒店机器人 智能导诊机器人 |
