ChatGPT 以 GPT+RLHF 模型为核心支撑，为 AIGC 发展指明方向

ChatGPT 将海量训练数据与 Transformer 框架结合，在 GPT 模型的基础上通过 RLHF 模型提升交互聊天能力，实现了对自然语言的深度建模，Transformer 有望在未来 较长时间内成为 AIGC 语言L域的核心技术框架。

Transformer 架构为自然语言理解L域带来颠覆性变革，应用到 NLP、CV、生物、化 学等多L域。2017 年，谷歌跳出 RNN 和 CNN 的结构，提出了完全基于 Self-Attention 机 制的 Transformer 架构，当时在机器翻译任务上取得了颠覆性的进步。Transformer 由一个 编码器和一个解码器组成，且各自由若干个编码/解码模块堆叠而成，每个模块包含 MultiHead Attention 层、全连接层等功能不同的工作层。

Transformer 架构优势突出，计算效率、并行度、解释性均实现突破。相比于之前的 框架 Transformer 架构除了在计算的时间复杂度更优外，还有 3 大优势：

（1）可直接计算点乘结果，并行度G：对于数据序列 x1,x2……xn ，self-attention 可 以直接计算任意两节点的点乘结果，而 RNN 需要按照顺序从 x1 计算到 xn。

（2）一步计算，解决长时依赖问题：处理序列信息使，通常用要经过的路径长度衡量 性能，CNN 需要增加卷积层数来扩大视野，RNN 只能逐个进行计算，而 self-attention 只需 要一步矩阵计算就可以，更好地解决长时依赖问题。

（3）模型更可解释：self-attention 模型更可解释，attention 结果的分布可反映该模型 学习到了一些语法和语义信息。