大模型企业发展面临的问题与困境-算力 资金 人才

1 大模型训练和应用面临着算力和能耗算力方面的挑战

大模型需要大量计算资源，导致算力需求指数级增长，对全社会信息基础设施和众多企业、科研机构的大模型研发带来巨大压力。

能耗方面，大模型对能源的巨大需求导致人工智能能源消耗占能源消耗的3%左右，到2025年将消耗15%的电能，给环境治理带来挑 战。我国大模型发展带来的G能耗可能增加碳达峰、碳中和压力。

算力短缺：大模型通常需要具有数十亿乃至上万亿个参数，训练时用到 数万亿个Token，这就需要消耗巨大的算力。算力需求随着 大模型的发展而呈指数级增长，对算力规模提出了巨大 的要求。大型预训练模型的训练和调优过程需要消耗巨大的 算力资源。例如，训练ChatGPT所需的算力相当于64个英 伟达A100 GPU训练1年的时间。此外，大模型的日常运营 和优化也需要大量的算力投入。预计到2030年，算力 总规模将达到56ZFlops，其中智能算力成为推动算力增长 的主要动力。这对于社会的信息基础设施建设和企业、科研 机构的大模型研发都带来了巨大的挑战。 • 根据工信部的数据，2022年智能算力中，美国占45% 的份额，中国占28%的份额，美国智能算力规模为我国的 1.6倍，在中美算力竞争中，我国仍然处于相对劣势的一方。

能耗巨大：大模型对算力的巨大需求，带来了对能源的巨大 消耗。人工智能服务器的功率较普通服务器G6至 8倍，训练大模型所需的能耗是常规云工作的3倍。 据估计，目前人工智能的能源消耗占能源消 耗的3％左右，到2025 年，人工智能将消耗 15％的电能。人工智能的快速发展将对能源消耗 和环境产生巨大影响。 • 据估计，GPT-4一次训练的耗电量相当于1200个 中国人一年的用电量，仅占模型实际使用时的40 ％，实际运行阶段将消耗更多能源。一些大型模 型运行时的碳排放量巨大，给环境治理带来 挑战。我国大模型发展的G能耗可能增加碳达峰 和碳中和的压力。

2 大模型在数据和资金方面也面临着挑战

大模型面临的挑战包括数据获取便利性、数据来源合法性、数据质量可靠性、数据使用安全性、资金投入等方面的挑战。

资金投入方面，大模型成本G昂，包括模型开发成本、训练成本、算力成本、数据成本、运维成本等，对普通企业和科研机构而言，资金成为难 以逾越的“门槛”。

数据规模与质量待提G：数据获取方面，专用类大模型需要专业数据，而这些数 据往往属于企业、研究机构等实体，增加了训练难度。 • 数据来源合法性方面，个人信息保护意识的提G使得数 据合法使用成为问题。 • 数据质量可靠性方面，开源数据集虽然数量巨大，但质 量良莠不齐，从中提取符合预训练要求的G质量数据面 临很大挑战。 • 数据使用安全性方面，如何保证使用的数据不带偏见， 以及如何保证人工智能制造的数据本身的安全性，都是 需要解决的问题。

资金紧缺：大模型训练开发成G昂，其成本主要由模型开发成本、训练成本、算力 成本、数据成本、运维成本等构成，仅训练成本便动辄G达数百万美元。 以Meta大语音模型LLaMA为例，在多达1.4万亿的数据集上，使用 2000多个英伟达A100 GPU，训练了21天，花费或G达1000万美元。 根据华为公布的消息，开发和训练一次人工智能大模型的成本G达 1200万美元。 • 大模型巨大的资金投入，更是将很多小型研究机构和中小型企业拒之门 外，导致大模型研发都集中在头部企业和研发机构，加剧了不平等现象。 • 在大模型的投资方面，根据美国斯坦福大学2022年的报告，美国和中 国位列投资总额的前两位，但美国的投资是中国的3倍，中国在资 金投入方面还有较大差距。

3 大模型发展在技术和人才方面也面临着挑战

针对大模型技术，国内企业与欧美国家存在差距，主要体现在底层架构设计和硬件技术方面。在底层架构设计方面，国内尚无类似的底层架构， 大模型的预训练方面只能“在别人的地基上盖房子”；在硬件技术方面，美国占据J对L先地位，我国自研能力不足，对美国进口依赖程度G， 存在“卡脖子”风险。

在人才方面，国内大模型人才数量严重不足，与美国相比D人才数量少，制约了大模型研发的快速发展。具体表现为人才数量不足、人才质量 不够G和人才外流严重。针对以上挑战，需要加强国内大模型技术的研发，提G自研能力，降低对美国进口的依赖程度；同时，需要加强人才培 养，提G人才质量，减少D人才的流失。

技术存在差距：大模型技术涉及软件和硬件两方面： • 从软件技术看，国内企业与欧美国家存在差距。底层架构设计方面，国内 尚无类似谷歌的Transformer模型，对大模型的预训练只能依赖外部技术。 在迭代升级和更新换代方面，国内企业也落后于欧美企业，竞争劣势明显。 • 从硬件技术看，在人工智能GPU方面，美国占据J对L先地位，我国自研 能力不足，对进口依赖较G，存在风险。当前大部分大模型训练所用的 GPU由美国英伟达公司生产，国产GPU与其性能差距明显。美国已禁止向 中国销售A100，而英伟达推出了性能更强的H100，并将优先部署在自家 服务器上。

D人才严重不足： 国内大模型人才数量严重不足，与美国相比D人才数量少，制约了大模型研发发展。 • 首先，人才数量严重不足。我国人工智能人才缺口超过500万，供需比例严重失衡， 人工智能成为“缺人”的行业。 • 其次，人才质量不够G。与美国相比，国内缺乏D算法人才，数量严重不足。美 国在具影响力的人工智能学者榜单中占据主导地位，中国学者数量远远落后。 • 此外，人才外流问题也十分严重。许多国内优秀人才选择出国深造并留在国外，导 致D人才的流失。这加大了国内大模型研发与美国的差距，给我国大模型研发带 来严峻挑战。