2024汽车AI大模型TOP10分析报告-佐思汽研-2024-59页.pdf

预训练语言模型

预训练微调
从海量数据中自动学习知识

ØBig-dataDriven，模型基于大规模语料训练而成；

将模型在大规模无标注数据上进将模型在下游各种自然语言处理任ØMulti-tasksAdaptive，支持多种任务，包括自然
行自监督训练得到预训练模型务上的小规模有标注数据进行微调语言生成NLG和自然语言理解NLU类的任务；
得到适配模型
ØFew-shot(Zero-shot)，在少甚至无标注样本的
条件下支持推理（自监督学习）。

AI大模型就是预训练语言模型
通过在大规模宽泛的数据上进行训练后能适应一系列下游任务的模型

预训练语⾔模型“预训练+微调”技术范式

⼤规模⽆标注不同特定任务测试数据
⽂本数据有标注训练数据

模型预训练模型微调最终模型

产业研究战略规划技术咨询2
Ø2017年，Google提出Transformer框架在机器翻译中取得显著进步，其分布式学习和强大编码能力受到广泛关注。
Ø2018年Google和OpenAI基于Transformer提出了预训练语言模型BERT和GPT，显著提高了NLP任务的性能，并展示出广泛的通用性。

众多预训练模型相继涌现，OpenAI以GPT2、GPT-3、ChatGPT等系列模型为代表，持续引领大模型时代的浪潮

大模型发展历程

跨模态模型
计
感算AlexNetCANResNetViTDALLE2GPT-4V
(Gioodfellow.
机(图灵奖得主(MSR.(Google)(OpenAI)(OpenAI)
知图灵奖得主
Hinton)
视Bengio)引用183222)
觉

201220132014201520162017201820192020202220222023

自
然Word2VecAttentionTransformer(BERTGPT-2GPT-3FoundationPaLMChatGPT
认语(Google.(图灵奖得主Google.(Google)(OpenAI)(OpenAI)Model(Google)(OpenAI)
引用78550)Bengio)引用91332)
GPT(Stanford)
知言ERNIE(百度)CPM(智源)
(OpenAI)GLM(洁华)
处
理预训练模型大模型

来源：大模型驱动的群体智能行业白皮书

产业研究战略规划技术咨询3
大模型参数规模不断增长，推动AIGC技术升级。AIGC技术发展的背后是大模型（FoundationModels）技术的持续迭代。从2017年Transformer结构的提

出，加速了深度学习模型的参数学习能力。另一方面，GPU算力也在指数级增长。

图1：2018-2023年模型参数规模变化图图2：CPU与GPU算力演进比较

来源：中国人工智能系列白皮书来源：techovedas，国元证券

产业研究战略规划技术咨询4
英伟达每2年推出一个微架构，对产品线进行升级，6月2日，英伟达在Computex2024大会上发布了至2027年的芯片路线图，GPU迭代
周期由2年缩短到1年，走类似英特尔的Tick-Tock模式（一年工艺一年架构）。同时，英伟达践行“BuyMoreSaveMore”让算力成本
指数级下降。

图3：英伟达GPU架构演进图图4：训练芯片算力成本呈下降趋势

Ø我国高端GPU芯片进口从2019年以来就一直有被限制，只是之前主要针对的厂商是AMD，在应用场景上又以超算中心为主；

Ø2023年10月17日，美国加强了面向中国市场的AI芯片禁令。其中明确将性能、密度作为出口管制标准，将单芯片超过300teraflops算力，以及性能密度超
过每平方毫米370gigaflops的芯片都纳入了禁止出口行列。禁令涉及A100、H100等主流AI训练用英伟达GPU。

来源：浙商证券研究所、华泰证券研究所

产业研究战略规划技术咨询5
中国在高质量数据获取方面面临挑战，
中国科技企业的市场导向和商业化压力
主要由于缺乏完善的数据法规、行业内
行业高精商业化常使得大厂技术部门在追求KPI的同时，
固有的竞争性保密性，对开源合作文化
难以专注于前言技术的研发
的不足数据短缺压力大

相较于英文、中文高质量开源数据非常
中国科技企业较少开展全球化经营，
少，特别是在构建通用领域大模型的百
中文语料全球化导致在营收、人才获取、全球化商业
科类、问答类、图书贡献、学术论文、
短缺经营场景方面制约明显
报告杂志等高质量内容数据人才

发展AI大模型相关的软硬件技术需要大量
人才，大量的优秀本科生选择出国深造，
由于各类政策管制和商业模式复制壁垒数据和语料人才流失与而其中超过60%的毕业生选择在海外工作，
低，导致的基础数据和语言语料同质化人才短