华福证券:2024-2026 年全球文本大模型 AI 训练侧 GPU 需求量预测及算力芯片服务器产业链关注建议

aixo 2024-06-05 09:12:18
算力 2024-06-05 09:12:18

华福证券发布研究报告称,根据侧算力供给需求公式,需求侧假设行业依然沿 Law发展方向进一步增长,供给侧通过对英伟达GPU的FP16算力、训练市场、算力利用率等进行假设,推导得出GPU需求量,以英伟达//下一代GPU卡FP16算力衡量,该行认为2024-2026年全球文本大模型AI训练侧GPU需求量为271/592/1244万张。建议关注算力芯片及服务器产业链。

华福证券主要观点如下:

需求侧: Law驱动大模型算力需求不减

Law仍然是当下驱动行业发展的重要标准。 Law的基本原理是,模型的最终性能主要与计算量、模型参数量和数据大小三者相关,当不受其他两个因素制约时,模型性能与每个因素都呈现幂律关系。因此,为了提升模型性能,模型参数量和数据大小需要同步放大,从大模型数量上看,近年来呈现爆发式增长趋势,且由于尖端AI模型对于资源投入的大量需求,产业界对于大模型的影响力逐步加深,该行统计了产业界诸多公开披露的大模型训练数据,从大模型算力需求来看,GPT-3到GPT-4参数上从175B快速提升到1.8TB(提升9倍),训练数据量(Token数)同方向快速增长,由0.3TB提升至13TB(提升42倍)。绝对值上看,根据该行的非完全统计情况,国内外主流大模型在参数量上基本已来到千亿量级,在预训练数据规模上均已来到个位数乃至十位数的TB量级。

供给侧:黄氏定律推动英伟达GPU一路高歌

英伟达GPU持续引领全球AI算力发展,虽然“摩尔定律”逐步放缓,但“黄氏定律”仍在支撑英伟达GPU算力快速提升,一方面,英伟达寻求制程工艺迭代、更大的HBM容量和带宽、双die设计等方法,另一方面,数据精度的降低起到关键作用,首度支持FP4新格式,虽然低精度可能会存在应用上的局限性,但不失为一种算力提升策略。若仅考虑英伟达FP16算力,A100/H100/GB200产品的FP16算力分别为前代产品的2.5/6.3/2.5倍,在数量级上持续爆发,自2017年至今,GB200的FP16算力已达到V100的40倍。与之对比,AI大模型参数的爆发速度相对更快,以GPT为例,2018年至2023年,GPT系列模型从1亿参数规模大幅提升至18000亿,相较于AI大模型由 Law驱动的参数爆发,GPU算力增速仍亟待提升,

结论:预计24-26年全球文本大模型训练卡需求为271/592/1244万张

该行根据侧算力供给需求公式,需求侧假设行业依然沿 Law发展方向进一步增长,供给侧通过对英伟达GPU的FP16算力、训练市场、算力利用率等进行假设,推导得出GPU需求量,以英伟达//下一代GPU卡FP16算力衡量,该行认为2024-2026年全球文本大模型AI训练侧GPU需求量为271/592/1244万张。