NVIDIA Blackwell GPU 实测数据曝光:性能提升惊人,AI 训练推理的最佳平台
11月14日消息, GPU相当强悍,大家都知道,但到底有多强呢?
除了官方宣传数据,现在终于第一次看到了实测数据,来自 v4.1,考察AI训练推理性能的最佳平台。
对比对象是两代服务器HGX B200、HGX H200,前者包含多达八颗 GPU B200,单颗功耗高达1000W。
GPT-3预训练项目中,的性能相比上代翻了一番。
Llama 2 700亿参数微调项目中,的性能更是提升了多达2.2倍。
值得一提的是,平台具备-7 网卡、-2 交换机,再加上第五代互连总线,可以充分保障节点间的通信,可以平衡分配AI训练负载,整体效率更高。
比如同样的GPT-3 1750亿参数性能,需要多达256颗GPU,就只需要64颗。