李彦宏谈大模型认知误区：打榜不能证明能力，未来差距或越来越大

记者9月12日获悉，百度创始人李彦宏近日在一次和员工的交流中谈及了三个大模型认知误区。他认为，打榜不能证明大模型的能力，模型之间的差距是多维的；闭源模型是商业化模型；开源模型效率不行，无法解决算力问题，同时强调百度把智能体作为大模型最重要的战略、最重要的发展方向，并解释了原因。



此外，李彦宏认为未来大模型之间的差距可能会越来越大。他表示，大模型的天花板很高，现在距离理想情况还相差非常远，所以模型要不断快速迭代、更新和升级；需要几年、十几年如一日地投入，不断满足用户需求，降本增效。



打榜不能证明能力 模型之间的差距是多维的

随着国内大模型企业数量越来越多，有观点认为，大模型之间的能力已经没有壁垒了，对此，李彦宏进行了反驳。

他认为，虽然大模型在测试集或一些榜单来说，得分已经跟GPT-4o差不多了，甚至在某些单项上得分已经超过它了，但并不能证明这些新发的模型跟最先进的模型差距没有那么大。模型之间的差距是多维度的，一个维度是能力方面，不管是理解能力、生成能力、逻辑推理能力还是记忆能力等这些基本能力上的差距；另一个维度是成本方面，你想具备这个能力或者想回答这些问题，你付出的成本是多少？有些模型可能推理速度很慢，虽然也达到同样的效果了，但实际上它的体验还是不如最先进的模型。

“还有就是对于测试集的over-,每一个想证明自己能力的模型都会去打榜，打榜时他就要猜别人到底在测什么、哪些题我用什么样的技巧才能做对，所以从榜单或者测试集上看，你觉得能力已经很接近了，但到实际应用中还是有明显差距的。在实际使用过程当中，我不允许我们的技术人员去打榜，真正衡量文心大模型能力的是，你在具体应用场景当中到底有没有能够满足用户的需求，有没有能够产生价值的增益，这是我们真正在乎的。”李彦宏表示。

“所谓的领先12个月或者落后18个月，我认为没有那么重要。我们每个公司都处在完全竞争的市场环境中，你不管做什么方向都有很多竞争对手，如果你能永远保证领先对手12-18个月，那是天下无敌的，不要觉得12—18个月是很短的时间，哪怕你能保证永远领先竞争对手6个月，那就赢了，你的市场份额可能是70%，而对手可能仅为20%甚至10%的份额。”李彦宏说。

闭源模型是商业化模型 开源模型效率不行

当前，开源大模型的发展如火如荼，而百度的文心一言采取的是闭源模式。当开源模型缩小与闭源模型的差距，会摧毁闭源大模型公司的商业模式吗？

对此，李彦宏认为，一个模型除了能力或效果之外还要看效率，效率上开源模型是不行的，“闭源模型准确地讲应该叫商业模型，商业化的模型是无数个用户或者说客户在共享同样的资源，在分摊研发成本、分摊推理用的机器资源和GPU，而开源模型需要你自己去部署一套东西，部署之后GPU的使用率是多少呢？我们的文心大模型3.5、4.0，使用率都是90%多，你部署一个开源模型有多少人在用？我们对外讲文心大模型每天调用量超过6亿，每天生成的token数超过万亿，哪个开源模型可以说自己一天调用量是多少、生成了多少token？没有人用的话成本怎么分担？推理成本怎么能够跟商业化模型相比呢？”



在李彦宏看来，过去开源意味着免费、意味着成本低的习惯性思维在大模型时代不成立，“大模型时代大家经常讲的是GPU有多贵，算力是决定大模型成败的一个关键因素，开源的模型给你送算力吗？它不给你送算力，怎么能够让算力高效地被利用？开源模型解决不了这个问题。”



“以前你买电脑的时候就已经为算力付费了，但大模型的推理不是这样，这个推理其实很贵。所以说开源大模型的价值在教学科研这些领域，要想搞清楚大模型的工作原理是啥，如果不知道源代码什么的肯定是有劣势的，但是真正在商业领域，当你追求的是效率、效果，追求的是最低的成本时，开源模型是没有优势的。”李彦宏说。



百度把智能体作为大模型最重要的战略、最重要的发展方向

当前，各家大模型平台下都有各式各样的智能体，文心一言也是坚持走“智能体”之路的公司，并且在新升级的“文小言”上还特意强调了记忆个性化功能。

李彦宏认为，之所以强调智能体，是因为大模型发展的过程必然要经历这几个阶段，一开始是对人进行辅助，再往下走就是Agent智能体，这种自动化程度再往下走就变成一个所谓的Al ，能够像人一样做各种各样的脑力和体力劳动，各方面的工作都可以独立完成。

他强调，“智能体是大模型最重要的发展方向”这个判断，其实是一个非共识，“百度大会上我们发了三个产品，其中和都是讲智能体的。当我们解释完了之后，有些人终于开始明白这东西确实有意思，能够产生价值，而且已经可以用相对比较低的门槛做出来大家感觉可用的东西。从那时候开始智能体的热度才慢慢上来，但是到今天为止智能体还不是共识，像百度这样把智能体作为大模型最重要的战略、最重要的发展方向的公司并不多。”

“为什么我们这么强调智能体？因为智能体的门槛确实很低，我们去年说要卷应用、大家都去做应用，其实很多人还是不知道该怎么做。智能体提供了一个非常直接、高效、简单的方式。智能体方面我们已经看到了趋势，也有比较好的先决条件，除了模型本身的能力比较强大之外，我们也有很好的分发通路。百度的App，尤其是百度搜索一天有数以亿计的人在用，用户的需求主动向我们表达了，哪一个智能体能更好地去回答他这些问题，去满足他这些需求，这是一个自然匹配的过程，所以我们是最能够帮助这些开发者分发他们智能体的。”李彦宏说。

新京报贝壳财经记者 罗亦丹

编辑 岳彩周

校对 穆祥桐