奥特曼在 OpenAI 伦敦开发者日上的完整采访释出

aixo 2024-11-07 10:06:07
大模型 2024-11-07 10:06:07

衡宇 发自 凹非寺

量子位 | 公众号

奥特曼在伦敦开发者日上的最新采访,终于完整释出!

40分钟的采访过程中,奥特曼除了聊未来模型发展方向、Agent、和最尊敬的竞争对手(就是此前碎片式走漏风声的几个问题)外,还就 Law、半导体供应链、基础模型竞争成本、该雇佣什么年龄段的员工等十多个问题进行了快问快答。

当被问及站在 CEO这个位置上,有什么是他过去和现在都缺乏充分准备的。

奥特曼毫不避讳地表示:产品!

总体来说,我的弱点在产品方面。

现在公司需要我在这方面有更强大、更清晰的愿景。

有趣的是,如果让现年39岁的奥特曼回到23、24岁,他会考虑在垂直方向做一些AI相关的东西。

比如辅导人类学习的AI ,或者AI律师、AI CAD工程师什么的。

以下附上这场精彩采访的采访全文,部分段落在不更改其原意的基础上有所删改。

最后还有11个快问快答彩蛋~

内容速览

o1代表的推理模型这个方向对非常重要。

创业公司的主要业务不要对着现有模型打补丁。

难道大家已经忘了几年前的模型表现多糟糕吗?其实才过去没几年。

同样的价值下,更广泛、更容易获得、更便宜,那就代表着“非常强大”。

“开源”和“闭源但提供API”都很合理。

真正有趣的事应该是让Agent做一些人类不会或不能做的事(比如高并发推进项目)。

模型确实是贬值的资产。

如果你训练的模型落后,或者没有一个有粘性和价值的产品,那么的确可能很难获得投资回报。

将对o1进行多模态改进;在o1新范式下,预计基于图像的模型将迅猛发展。

对最自豪的事情,是反复去做一些新的、完全未经验证的事情。

世界上很多有才的人因为他们在糟糕的公司工作(或者其它原因),没办法充分发挥潜力。

员工缺乏经验并不意味着没有价值。

Law仍将有效,并持续相当长的时间。

用互联网技术变革来类比AI浪潮是一个不好的习惯,更愿意用晶体管来类比。

伦敦开发者日奥特曼采访实录

Q1:当我们展望未来,未来更多的是o1这样的模型,还是说可以期待参数更大的模型?

A:我们当然希望全面推进,但推理模型这个方向对我们来说特别重要。我们寄希望于用推理来解决许多多年来我们期待去完成的事。

比如,推理模型能够为新的科学做出贡献,帮助编写难度系数很高的代码——我认为这在很大程度上能推动世界向前发展。

所以可以期待一下o系列模型的快速改进,这的意义将非常重大。

Q2:也是从的未来计划出发,您怎么看待作为非技术创始人通过开发无代码工具来构建、拓展AI应用程序?

A:肯定会有那一天的。

我们的第一步是让那些懂得写代码的人具备更高的生产力;但落到最后,还是希望提供真正高质量的无代码工具。

目前已经有一些有意义的(无代码)工具,但如果想完全用无代码的方式来创建一家初创公司,还需假以时日。

Q3:有一个创始人提问说,当下,显然处于技术栈中的某个位置,将会走多远?如果花费大量时间来调整RAG系统,是不是一种浪费时间的行为——因为终将在应用程序中涵盖这一部分?

A:我们通常会回答说,将尽最大努力,并且坚信我们一定会让推出的模型变得越来越好。

如果你创建的是一家以“给小漏洞打补丁”为生的公司,不管是否顺利、正确地推进工作,对你的影响都不是那么大。

换个角度来说,如果你的公司会因为“的模型越来越好”而更加成功,你肯定会为此感到高兴的。

就比方说甲骨文公司偷偷跟你说,的o4会强得突破你的想象,你绝对乐开花了。

当然了,如果你非要挑一个o1-表现得不好的领域去深耕,勉强以此为基础,那你肯定会觉得我们的下一代模型不会像想象中表现得那么好。

——这就是我想告诉初创公司的。

我们相信,身处的改进轨道相当陡峭,现在模型的缺陷将会被后来者解决和弥补。

Q4:从一个创始人的角度来看,可能会在哪些地方(而不是另一些地方)取得成功?相信投资者们也很想了解这个问题,大家都不想投资亏钱。

A:将创造出数万亿美元的市值,具体来说,是通过使用AI来构建以前觉得不可能或者不切实际的产品与服务,来创造出市值新高。

我们希望推出的模型非常棒,让使用者无后顾之忧,只需要用它做想做的事情就是了。

在GPT-3.5的时代,95%的初创公司啊、人啊,都在打赌模型不会变得更好。

其实他们做的事情,我们早就预见GPT-4可以搞定,可以做得更好,不会再出现3.5时代模型会出的错了。如果创业者/开发者们做的事只是补全某一代模型的某个缺点,你就会发现这个缺点越来越无足轻重。

难道大家已经忘了几年前的模型表现多糟糕吗?其实才过去没几年。

但是机会遍地都是,所以乍一看给现有模型打补丁是不错的机会(所以就不去搞AI助教或者AI医疗顾问什么的)。

所以我才说,一开始的时候,95%的人肯定认为模型不会再改进,只有5%的人打赌模型会发展得越来越好。

不过我觉得现在的情况已经不是这样了。

大家现在反而觉得GPT-3.5进化到GPT-4的速度会是一种常态,但事实并非如此。好在我们内部员工都非常勤奋,我们知道将会发生什么。

Q5:软银孙正义说,AI每年都会创造9万亿美元的价值,这将抵消他所认为的每年9万亿美元的支出。看到这个说法的时候,您怎么想?

A:从数量级上来说,现在已经差不多了。AI显然会导致大量资金支出,同时创造大量的价值。

这种情况发生在每一次大型技术革命的过程中,AI显然是其中之一。

明年将是向下一代系统大力推进的一年。

刚才咱们谈到什么时候会出现无代码软件Agent,我无法给定一个准确的时间,但可以畅想一下,如果任何人都可以描述他们想要的整个公司的软件,这将为世界带来多少经济价值。

同样的价值下,更广泛、更容易获得、更便宜,那将非常强大。

还有一些其他的例子,比如我之前提到的医疗保健和教育,这两个领域对世界而言价值数万亿美元。

如果AI能够真正以不同于以往的方式实现这一点,我认为它带来的经济价值的具体数字根本不是重点,更别提导论到底是9万亿还是1万亿了。

但可以肯定,AI创造的价值确实令人难以置信。

Q6:开源是一种非常重要的方法。您如何看待开源在人工智能未来中的作用?内部讨论过“我们应该开源所有模型或其中某些模型”吗?

A:毋庸置疑,开源模型在生态中非常重要,而且现在市面上也有非常好的开源模型。

但我认为提供良好的服务和API也是有意义的——这很合理,人们会选择适合自己的方式。

Q7:您如何看待当今Agent的定义?对你来说,Agent是什么?

A:我没有充分考虑过这个问题,但我可以给Agent一个长期任务,并且尽可能少地去监督它的执行过程。

Q7':您认为人们对Agent的看法其实是错误的吗?

A:可能我们都没有一个准确的了解,但我们都知道一些重要的指标。

比如人们在谈论代表他们行事的AI Agent时,常常举的例子是让Agent去预定餐厅。Agent可能在线预订,或者给餐厅打电话订座。

确实,Agent可以帮忙做一些事节省时间。不过我认为真正有趣的事,应该是让Agent做一些人类不会或不能做的事。

打个比方,Agent不是打电话给具体某家餐厅订座,而是联系300家餐厅,找出哪家最适合我。如果打过去的电话都是Agent接的,那就更酷了!因为人类无法大规模并行推进这种事情。

再举个更有趣的例子。

Agent可能更像一个非常聪明的同事,你和它合作一个需要耗时2天或2周项目,Agent可以自己执行,还做得很好,在必要的时候它会跟你沟通,最后交出一份出色的成果。

Q7'':这是否从根本上改变了SaaS的定价方式?SaaS通常按用户数量定价(席位收费),但现在AI实际上在替代劳动力。你如何看待未来的定价方式?

A:我只能猜测一下,我真的不知道。

我可以想象一个世界,你可以要求说“我想要1/10/100个GPU不断地为我工作”,这就不会按席位收费,而是根据持续处理这个问题的计算量来定价。

Q7''':我们是否需要为的使用场景构建特定的模型?

A:它当然需要大量的基础设施,但我觉得o1模型指出了通向能够出色完成Agent任务的模型的道路。

Q8:每个人都说模型是贬值的资产,模型的商品化非常普遍。您对此有何回应和思考?当你考虑到训练模型所需的资本密集度不断增加时,我们是否会发现“这个领域需要大量的资金,但实际上只有很少人能做到”会发生逆转?

A:模型确实是贬值的资产,但这并不意味着它们不值训练投入的成本。更别提你训练模型的时候会产生积极的复合效应,让你能更好地训练下一个模型。

我们从模型中获得的实际收入证明了这项投资的合理性——当然,并非所有人都能做到这一点,而且有很多人在训练模型这件事上重复造轮子。

如果你训练的模型落后,或者没有一个有粘性和价值的产品,那么的确可能很难获得投资回报。

非常幸运地拥有,拥有数亿使用我们模型的用户。

所以即便成本很高,我们也可以把这个天文数字分摊到大量用户身上摊薄它。

Q9:随着时间推移,模型如何继续保持差异化?你最想专注于扩展这种差异化的领域是什么?

A:推理是我们当前最重要的关注领域,我认为这将解锁下一次在创造价值方面的巨大飞跃。

因此,我们将在各个方面改进模型,我们将进行多模态工作,并添加其他功能,我们认为这些功能对人们希望使用这些模型的方式非常重要。

Q9':你如何看待推理和多模态工作,包括挑战和你想要实现的目标?

A:我希望它能顺利实现。这显然需要一些努力才能完成。

但是人类的婴儿和幼儿时期,即擅长语言之前,仍然可以进行相当复杂的视觉推理。

Q9'':视觉能力将如何随着o1的新推理范式而扩展?

A:在不剧透的情况下,我预计基于图像的模型将迅猛发展。

你可以期待在图像模型方面的快速进展。

Q10:如何在核心推理方面取得突破?除了之外,是否需要开始推动强化学习作为一种途径或其他新技术?

A:这是两个问题:我们如何做到,以及之后是什么。

首先,我们如何做到是我们的秘诀。

复制已知有效的东西真的很容易,原因之一是你有信心知道什么是可能的。在研究人员做了一些事情之后,即使你不知道他们是如何做到的,你也可以去复刻它。这一点可以在GPT-4和o1的复制版中得到验证。

真正困难的事情,也是我对最自豪的事情,是我们反复去做一些新的、完全未经验证的事情。

很多机构、组织声称有能力能去做这样的事,但实际上很少有真正做到的,包括AI领域之外。

从某种意义上说,我认为这是对人类进步最重要的投入之一。

我期待在退休后想写一本书,一本介绍我学到了些什么的书,分享我如何建立一个能够做到这一点的组织和公司文化的经验(而不是一个单纯复制他人成果的组织)。

我认为世界需要更多这样的组织,虽然它的数量会被人类才智所限。

但现实情况是有大量人才被浪费了,因为这个世界不擅长建立这样的组织。但我还是希望有更多这样的组织。

Q11:人才是如何被浪费的?

A:世界上有很多有才的人,但因为他们在糟糕的公司工作,或者一些其它原因吧,没办法充分发挥他们的潜力。

我对AI最兴奋的一个点,就是我希望它能让我们更好地帮助每个人来发挥最大潜力。

这个目标远远没有达成。

我敢肯定,如果世界上很多人的人生轨迹稍有不同,他们都会是出色的AI研究人员。

Q12:在过去的几年里,你有一段令人难以置信的经历,(带领出)令人难以置信的高速增长。你提到退休时会写回忆录,那么当你回顾过去10年,你的领导方式有了什么样的显著变化?

A:对我而言,这几年最不同寻常的就是事情变化的速度。

在一家常规的公司,你有充足的时间去实现从0到1亿美元的营收,再从1亿到10亿,一直到100亿。你无需在两年内达成这个过程。我们确实并非传统意义上的硅谷初创公司,

我们不得不如此迅速地达成这一目标,有很多东西我本该花费更多时间去学习(但没有去学习)。

Q12':有什么东西是你不知道,且本希望花更多时间去学习的?

A:我说一个吧,就是“让公司专注于如何增长下一个10倍”,而不是增长10%。

这需要付出多大的努力?这件事有多困难?

如果是增长下一个10%,之前的有效的东西会仍然有效。但要让一家营收10亿美元的公司增长到营收100亿美元,那就不能简单重复之前做的事,而是需要大量的变革。

在一个人们甚至没有时间掌握基础知识的世界中,因为增长太快,我严重低估了马不停蹄向前冲刺到下一步所需付出的努力,同时又没有忽视我们必须做的其它一切。

Q13:Keith (硅谷投资人,前副总裁)说你应该雇佣非常年轻的、30 岁以下的人,这是彼得·蒂尔(Peter Thiel,创始人)教给他的建立伟大公司的秘诀。我很好奇,你如何看待这种观点?你如何平衡雇佣年轻的有活力但缺乏经验的人,与那些更有经验的人?

A:我们创办的时候,我就30岁左右,并不是特别特别年轻。

但目前为止,的进展似乎还不错~

Q13':你如何看待雇用30岁以下的人来工作?他们年轻、精力充沛、雄心勃勃,但经验较少(有的可能也很丰富)?

A:显而易见,答案是你可以通过雇佣两类人来取得成功。

我们的团队最近雇用了一个年轻人,他的工作令人惊叹。我都不懂这些人怎么能在如此年轻的时候把工作干得这么漂亮?!但这就是事实。

如果你能找到这样的人,他们会带来令人惊叹的新视角、能量等等。

另一方面,当设计一些人类有史以来最为复杂、最为昂贵的计算机系统时,我可不愿意押注于一个刚刚起步的人。

所以需要两者兼具。

我认为你真正想要的是一个由任何年龄段的人组成的极高人才标准,以及一个策略,即我只会雇用年轻人,或者我只会雇用年长的人。

我对 Y 最感激的事情之一是“缺乏经验并不意味着没有价值”。

有一些非常有潜力的人在职业生涯的初期就可以创造巨大的价值,我们应该把赌注押在这些人身上,这是一件伟大的事情。

Q15:有人跟我说,有时候的模型更适合编码任务,这是为什么?你认为这种评价公正吗?开发者该在什么时候选择而不是其他模型厂商呢?

A:没错,有一个非常擅长写代码的模型,令人印象深刻。

我认为开发者大多数时候都会使用好几个模型,而且随着Agent的作用越来越大,我不知道未来会如何发展。

我认为AI将无处不在,而我们目前谈论或思考它的方式感觉不太对。如果我必须描述清楚,我们会从讨论模型转向讨论系统,但这需要一些时间。

Q16:当我们考虑scale模型时,你认为在多少次模型迭代内, Law(缩放定律)仍将适用?人们普遍认为它不会持续太久,但它似乎持续的时间比人们想象的要长。

A:我理解这个问题的核心是“模型能力的改进是否会像过去那样?”

我相信答案是肯定的,并且会持续很长时间。

Q16':你怀疑过这件事吗?

A:完全没有。

Q16'':为什么?

A:我们遇到过我们不理解的行为,比如失败的训练运行,或其它各种各样的事情。

当我们接近一个范式的结束时,不得不想出下一个范式。

Q16''':哪一个是最难驾驭的?

A:当时研究GPT-4的时候,有一个问题非常棘手,我们真不知道怎么解决它。

虽然最后找到了解决办法, 但很长一段时间我们都不知道该如何推进这个项目。

后来我们转向我们长期以来感兴趣的方向,就是o1和推理模型,但在此之前经历了一条漫长而曲折的研究之路。

Q17:训练和运行都可能失败,保持士气是不是一件困难的事?你会如何保持/提振士气?

A:像你知道的那样,我们很多员工都对构建AGI这事儿是非兴奋,这是非常直接的动力。

没有人期望通往成功的这条路是轻松的、直线的。

有句话说得好,大概是说“我从不祈祷上帝站在我这边,我从来都是祈祷并希望自己站到上帝那边”。

在某种程度上,押注深度学习感觉就像站在了天使那侧,尽管你沿途会遇到一些大的绊脚石,但最终会发现它似乎总是会奏效。

因此,对此有深刻的信念对团队保持士气十分有利。

Q18:我可以问一个非常奇怪的问题吗?我最近听到一句很棒的话,“生活中最沉重的东西不是铁或金,而是未做出的决定”。哪一个未做出的决定最让你烦恼?

A:我每天做(及没做)的决定都不太一样,但没有一个是“大的”决定。

有一些重大的事情,比如是否会押注于下一个产品,或者我们是否会喜欢以这种或那种方式构建我们的下一台计算机——这些都有点像高风险的单向传送门,我会像其他人一样拖延很久。

但大多数情况下,困难的是每天都有些事情在投票比例为51:49的情况下让我最终拍板。这些事可能本身就是51:49的,而且我不觉得我能比其他人做得更好,但我又必须做最终决定。

Q18':当你要对这些51:49的事做决策时,你通常会打电话给谁?

A:没具体的谁。

如果做一切事情都要依靠一个人,我觉得是错误的。对我来说,正确的做法是有15或20个人为我建议,他们中每一个都在特定的领域有良好的直觉或背景。

你可以给(某个领域)最好的专家打电话咨询,而不是在各个方面都只依赖一个人。

Q19:接下来我想谈谈半导体供应链。你对半导体供应链有多担心?

A:我不知道如何量化这个担忧。

不可否认对它是担心的,但这不是我的首要担忧,但它在所有担忧的前10%之内。

我们已经陷入了太多的麻烦,已经超过了为此担心的阶段。

在某种程度上,我认为这一切都会顺利进行,但现在感觉有一个非常复杂的系统,每个层面都各自运作。在内部也是如此,在任何一个团队内部都是如此。

举个半导体的例子,你必须平衡电源可用性与正确的网络决策,以及能够及时获得足够的芯片,以及研究可能存在的任何风险并备好与之相交,这样你就不会被完全措手不及,或者手里拿着一个无法利用的系统。

“供应链”听起来太像一个了,但每个层次上的、整体生态系统的复杂性,是我在任何行业中前所未见的。

怎么说呢,这可能是我最大的担忧。

Q20:很多人把这一波AI浪潮与互联网相比较,尤其是在兴奋和热情方面。我觉得两者所耗费的金额还是有些不同。拉里·埃里森(甲骨文公司创始人)说进入基础模型竞赛的起点将花费1000亿美元,你同意这个说法吗?这是合理的吗?

A:不,我认为会花费更少。

在基础模型领域竞争的成本将不到1000亿美元。

一个有趣的现象是,每个人都喜欢用此前的技术革命作为例子,来谈论新的技术。我认为这是一个不好的习惯,但我理解人们为什么这样做。

在我眼中,人们用来类比AI的例子特别糟糕,显而易见的,互联网和AI非常不同。

你提到一个关于成本的事情,以及是否需要花费1000亿美元来竞争,但互联网革命的特征是那时候起步真的很容易,而且对不少公司来说,这一波浪潮只是互联网的延续。

就像有人制造了这些AI模型,你可以使用它们来构建各种伟大的东西;但如果你试图构建AI本身,那就完全不同了。

人们常用来类比AI的另一个例子是电力。出于很多原因,我觉得这也不合理。

我最喜欢用来类比的例子是晶体管。

这是一项新的物理发现,它具有令人难以置信的缩放特性,很快就渗透到了各个地方。

我们现在可以想象到摩尔定律之类的东西,就像人工智能的一系列定律告诉我们它会以多快的速度变得更好。

每个人都受益于它,整个科技行业都受益于它。产品和服务中有很多晶体管,但你并不真正将它们视为晶体管公司。

这是一个非常复杂、非常昂贵的工业过程,具有庞大的供应链。

基于这个非常简单的物理发现,带来了长期的巨大经济增长——尽管大多数时候你并没有考虑它。

你不会说“这是一个晶体管产品”,只会觉得“OK,这东西可以为我处理信息”。

你甚至会理所当然地忽视晶体管的存在。

快问快答彩蛋

Q1:如果你现在20岁出头,使用我们今天的基础设施,你会选择做什么?

A:某个AI支持的垂直领域,我会选择AI助教,或者我能想象到的最好的AI律师、AI医疗顾问,任何类似的东西。

Q2:如果你要写一本书,你会给它取什么名字?

A:我还没有准备好标题,除了部分我想写的东西,我还没有完整构想过这本书。

不过我认为它会与人类潜力有关。

Q3:在AI领域,有什么是没受到足够关注,但每个人都应该花更多时间在上面的?

A:某种能够理解你整个生活的AI,我希望看到有很多不同的方法可以解决这个问题。

并不一定需要真的有无限的上下文,但以某种方式,你可以拥有一个知道关于你的所有事情、可以访问你的所有数据的AI Agent。

Q4:上个月有什么事情让你感到惊讶,Sam?

A:一个我不能谈论的研究成果,但它好得令人震惊。

Q5:你最尊敬哪位竞争对手?为什么是他们?

A:我想说,我尊敬目前这个领域的每个人。

我认为整个领域充满了才华横溢、非常努力的人。

我不是在回避问题,我可以指出每个地方都有超级有才华的人,做着超级出色的工作。

Q6:告诉我,你最喜欢的 API是什么?

A:我认为新的实时API非常棒,我们现在有一个庞大的API 业务,里面有很多好东西。

Q7:你今天最尊敬AI领域的谁?

A:让我向团队致敬。

有很多人在AI方面做着令人难以置信的工作,但在使用AI、让AI提供真正神奇的体验、创造大量价值的方面,以人们之前没有想到的方式将这些部分拼凑在一起,我认为这是非常了不起的。

这个答案排除了里的人,不然我得说出一长串名字。

Q8:你如何看待延迟和准确性之间的权衡?

A:需要一个在延迟和准确性之间的刻度标准。我们正在做快问快答,我没有特意加快速度,但也尽量不想太久。

在这种情况下,你想要的是(降低)延迟。如果换成想在物理学上做出新的重要发现,就愿意多等待几年。

答案是,应该由用户控制这个权衡。

Q9:我相信每个人都会对自己的领导力感到不安,这种情况下,以及您希望改进自己的领导力领域时,作为的领导者、CEO,您最希望改进哪些方面?

A:这是一个很长的清单……我试图厘清排名第一的是哪一个。

这周最困扰我的事情是,我对我们产品策略的细节比过去还要不确定。

我认为该产品总体上是我的弱点,现在公司需要我在这方面有更强大、更清晰的愿景。

我们有一位出色的产品主管和一支出色的产品团队,但我希望在这个领域我能更强大。

Q10:你雇用了Kevin Weil(来担任CPO),我认识Kevin很多年了,他非常出色。是什么让你觉得Kevin是世界级的产品领导者?

A:“纪律”是我想到的第一个词。

我们将专注于我们要说“不”的事情,真正试图代表用户说为什么我们要做或不做某件事,真正努力不抱有幻想。

Q11:Sam,你接受了很多采访。

最后我想谈一谈,我们对有五年的展望和十年的展望。

A:如果我们是对的,我们可以轻松地在接下来两年内开始制造系统,帮助科学进步。

五年后,的技术进步速度会快到令人难以置信,完全可以用疯狂来描述。

第二点是,社会本身的变化实际上很小。

就像五年前问大家计算机是否会通过图灵测试,大家都会摇头。

如果你说一个神谕告诉你会怎么怎么样,他们会说:oh,这将会是一个疯狂的、惊人的社会变化。

而现在,我们确实通过了图灵测试,而且社会并没有发生太大的变化。

一切只是呼啸而过。

我期望不断发生的事情就是进步,科学进步,不断前进,以一种我认为良好和健康的方式超越所有期望,同时社会变化并没有那么大。

(完)

参考链接:

— 完 —