GPT-5 训练推迟,全球 AI 竞争转向 AI Agent 模型应用
随着 Law(尺度定律)遭遇瓶颈,GPT-5训练时间推迟,所以全球 AI 技术领域的竞争正在从 AI 模型“卷”向 AI Agent模型应用层面。
北京时间11月15日,美国公司发布桌面版新功能,支持理解、读写VS Code、Xcode等工具以开发应用。
早前有消息指,即将推出代号为“”新AI Agent(代理)应用,可模仿人类操作执行编写代码、预订酒店、机票等任务;同时,谷歌AI大模型移动版登陆苹果App Store应用商店上;此外,DeepL则推出实时文本翻译产品DeepL Voice,目前公司估值已超20亿美元。
相比海外,国内 AI Agent应用正在迅速发展,模型和应用正在同步突破。
作为快手创始人宿华最青睐的创业公司之一,成立十年的国内 AI 应用公司彩云科技,于11月13日发布业内首个基于架构的通用大模型“云锦天章”,可实现在虚构世界观的基础上,赋予小说人物编程、数学等基础能力,拥有长文扩写、缩写等能力,目前已经开始向C端和部分中小企业端提供服务。而这是最新一款非架构的14B(140亿)参数模型。
同时,基于架构,彩云科技还发布旗下AI RPG平台产品“彩云小梦”。
会后,彩云科技CEO袁行远对钛媒体App等表示,“(云锦天章是)世界最强的小说续写通用模型。”他认为,利用新的模型结构优化,用1%的资源达到了千亿模型同等效果,叠加后处理工作流到达AI的下个阶段,才有可能真正做到GPT-5。
“大模型基座调优(Pre- Model)这个事情,过去7年学术界、工业界(大家)都没什么进展,中国200多个大模型公司有哪一个不是架构?只有一个公司不是,就是彩云科技,而且我证明了这个东西它具有通用人工智能(AI)的潜力,且用更少的能源做到相同的效果。如果用1/10资源实现相同效果,那我们就不用百亿千亿参数规模训练。其他所有公司都用的是谷歌,因此只有彩云科技才能称之为‘全链路大模型公司’。”袁行远表示,中国不是做不出来,而是需要时间迎头赶上,最终得到好的结果。
彩云科技联合创始人、CEO袁行远
“100万DAU、ROI为正,是AI应用的死亡线”
彩云科技成立于2014年,是研发多款消费级应用产品的 AI 公司。
经过多年发展,彩云科技已孵化彩云天气、彩云小译、彩云小梦三款面向C端用户的AI产品,产品间接覆盖人数超过6亿人,并通过实施付费订阅等商业模式,实现了AI 技术商业化落地。可以说,彩云科技是国内为数不多能够实现盈利的 AI 公司。
创立彩云科技之前,袁行远曾在阿里巴巴从事算法方面的工作,并获山东科技大学数学系学士学位,清华大学经济管理学院硕士学位。然而,他从小就喜欢研究气象知识,因此并不希望安于现状,2012年,在集智俱乐部一场读书会上,与两位有相同想法的小伙伴一同创立了彩云科技。
袁行远坦言,公司创立一开始就是在想把一款天气工具进行“付费”,这在当时也是极少见的。而过去10年来,彩云科技的彩云天气、彩云小译、彩云小梦都以付费模式存在,实现了企业健康的商业循环。
其中,彩云天气是一款天气预测的APP,特色是通过AI技术“三维时空卷积神经网络”,实现国内首个分钟级天气预报,精度可以定位在街道级,C端累计用户超过5000万,DAU达到百万量级;彩云小译2017年上线,是全球首个中英同传APP,MAU在百万上下,有2.7万的付费用户,500万APP下载量,每天10亿翻译量;彩云小梦则于2021年上线1.0版本,是一款AI写小说的产品,同时发布海外版,如今升级3.5版本——AI RPG平台,拥有AI对话、世界设定创作等功能,而且可以进行虚拟人物对话交流,日产数亿字。目前60%用户在中国大陆,40%为海外用户。
“根据我做彩云天气的经验,你要做到一个确实能够提供出增益价值的产品,然后你花很多年的时间去培养这个增益价值的习惯性,再在这个基础上去做增值服务,通过它来收取一定的会员费用,这个是比较合理的一种方式。我很喜欢简单的商业模式,因为我们做技术的嘛,就是发挥自己擅长的部分,那简单的商业模式就是我提供一个服务,你愿意为这个服务付费。”袁行远认为,这是一种良性商业模式。
袁行远强调,100万DAU(每日活跃用户)、收入数亿元、ROI为正,这是他给自己定下一款AI应用的死亡线,从而维持一家公司或一款大模型的研发迭代。
“我觉得能跑到 100 万 DAU,是我自己给自己定的一个及格线或者生死存亡线吧。如果有100万日活,那么你就是一个社区创业平台,这个应该是能够活下来,并且能够拥有至少几亿收入,从而能持续维持大模型的研发。当然,这是否意味着100亿美元以下就不要做大模型了,也不是这个意思,全世界可能一共就那几个人(有百亿美金)。所以,这中间有一种‘平衡’(),这是一个度,这个游戏也许在1亿或1000万美金量级之上,就能够支持这个模型研究的迭代。”袁行远称。
与此同时,当前彩云科技全力实现新的大模型技术研发。
早在2017年,彩云科技就已经开始做NLP和大模型方面的工作,是国内最早做LLM(大型语言模型)的公司之一。
近期,彩云科技团队提出基于可动态组合的多头注意力(DCMHA)的框架,替换核心组件多头注意力模块(MHA),解除MHA注意力头的查找选择回路和变换回路的固定绑定,可根据输入动态组合,从而提升模型表达能力,相比架构性能提升1.7倍-2倍。今年ICML会议上,彩云科技团队的3篇论文,在录用平均分为4.25-6.33的情况下,获得平均7分这一高分。
11月13日活动上,袁行远表示,架构距离“理想模型架构”还有很大的提升空间,除了堆算力堆数据的“大力出奇迹”路线,模型架构创新同样大有可为。往小了说,在大模型领域,利用效率更高的模型架构,小公司也可以在与世界顶级AI企业的对抗中取得优势。往大了说,模型效率的提升,可以有效地降低 AI 升级迭代的成本,加速AI时代的到来。
“ Law告诉我们,随着算力的提升,模型更大、数据更多,模型效果会越来越好,但与之相应的,能耗也会越来越高,在 Law失效,AI 实现之前,或许我们地球的能源就已经无法支撑了。”袁行远表示,“没有效率的提升,AI就是镜花水月。”
实际上,外界最想知道袁行远和他的彩云科技的一件事是,宿华是如何投资的?
成立至今,彩云科技共进行了5轮正式融资,除种子轮由袁行远,及他的朋友、同学提供外,首笔天使轮融资,来自田溯宁的云天使基金、宽带资本;五源资本的A1轮融资,估值3000万美元;快手提供A2轮融资,投前估值翻倍,达到6000万美元;B1轮来自大湾区家园共同基金,2021年完成。
去年,快手创始人宿华个人投资了彩云科技B2轮,投前估值达到1.2亿美元。
袁行远表示,很多投资人对其技术一线判断很强,尽管他不是做大模型,但其技术判断是很敏锐的,他说“这个东西非常好,但我担忧的是社会以后怎么办”。最终,袁行远获得了上述投资人青睐,也让彩云科技获得了更多的训练大模型“弹药”。
“也有朋友说,为什么中国没有出,原因是什么呢?因为中国程序员水平不行。我觉得不能说是中国程序员水平不行;还有人说,是因为简体中文语料不行,我们是全球使用语言最多的、母语最多的人,我们创造的东西是最多,我觉得绝对不能说是我们语料不行,也不是中国程序员不行。我认为需要给我们一些时间,迎头赶上,最终我们会得到一个好的结果。”袁行远表示。
展望未来,袁行远已下定决心,将不遗余力地持续加大对 的研究与投入力度。
袁行远强调,所代表的模型结构优化这条路至少能发展10倍成长,未来 AI 真的很有可能取代刘慈欣的《三体》写作质量。当下,大家还是低估了 AI 的效果,如今让1/10的资源和参数量获得相同效果,这有望是GPT-5未来发展的路线选择。
以下是钛媒体App等与袁行远之间的部分对话,经钛媒体编辑整理:
袁行远:(涌现能力是)有的。我已经证明了这是伪命题,智能涌现大概在 6B(60亿参数)左右,(这是)学界的认知。
袁行远:从模型结构研究的这个角度讲,你可以去不断地 check(检查)这个事情,包括增加事实记忆力、互联网寻找、减少错误输出等方法。这是所谓的工作流check。
但我觉得现在问题不是“幻觉”,而是算力不足以去cover(覆盖)住你的问题规模,比如我要会诊,可能要很多人开会讨论俩小时去决定这个疑难杂症是什么病,人都需要很长时间,AI 更加需要算力支持。我觉得这个不是幻觉问题,而是“算力不够”的问题。
幻觉问题的话,就上述两个方式来尝试解决。此外,还有一点是,“幻觉”问题的本质是一个所谓“格式多于内容”,就是你要求大模型输出一个符合你认知的格式,它才有幻觉,否则它不知道,而人类大部分来讲会说不知道,你只要让大模型学会说不知道,那它的幻觉就会变少,所以这里面可能存在“应答率”和内容输出真实性的一个“博弈”。
对于云锦天章和彩云小梦来说,在小说创作这一部分,幻觉问题不会这么严重,甚至于它是一个正向作用。AI脑洞更大一些,可能会对作者更好,所以我们选了这样一个“赛道”。
袁行远:我做彩云天气的经验是,你要做到一个确实能够提供出增益价值的产品,然后花很多年时间去培养这个增益价值的习惯性。再在这个基础上去做增值服务,通过它来收取一定的会员费用,这个是我比较喜欢的一个方式。
因为我们做技术的嘛,就是发挥自己擅长的部分,那简单的商业模式就是我提供一个服务,你愿意为这个服务付费,而我就努力提高这个服务,你就一直为我这个好的服务付费,这个就很适合我。因为我们现在公司第一大收入就来自会员的连续订阅,我觉得这个是很好的。
还有一种新的“抽成模式”我觉得更好,你提供一个内容平台,然后这个游戏、小说内容平台通过 AI 辅助来产生,再让用户向内容创作者付费,你再从平台上抽手续费,手续费的收取是源于这个内容创作消耗平台 AI 能力,你的用户越多,你的网络规模效应越多,规模就越大。如果是100万日活的社区创业平台,至少几个亿的收入,(企业)应该是能够活下来的。
当然你说100亿美金以下不要做大模型,这也不现实,全世界可能一共就那几个人,那竞争就非常少,但如果你一个人自己硬要去做大模型,也不适合,所以这中间其实是有一个“度”,也许至少在1亿或1000万美金量级上,可以支持大模型结构研究迭代。
(本文首发于钛媒体App,作者|林志佳,编辑|胡润峰)