字节跳动豆包大模型日均 Tokens 使用量超 1.3 万亿,下半年 AI 应用元年加速到来

aixo 2024-09-25 00:14:34
大模型 2024-09-25 00:14:34

从今年5月字节跳动发布自研豆包大模型,并将API调用价格降至0.0008元/千——即低于当时行业价格的99.3%,四个月过去,豆包的日均调用数量已增长超过10倍。

在今日火山引擎AI创新巡展深圳站中,火山引擎总裁谭待宣布,**截至今年9月,豆包大模型日均使用量超过1.3万亿(今年五月的日均调用量为1200亿次),日均生成图片5000万张、日均处理语音85万小时。

“下半年是整个AI应用的元年,这个数字也进一步印证了这一观点。”**谭待如是称。

火山引擎总裁谭待

“当价格降十分之一,量就可能涨十倍。”至于低价大模型是否可持续,谭待在接受《科创板日报》等媒体采访时表示,他们当前主要关注的是应用覆盖,而不是收入。“要解锁新场景,意味着需要更强的模型能力,我们觉得这更有价值”。

在谭待看来,只有大的使用量,才能打磨出好模型,大幅降低模型推理的单位成本;而当大模型价格从以分计价到以厘计价,也才能帮助企业以更低成本加速业务创新。

不过,谭待也认为,面向B端市场的业务,首先其前提一定是要可持续,不能像2C业务一样考虑靠广告盈利。他并不认同外界对大模型厂商业务存在负毛利情况的看法,“2B产品要实现正毛利,我们有能力也有信心做到”。

火山引擎对大模型的定价策略,引来其他厂商的跟进。

以阿里云为例,继5月份将GPT-4级主力模型Qwen-Long价格直降97%之后,此次阿里云百炼平台上的三款通义千问主力模型也迎来了价格的大幅下调,其中Qwen-Turbo的价格降幅达到了85%

“阿里这次降价挺好,第一次没降到底,现在和我们一样了。”谭待表示,以前成本是创新的阻碍,现在降价后,从调用量来看已不再是阻碍。“接下来要做的是在这个价格基础上,提高质量和性能。其中质量指的就是让模型能力更强、更多元。”

目前豆包大模型家族中,已经覆盖了豆包通用模型、角色扮演模型、向量化模型等大语言模型,文生图模型、图生图模型等视觉大模型产品,以及语音识别模型、语音合成模型等语音大模型。

今日(9月24日),火山引擎宣布豆包大模型新增视频生成模型,还发布了豆包音乐模型和同声传译模型,实现对语言、语音、图像、视频等全模态的覆盖。

其中,新发布的豆包视频生成模型包括、两款大模型产品,并开启面向企业市场的邀测。据悉,目前豆包视频生成模型已在即梦AI内测版小范围测试,并将于今年国庆节后上传至火山方舟平台开放预约使用。

豆包视频生成模型定价暂时还未确定。谭待表示,视频模型和语言模型应用场景不同,定价逻辑也有所不同,比如要综合考虑新体验、老体验、迁移成本,最终能否广泛应用还取决于是否比以前生产力ROI提升很多。

此前豆包主力模型公布在企业市场价格低于行业的99%,外界猜测字节跳动是否会进一步通过自研算力芯片实现降本。不过字节方面已对相关消息予以否认,并表示其在芯片领域探索还处于初期阶段。

据悉,火山引擎此前曾推出自研DPU产品,来提供更高的带宽能力,提升计算和存储的传输效率,释放单机GPU算力。

谭待接受《科创板日报》记者采访进一步明确,火山引擎从第一天做云就强调软硬件全栈优化,但不意味着都由自己来做。其中硬件研发指的更多是计算、存储、网络,要做端到端优化,同时做好组合。

“比如DPU和视频编解码芯片我们自己做,CPU、GPU等和友商合作,通过工程能力做好混合级联调度提升性能和成本。”谭待表示,豆包Token能实现可持续低价的原因之一,就是他们在软硬件之间做了很多优化。

进入到AI时代,谭待关注到,B端市场的变化一方面是企业需求变得更慢了,并且核心需求就是降本增效;另一方面,AI应用从以前的自上而下规划,变为自下而上驱动创新。

因此,这对大模型厂商而言,挑战变成从卷价格走向卷性能、卷更好的模型能力和服务。

谭待表示,大模型的应用成本已经得到很好解决,价格已不再成为瓶颈,未来要保持性价比,进一步把能力做好。