谷歌大模型 1.5 迭代显著,多项能力逼近或超越 GPT-4o

aixo 2024-05-30 13:48:28
大模型 2024-05-30 13:48:28

尽管亮相时被压了一头,但谷歌一直在悄悄迭代大模型,和最新大模型GPT-4o的差距已经显著缩小。最新测试结果显示, 1.5 Pro/在综合测试中排名第 2,逼近GPT-4o,轻量版 1.5 flash排名第9,超越 Llama-3-70b,接近GPT-4。

相比4月份的版本,免费的 Pro和Flash的能力有明显加强。且上下文长度可以达到100万token,远远超出GPT-4的12.8万token。

gpt4.0官网_GPT_gpt4

的中文能力更是惊艳,在中文测试中, Pro和双双超越GPT-4o,分别排在第一、第二位。

gpt4_GPT_gpt4.0官网

此外,在Hard 测试中,同样名列前茅。在Hard 测试中,大模型需要面对那些更具挑战性的问题, 1.5 Pro在这一测试中排名第二,仅次于GPT-4o.

gpt4.0官网_gpt4_GPT

从大模型置信区间( )来看,的测试结果也名列前茅。

gpt4_gpt4.0官网_GPT

值得一提的是,两周前,在 更新撞档GPT-4o发布时。因为羸弱的能力几乎引来了群嘲。根据多家科技博客的测评,即使谷歌已经对1.5 Pro进行了数月的改进,但从常识推理到多模态能力和代码能力,仍然无法与最新的GPT-4o模型相媲美。唯一亮点就是更大的上下文窗口。如今谷歌取得了如此神速的进步,显示出AI界届黄埔军校仍然有深厚的技术底蕴。

GPT