震惊！斯坦福 AI 团队被指抄袭中国国产大模型成果

金磊 西风 发自 凹非寺

量子位 | 公众号

家人们，大模型圈儿出了个惊天大瓜

——

斯坦福AI团队，竟然曝出了抄袭事件，而且抄袭的还是中国国产的大模型成果——模型结构和代码，几乎一模一样！跟任何抄袭事故一样……AI圈内都惊呆了。

斯坦福的这项研究叫做-V，是于5月29日新鲜发布，宣称只需要500美元就能训出一个SOTA多模态大模型，比GPT-4V、 Ultra、 Opus都强。

-V的3位作者或许是拥有名校头衔加持，又有特斯拉、的大厂相关背景，这个项目短短几天就受到了不小的关注。

甚至一度冲上了趋势榜首页：

然而，戏剧性的一幕开始上演了。

有位细心的网友发现，咦？这“配方”怎么如此的熟悉？

然后他定睛一看，好家伙，这不就是--V 2.5（出自清华系明星创业公司面壁智能）嘛。

于是这位网友便跑到面壁智能项目下开始爆料了：

你们家大模型被斯坦福团队抄袭了！

并且他还附上了一堆的证据，最直接的莫过于这张2个模型代码的对比图了：

Emmm……用这位网友的话来说就是：

模型结构、代码、配置文件，简直一模一样，只是变量名变了而已。

至于为什么这位网友要跑到面壁智能项目下面留言，是因为他之前已经给-V作者留过言了，但斯坦福团队的做法竟是删库跑路……

没错，现在不论是还是，统统都是404：

并且这事现在还在持续发酵的过程中，网上吃瓜的群众也是越来越多。

那么我先来一同回顾一下这件drama事情的始末。

“代码和架构一模一样”

正如刚才所述，一个网友爆料-V抄袭--V 2.5，跑到面壁智能的主页提醒团队注意，并把关键证据都一一截图列举整理了下来，这才有了整个抄袭门的还原现场。

以下是来自这位网友的证据。

证据一，-V的模型架构和代码与--V 2.5几乎完全相同：

看下面的例子，配置文件就改了图像切片、分词器、重采样器和数据加载等格式化和变量名：

-V作者表示参考了LLaVA-UHD架构，在ViT和LLM等选择上有一些差异。但实际上，网友发现他们的具体实现在空间模式等很多方面都与LLaVA-UHD不同，却出奇与--V 2.5一致。

甚至，-V还用了--V 2.5的分词器，连--V 2.5定义的特殊符号都能“巧合”实属离谱。

证据二，网友质疑-V作者是如何在--V2.5项目发布之前就使用上--V2.5分词器的。

-V作者给的回复是这样婶儿的，说是用的面壁智能上一代-V-2项目的：

但事实却是，中，-V2与--V 2.5分词器分别是两个文件，文件大小也完全不同。

--V 2.5的分词器是用分词器加上-V系列模型的特殊token组成，而-V2的发布都在开源之前，怎么会有分词器。

证据三，-V作者随后无故删除了网友在-V页面上提交的质疑他们抄袭的问题。

而且，他们似乎对--V 2.5架构或他们自己的代码都不完全了解。

感知器重采样器（ ）是单层交叉注意力，而不是双层自注意力。但是下图所示-V的技术博客里作者的理解很明显是错的。

的激活也不用于训练多模态大语言模型，而仅用于预训练。

视觉特征提取不需要激活：

基于以上三点事实，这位网友认为足以证据证明-V项目窃取了--V 2.5项目的学术成果。

但还没完，他随后又补充了两点证据。

几天前，当这位网友尝试运行-V时，发现他们提供的代码无法与的一起使用，反馈问题没有得到作者回复。

于是网友把从下载的-V模型权重中的变量名改成了--V 2.5的，惊奇发现模型居然可以用-V代码成功运行。

此外，如果将高斯噪声（由单个标量参数化）添加到--V 2.5的，结果就是会得到一个行为与-V极其相似的模型。

收到网友的提醒后，--V 2.5团队这边也迅速展开了调查，他们按照网友的在上的说明，使用 -V的和--V 2.5的代码和配置文件正确获取了推理结果。

于是，一个更为关键性的证据出现了。

-V在一些未公开的实验性特征上表现出与--V 2.5高度相似的行为，而这些特征是根据--V 2.5团队内部数据训练的。

例如，识别清华简！

--V 2.5特有的功能之一是识别清华简，这是一种非常罕见、于战国时期写在竹子上的中国古代文字。

训练图像是从最近出土的文物中扫描出来的，由--V 2.5团队进行了标注，尚未公开发布。

而-V的识别情况和--V 2.5极为相似。

识别错误的情况竟也出奇一致：

--V 2.5团队还在1000 张竹简图像上测试了几种基于的视觉-语言模型，并比较了每对模型的预测精确匹配。

结果，每两个模型之间的重叠为零，而-V和--V 2.5之间的&&重叠达到了惊人的87%**。

此外，--V 2.5和-V甚至具有相似的错误分布。-V和--V 2.5分别做出 236和194个错误预测，重叠部分为182个。

且按照网友在上的指令获得的--V2.5-noisy显示出与-V几乎相同的定量结果，真令人匪夷所思……

在另一个--V 2.5内部数据上训练的未公开功能——上，也出现了同样的情况。

-V甚至和--V 2.5团队新定义的模式中犯的错误都一样。

鉴于这些结果，--V 2.5团队表示很难将这种不寻常的相似性解释为巧合，希望-V作者能对这个问题给出一个正式的解释。

斯坦福团队已删库跑路

虽然斯坦福的2位本科生已经下架了几乎所有与之相关的项目，但其实在此之前，他们最初在面对质疑的时候还是做出了些许的解释。

例如他们强调，-V这项工作的时间是要早于面壁智能的，只是使用了他们的。

不过作者对上的声明还是做了保留：

非常感谢那些在评论中指出与之前研究相似之处的人。

我们意识到我们的架构非常类似于的“--V 2.5，他们在实现上比我们抢先一步。

我们已经删除了关于作者的原始模型。

对此，一部分网友表示，既然选择删掉项目，那么就表示确实存在一定的问题。

不过另一方面，对于抄袭这事也有不一样的声音——

--V 2.5不也是在的基础上做的改良吗？不过连都直接拿来用就应该不算是借鉴了。

而就在刚刚，另一个戏剧性的事情发生了。

斯坦福的作者在中午时间做出了最新的回应：

但现在……这条回应又删掉了

而面壁智能这边，CEO李大海也做出了正式回应：

参考链接：

[1]

[2]

[3]

[4]

[5]

— 完 —