10 人小团队挑战 Meta,Hermes3 成 AI 界爆款制造机

aixo 2024-08-17 10:13:17
大模型 2024-08-17 10:13:17

一个仅有10人的小团队,竟然敢挑战科技巨头Meta的地位,这简直就是现实版的"大卫战胜歌利亚"!

这个名叫Nous 的初创公司可不是什么无名之辈。他们刚刚推出的,是基于.1的405B模型微调而成的。别看团队人数少,但他们的实力可不容小觑。这个"十人天团"已经成功微调了、Yi、Llama等多个模型,下载量突破3300万次,简直就是AI界的"爆款制造机"!

的出现,就像是给AI世界注入了一剂强心针。即便在FP8量化后,它的性能依然强劲得让人咂舌。这种优化不仅大幅降低了模型的VRAM和磁盘需求,还让能够在单个节点上运行,简直就是开发者的福音!

在对话能力上,简直就是个多面手。无论是长期记忆、多轮对话、角色扮演还是内部独白,它都能游刃有余。多亏了.1的128K上下文窗口,在保持对话连贯性方面简直就像是个经验丰富的外交官。

但的能耐可不止于此。它展示了一系列超越传统语言建模的高级能力,能够以精细且微妙的方式理解并评估生成文本的质量。这意味着它不仅能说会道,还能当个严格的文字评论家!

更令人惊叹的是,还集成了几项智能体能力,包括结构化输出、输出中间步骤、生成内部独白以实现透明决策等。这就好比给AI装上了一个"透明大脑",让我们能够一窥它的思考过程。

的训练过程堪称是一场AI界的"魔鬼训练"。它经历了监督微调(SFT)和直接偏好优化(DPO)两个阶段。团队花了整整5个月的时间来筛选和构建SFT数据集,这种专注和耐心简直让人肃然起敬。

Nous 这家成立于2023年的私人应用研究小组,总部位于纽约,简直就是AI界的"蛮族入侵者"。他们坚信开源的力量,誓要挑战封闭技术的创新限制。公司的口号响亮得让人热血沸腾:"我们挑战封闭技术将永远占据创新顶峰的假设,相反,我们提供强大的开源代码。"

短短一年多的时间里,Nous 就发布了5个数据集和89个模型,这种高产似乎在向世人宣告:大小并不重要,实力才是王道!

论文地址:

官方介绍:

备注:资讯来源基地

副业搞钱交流群

欢迎大家加入交流群, 扫码进入,畅谈AI赚钱心得,共享最新行业动态,发现潜在合作伙伴,迎接未来的赚钱机遇!。