哈佛辍学生成立的初创公司 Etched 打造专用 AI 芯片 Sohu，速度超英伟达 H100 20 倍
电子发烧友网报道（文/周凯扬）近日，一家由哈佛辍学生成立的初创公司，宣布了他们在打造的一款“专用”AI芯片Sohu。据其声称该芯片的速度将是英伟达H100的20倍，但只能跑架构的模型。
Sohu，比H100快上20倍
之所以打算Sohu这一自研ASIC AI芯片，是因为认为GPU在性能升级上的速度太慢了。如果以H100的单位面积算力和交期作为参考，那么从2022年到2025年，英伟达的H100迭代至B200，2.5年的时间内性能只有15%的提升。所以要想有效提高性能的方式，只有走特化的ASIC芯片一途。
现在发布的任何AI芯片，在提到性能时，无疑都会把英伟达的H100作为对比参照，的Sohu也不例外。根据提供的数据，单个Sohu服务器运行Llama 70B时可以做到50万每秒，这一速度是单个H100服务器的20倍以上，也是单个B200服务器的10倍以上。
在服务器的配置上，Sohu服务器和H100服务器均采用的8卡的配置，所以强调一个的服务器就可以替换掉至少160个H100，大大降低成本的同时，也不会有性能损失。
由于Sohu仅支持一种算法，所以绝大多数的控制流模块都可以被剔除，芯片可以集成更多的数学计算单元，在算力利用率上可以达到90%以上，而GPU却只能做到30%。这也是因为在GPU的电路设计上，用于矩阵乘法的晶体管数量甚至没有占到10%。不过对于英伟达的设计还是相当佩服的，指出如果同时想支持CNN、LSTM、SSM等其他模型，确实很难做得比英伟达更好。
当然了，这里的测试条件也必须做一个说明，测试标准为FP8精度的Llama 70B，无稀疏，其中H100是基于最新版本的-LLM测试的，而B200由于还未交付，所以其性能是预估的。
为何专攻模型
市面上的AI芯片和GPU产品为了覆盖更灵活的客户需求，尽管不少都采用了ASIC的设计方案，但支持的模型却不会局限在一类。也在其官网列出了市面上一些竞品方案，包括英伟达的GPU、谷歌的TPU、亚马逊的、的IPU、的和英特尔的Gaudi等等，这些方案无一不对广泛的AI模型提供了支持。
但我们从市面上头部的模型来看，几乎占据主导地位的都是架构的模型，比如GPT、Sora、和 。很大方地表示，如果哪一天被SSM、RWKV或其他新的架构替代了，他们的芯片将变得一无是处，对于千变万化的AI市场而言，绝大多数厂商都不敢没法做出这样的预测。
而从2022年底，就赌模型将会统治整个市场。这在当时还没有的年代，是一个大胆的预测，毕竟当时图像生成还有基于CNN的U-Net，不少自动驾驶的视觉处理也还在广泛使用CNN。而且对于一个规模不算大的设计团队而言，维护单一架构的软件栈明显压力更小一些，他们只需要为编写驱动、内核即可。
写在最后
至于的这场豪赌是否能成功，还得看芯片的成品表现如何。虽然他们尝试的这条路线没人走过，但财力和研发能力均在他们之上的厂商也没能打造出超过英伟达GPU的竞品，硅谷的VC们能否造出新神，依然不能过早下定论。
