“大模型一体机”在中国市场的热度更高

如果要找一个海内外大模型商业化探索的差异点，“一体机”应该榜上有名。

微软、谷歌、等，主要通过基于云的AI服务和API接口来实现商业化。当然也有硬件，比如英伟达推出的，就是面向边缘计算和AI应用的一款设备，可以用来在边缘场景中运行复杂的AI模型，但更多的是作为一个通用的AI计算平台，而不是集成了特定大模型的一体机。

与之相比，“大模型一体机”在中国市场的热度更高。主流AI大模型厂商、ICT服务商及ISV服务商，几乎全部下场了。

AI大模型厂商，如百度的千帆大模型一体机、科大讯飞的星火一体机、智谱AI的智谱GLM昇腾大模型一体机。ICT厂商和ISV服务商也都在积极推出各种场景化一体机，比如新华三面向政企客户的AIGC灵犀一体机，达观数据面向企业市场的“曹植”大模型一体机，商汤科技的金融大模型检索问答一体机，中软国际面向政府市场的“四问（问数、问视、问策、问服）”系列大模型一体机等。

大模型一体机，是一个非常有意思的赛道。

有人说，大模型一体机更符合国情，类似于“卖盒子”，也就是软硬结合，将软件带硬件盒子一起卖给客户，这在ToB/ToG市场很好用，因为更符合“拍板领导”的认知范围，不认可软件的价值，只愿意为看得见摸得着的硬资产付费。

大模型一体机，通过将计算硬件和AI大模型及相关支持软件，紧耦合封装在一起，方便客户使用大模型来实现AI应用，可以看作是AI版的“卖盒子”，是一种好的商业模式吗？

一体机里，除了大模型还有什么？

首先有必要搞清楚，大模型一体机究竟在卖什么？市面上的大模型一体机，主要由几个部分构成：

1. 硬件。大模型的训练和推理，需要大量的算力资源，涉及高性能AI硬件。大模型一体机搭载AI硬件，并针对模型进行优化调校。尤其是国产芯片，有数据显示，通过优化，可以将国产芯片性能提升20%-30%，吞吐量提升6-7倍，因此大模型一体机可以提供更高的算效。

2.大模型。满足客户使用大模型、开发AI应用的需求，大模型一体机中内置的大模型也各有特色。这里简单介绍两种，一种是单一大模型的一体机，比如软通动力联合百川智能推出的“软通-百川AI大模型一体机”，就预装了百川大模型。另一种是开源开放的大模型一体机，提供丰富的基座大模型让企业测试、调用，比如百度的千帆大模型一体机，除了内置百度自研的文心大模型，也提供Llama、、等十余个主流开源大模型。

3.全栈工具。通用场景的大模型，是无法直接被特定领域、垂直场景来使用的。举个例子，很多行业还没有高质量的语料，一些知识经验还没有被文本化、数据化，导致大模型无法充分学习。所以，想要用好大模型，很多企业还需要有工程师来进行数据治理，建立高质量的行业语料和知识库，做好提示词工程，开发业务友好的插件……从零搭建起全栈AI开发能力，有着不小的工程量。而大模型一体机，针对垂直场景进行过优化微调，集成了易用的平台化工具，可以将原本几个月的开发周期缩短到几天、几小时，实现特定行业专属大模型的快速部署。

4.支持服务。不同于传统软件，大模型需要持续学习，根据人类反馈和数据集及时更新迭代，具有很强的时效性，需要服务商更快、更有针对性地响应。而作为整体解决方案出售的大模型一体机，包含了一定程度的技术支持和服务，可以解决企业长期应用大模型的问题。

不难发现，相比单纯售卖AI服务和API的商业模式，开箱即用的大模型一体机，能够缩短部署周期、深度结合场景、打消落地门槛，是更符合当下产业现状的一种选择，也可以让更多企业更快地用好大模型。

大模型一体机，不等于传统盒子

国内企业纷纷推出大模型一体机时，我所在的一个行业群，有人表示：国内就是软件不值钱，硬件值钱。

提供服务和解决方案的商业模式，优于“卖盒子”，是一个业内流传已久的观念。

尤其是在传统企业软件和云计算领域，“卖盒子”被认为是市场不够成熟的无奈之选，因为以前很多甲方的领导不了解软件技术，觉得硬件更有科技含量。而在销售方式上，卖盒子壁垒不高，拼的不是产品创新，而是客情关系和酒量。商业回报上，卖盒子涉及定制成本、人力维护成本，无法像软件那样通过规模化获得非线性增长，干的都是苦活累活。

既然大模型一体机，也是将大模型及相关软件与硬件集成，作为一个整体产品出售来“卖盒子”。这种商业模式究竟好不好呢？

这里要明确，尽管都是将软硬件集成在一起售卖，但此一时彼一时，大模型一体机并不能等同于传统的“卖盒子”模式。

从市场源头的需求驱动力来看，购买一体机的用户，并非“不懂大模型”。

认为“卖盒子”比“卖软件服务”low，往往是觉得ToB市场的很多客户不懂软件，不明白为什么一张要卖那么贵，必须封装到盒子里才肯买单。

但今时今日，随着数字化、智能化的深入，各行各业的企业决策者，很少有人不认可大模型的价值，不认可数据工程、知识工程等“软实力”之于AI落地的意义。恰恰相反，大模型一体机的市场崛起，正是因为对应用大模型、开发专属大模型的迫切渴求。

如果说以前“卖盒子”有点买椟还珠的味道，那么现在，一体机中大模型这颗“明珠”在企业市场的认可度，是毋庸置疑的。

除了“软实力”的价值受到认可，大模型一体机的硬件，也更加多元化。

“卖盒子”的另一类诉求是，将硬件作为企业资产的一部分，更好估价，导致了硬件过度堆砌、脱离业务实际需求的情况。显然，大模型一体机市场，也并不是这样的。

我们注意到，大模型一体机的供应商，普遍会提供多种部署方案，既有低成本的轻量级一体机，也有针对大中型客户的定制化高配一体机，相当于中杯、大杯和超大杯。企业完全可以立足于业务场景的实际需求，选择最适合自己的硬件版本，无需重度投入过多的硬件资源。

“不是高配一体机买不起，而是轻量一体机更有性价比”，价值导向、实用导向驱动的大模型一体机，拼的主要是产品力，在供给和销售策略上也更合理、更市场化。

另外值得一提的是，“卖盒子”曾被认为是迎合了中国企业缺乏“安全感”的心理，进行（没有太大必要的）私有化本地部署。那么，支持本地部署、强调数据隔离与安全保障的大模型一体机，有必要吗？

相信了解大模型技术的读者，都会很快做出判断：很有必要。

大模型不同于传统的软件技术，其训练和推理都会涉及大量重要隐私数据，又存在“幻觉”问题，对数据监管和内容安全的担忧并非杞人忧天。

而大模型一体机的本地私有化部署，可以帮助企业实现数据隔离与网络隔离，减少数据传输及存储的风险，确保数据资产的安全性。不打消客观存在的安全顾虑，大模型是很难落地到“最后一公里”的。

所以，大模型一体机并不等于传统的“卖盒子”，而是从复杂产业实际出发的一种选择。

大模型一体机，到底谁在用？

当然，大模型一体机确有其用，并不意味着每一个开发者、每一家企业都适合。

相比大模型一体机少则几万、多则几十万的前期投入成本，通过API调用次数或计算资源计费，一个token只需要几分钱，初始成本更低。那么，这大模型一体机到底是谁在用啊？

有三类群体，应该将大模型一体机的集成方案，作为重点考量：

一是风险敏感型。

包括数据隐私安全风险，以及供应链断链风险。软硬件协同优化的一体机，可以让AI大模型在国产硬件上也有不错的性能表现。对于有信创需求的企事业单位，是更优解。

公开报道显示，基于昇腾AI硬件底座的软通AI训推一体化平台，就受到央国企、科技机构、教育、金融等领域客户的认可。

二是长期运营型。

一位开发者朋友，在调用了GPT4-Turbo之后表示：“太烧钱了！” 他所用的非代码调用场景，一次要花费0.5元，长期用是不可承受的，于是选择了能力更低的GPT-3.5+其他模型的组合拳。

大模型API基于token使用量的计费方式，虽然初始阶段看起来成本更低，但总体拥有成本（TCO）却未必。实践看来，企业应用AI，并不意味着所有任务都要使用云端先进大模型的完整能力。

大模型一体机提供的更丰富的模型选型、本地化部署、优化过的性能保障，可能让企业AI开发应用的全生命周期，打好“组合拳”。

三是非AI原生型。

大模型火爆之后，很多行业和企业才开始关注AI、使用AI，没有积累相关的开发能力和人才，对技术也是一知半解，这时候想要在自身的业务场景中快速上马大模型，可能要面临短期内资源紧缺的溢价情况，被迫在算力市场、人才市场进行竞价，试错成本更高。这时候，通过大模型一体机的小时级一站式交付、即插即用，可以快速试错。

比如一个普惠版的大模型一体机，不需要A100这类高端显卡，就可以帮助企业打造一个专属大模型，开发出小型的知识库应用或AIGC类应用，让业务智能化起来，让大模型不再遥远。

大模型的商业化探索还处于早期，用传统的眼光去看待新兴事物，未尝不是一种刻舟求剑。大模型不一定要捆绑硬件来凸显价值，但一定要结合硬件来充分释放价值。

从这个角度来说，大模型一体机的商业内核，与以往的“卖盒子”有本质的不同，或许能为企业市场带来一种全新的商业机遇。