传微软自研5000亿参数MAI-1模型！前Infection AI创始人领导

智东西5月8日消息，据外媒The Information 5月6日报道，微软正在训练一个5000亿参数的AI模型MAI-1，公司希望MAI-1能与OpenAI的GPT-4、谷歌的Gemini、Anthropic的Claude等先进模型有一战之力。

自2019年起，微软便与OpenAI展开合作，共同研发OpenAI旗下的生成式AI模型和支持这些模型训练的超级计算技术。据外媒报道，微软迄今共向OpenAI投资了130亿美元。据The Information称，微软打算在AI领域寻求一条独立发展的路径，因为目前微软的“Copilot”助手均依赖于OpenAI的技术。

微软公司正在AI领域采取一种双轨道发展策略，既开发成本较低、适合端侧运行的小语言模型，又着手于开发更先进的大语言模型。4月23日，微软开源了其小语言模型Phi-3-mini。

据内部人士透露，微软正在研发的MAI-1的规模将远超其曾训练的任何开源模型。MAI-1预计将拥有约5000亿个参数，虽然仍小于GPT-4的1万亿参数，但也足以使其成为一个庞大而复杂的模型。

微软的这一新模型将需要显著的计算能力和大量的训练数据，相应地，其成本也更为高昂。尽管MAI-1的具体用途尚未确定，The Information称微软愿意投资于AI技术的长期发展。

为了支持这一雄心勃勃的项目，微软正在配置大量的服务器集群，这些服务器配备了由英伟达生产的图形处理单元（GPU）。同时，公司正在积极训练MAI-1的数据集，包括使用GPT-4生成的文本以及互联网上的公共数据。

据悉，MAI-1的开发是由微软AI的首席执行官穆斯塔法·苏莱曼（Mustafa Suleyman）领导的，他曾在2010年担任DeepMind的创始人，随后于 2022 年加入Inflection AI担任首席执行官。其中，Inflection AI在今年三月末通过微软的“非直接收购”方式被并入微软。

The Information称，虽然微软纳入了Inflection AI大部分员工并以6.5亿美元的价格购买了该公司的知识产权，但MAI-1是微软自研发的模型，并非基于前者模型架构。两位微软内部员工透露，MAI-1在训练过程可能会用到Inflection AI的训练数据和技术。

根据知情人士透露，微软可能会在5月21到23日的微软Build开发者大会上展示MAI-1模型的更多细节，让我们敬请期待月末的消息。

来源：The Information