苹果 AI 模型预训练采用谷歌处理器,英伟达 GPU 市场主导地位或受挑战

aixo 2024-07-30 08:20:02
大模型 2024-07-30 08:20:02

自然语言处理hmm_自然语言处理_自然语言处理语言

苹果周一表示,支撑其人工智能系统Apple 的人工智能模型是在谷歌设计的处理器上进行预训练的,这表明,在训练尖端人工智能方面,大型科技公司正在寻找英伟达以外的替代品。

苹果公司选择谷歌自主研发的张量处理单元(TPU)进行培训,这在该公司刚刚发表的一篇技术论文中有详细说明。另外,苹果周一发布了针对部分设备的Apple 预览版。

英伟达昂贵的图形处理单元(gpu)在高端人工智能训练芯片市场占据主导地位,在过去几年里,对gpu的需求如此之高,以至于很难获得所需的数量。、微软和都在他们的模型中使用英伟达的gpu,而其他科技公司,包括谷歌、Meta、甲骨文和特斯拉都在抢购英伟达的gpu,以构建他们的人工智能系统和产品。

Meta首席执行官马克·扎克伯格和首席执行官桑达尔·皮查伊上周都发表了评论,暗示他们的公司和业内其他公司可能在人工智能基础设施方面过度投资,但他们承认,否则的话,商业风险太高。

扎克伯格在与彭博社的艾米丽·张的播客中说:“落后的缺点是,你在未来10到15年最重要的技术方面处于劣势。”

苹果在其47页的论文中没有提到谷歌或英伟达,但确实指出其苹果基金会模型(AFM)和AFM服务器是在“云TPU集群”上训练的。这意味着苹果从云提供商那里租用了服务器来执行计算。

苹果公司在论文中表示:“该系统使我们能够有效地、可扩展地训练AFM模型,包括AFM-on-、AFM-和更大的模型。”

苹果和谷歌的代表没有回应置评请求。

苹果后来比许多同行公布了自己的人工智能计划,在于2022年底推出后不久,这些同行就大声拥抱了生成式人工智能。周一,苹果推出了Apple 。该系统包括几个新功能,比如Siri的全新外观,更好的自然语言处理和文本字段中人工智能生成的摘要。

在接下来的一年里,苹果公司计划推出基于生成式人工智能的功能,包括图像生成、表情符号生成和升级后的Siri,后者可以访问用户的个人信息,并在应用程序中采取行动。

在周一的论文中,苹果表示,设备上的AFM是在2048个TPU v5p芯片的单个“切片”上进行训练的。这是最先进的TPU,于去年12月首次推出。afm服务器是在8192 TPU v4芯片上进行训练的,这些芯片被配置为通过数据中心网络作为8个切片一起工作。

根据谷歌的网站,谷歌最新的tpu每小时的成本不到2美元,芯片需要提前三年预订才能使用。谷歌于2015年首次推出了用于内部工作负载的tpu,并于2017年向公众开放。它们现在是为人工智能设计的最成熟的定制芯片之一。

不过,谷歌仍然是英伟达的顶级客户之一。它使用英伟达的gpu(自己的tpu)来训练人工智能系统,并在其云平台上出售英伟达技术的使用权。

苹果公司此前表示,推理,即采用预先训练的人工智能模型并运行它来生成内容或做出预测,将部分在苹果公司自己的数据中心的芯片上完成。

这是第二篇关于苹果人工智能系统的技术论文,此前在6月份发表了一篇更通用的版本。苹果当时表示,它在开发人工智能模型时使用了tpu。

苹果定于周四收盘后公布季度业绩。