汤姆猫投资的西湖心辰端到端语音对话模型成功研发,突破文本交流局限

aixo 2024-08-12 12:38:44
大模型 2024-08-12 12:38:44

自然语言处理hmm_自然语言处理_自然语言处理理论

8月9日,汤姆猫官微发布消息称,由其投资的大模型团队西湖心辰在AI多模态模型技术上取得重大进展,西湖心辰打造的端到端语音对话模型“心辰Lingo”正式研发成功,技术上突破了文本交流的局限,将带领人类与AI的交互迈向新的发展阶段。

公开资料显示,西湖心辰由西湖大学孵化而来,其创始人蓝振忠博士曾任谷歌人工智能研究院科学家,是谷歌大模型BERT轻量化版本“”的第一作者,负责过多个自然语言处理和计算视觉的项目,在生成式AI模型领域拥有深厚的技术背景与丰富的实战经验。

西湖心辰自成立以来吸引了国内多家机构的青睐,据天眼查资料,目前汤姆猫旗下子公司持有西湖心辰12.26%股权,是西湖心辰的第三大股东,也是其最大的法人股东。

汤姆猫相关负责人表示,与国内其他模型团队相较,西湖心辰多年来一直深耕多模态模型及情感交互方向,这是公司选择该团队的核心原因之一,因为覆盖语音、文本、图像等数据的多模态技术是公司实现“会聊天的汤姆猫”的重要基础。

此次西湖心辰发布的心辰Lingo语音对话模型,即为该团队在端到端语音交互技术上的突破性进展。官方资料介绍,在技术层面,心辰Lingo语音对话模型实现了多项前沿技术的融合与突破,具备实时打断、实时指令控制、超级拟人、能说会唱等能力,还能捕捉人类语音中的细微变化。这些数据的处理和分析,帮助心辰Lingo语音对话模型既能理解“你说了什么”,还具备了洞察言外之意的能力,真正明白“你想表达什么”。

西湖心辰相关人士表示,心辰Lingo模型的突破在于,不仅大大提高了人类与AI对话的自然流畅度,更关键的是,还赋予了其“倾听”“引导”与“共情”等情绪价值能力,使AI在满足“高智商”的基础上,可以与人类开展“高情商”的对话交流。

西湖心辰在端到端语音交互技术上的突破及心辰Lingo语音模型的正式发布,对上市公司汤姆猫来说,意味着“会聊天的汤姆猫”有望加速实现。上述汤姆猫负责人表示,心辰Lingo语音对话模型的能力也将在汤姆猫AI产品中体现。

根据汤姆猫披露的最新调研活动信息,由公司打造的AI智能语音机器人产品研发工作进展迅速,已完成工业设计、嵌入式硬件系统的设计及垂直模型的接入与调优,下一阶段公司将推进产品的量产评估及验证工作,尽快推向市场实现销售。

据悉,汤姆猫的垂直模型即为与西湖心辰共同打造的情感陪伴交互模型。该模型正开展调试与优化工作,将帮助汤姆猫AI产品实现个性化、高智商、高情商的陪伴交互。