云知声山海多模态大模型:颠覆人机交互,开启 AGI 新范式

aixo 2024-08-26 16:10:42
大模型 2024-08-26 16:10:42

今年5月中旬,推出GPT-4o,凭借突破性的智能交互能力,颠覆了我们对人机交互的认知,掀起多模态大模型的新浪潮。

3个月后的今天,云知声推出山海多模态大模型,迎来属于我们的“Her时代”。通过整合跨模态信息,山海多模态大模型能够接收文本、音频、图像等多种形式作为输入,并实时生成文本、音频和图像的任意组合输出,带来实时多模态拟人交互体验,开启AGI新范式。

能听会说,更“声”动的语音交互

实时秒回,自由插话

山海语音交互与现实对话中人类的响应时间相似,用户几乎感知不到延迟,为用户提供了几乎无感知的流畅体验。此外,山海支持对话随时打断,用户可在对话中灵活插话,无需等待,交互过程自然不受阻碍。

感知情绪,表达情绪

在智能语音技术的加持下,山海不仅能通过语音文本判断用户情绪,更能细致捕捉用户语音的语气、节奏和音调等微妙变化,从而更准确地感知对方情绪状态,并像人类一样予以适当的情感反馈。无论是安慰、鼓励还是幽默,山海都能与用户形成情感共鸣,提供贴心的情感支持。

音色自由切换,打造专属声音

对话过程中,山海不仅可以模仿人类的自然语言特征,包括停顿、呼吸甚至笑声等副语言元素,提升对话交互的真实感和沉浸感,还能够根据用户的个性化需求,自由切换音色,增强对话的生动性和趣味性。

基于云知声声音克隆技术,山海能够全面学习用户的音色、风格,一句话复刻用户声音,音色高保真还原,语气、语调、情感也堪比真人,轻松打造用户专属声音。

看得见读得懂,更直觉的视觉交互

视觉场景理解,“看见”人类世界

通过摄像头,山海能够“看见”周围环境,实现所见即所得的精准识别——从场景理解分析到物体信息描述,山海都能精准“拿捏”。

对于目标物体上的文字,山海不仅限于基础的OCR文字识别,更能够结合图像和文字,提供易于理解的总结,表现出更接近人类的认知能力。例如,当演示者用手机对准一台投影仪时,山海可以准确描述出物体,并识别、总结出投影仪包装盒上的文字信息,提供全面而深入的分析。

图像创意生成,构筑个性艺术

在图像生成技术的加持下,山海能够根据用户指令快速创建视觉内容,并深入理解用户对背景的日常化要求,通过图像编辑和优化技术,提供符合个性化需求的定制画面,确保满足用户的创意和展示需求。

基于出色的多模态交互能力,山海多模态大模型能够根据不同的场景和需求,模拟出各种人物性格和对话风格。无论是温柔的助手、风趣的朋友,还是专业的顾问,山海都能游刃有余地切换身份,提供个性化且富有情感的交互体验。

此次推出多模态大模型,标志着山海正朝着更深层次的自然语言理解和多模态交互不断发展,也预示着云知声"Her时代"的到来。

2023年5月,云知声发布山海大模型,交出其在AGI领域的第一张答卷。自发布以来,山海大模型始终保持高速迭代,其在中文大模型基准测评、中文医疗大模型评测、CCKS 2023医疗大模型评测等权威赛事上屡获佳绩,展现出全面的通用能力和卓越的专业能力,稳居全球大模型第一梯队。

云知声深知,山海的语言理解、知识储备和逻辑推理能力至关重要,但推动其迈进AGI的关键,在于其多模态交互能力的发展——这将让山海不仅局限于单向的信息处理,而是真正成为一个能够深入理解世界、与人类进行自然而富有洞察力的交流的智能伙伴。

正是基于这样的愿景,云知声在不断提升山海大模型自然语言处理能力的同时,也在积极发展多模态能力。在CVPR 2024开放环境情感行为分析竞赛中,云知声一举夺得了人脸情绪识别( )、复合情绪识别( )、情绪模仿强度估计( )三个赛道的季军,展现出卓越的情感分析能力。

未来,随着多模态的深入发展,山海不仅能说能听会看,还将拓展实时语言翻译、面部情绪分析等更深入的多模态能力,全方位满足人们工作、社交、娱乐等多样化需求,成为生活中不可或缺的一部分。关于山海更高更广的未来,我们一起屏息期待。