云知声山海多模态大模型：颠覆人机交互，开启 AGI 新范式

今年5月中旬，推出GPT-4o，凭借突破性的智能交互能力，颠覆了我们对人机交互的认知，掀起多模态大模型的新浪潮。

3个月后的今天，云知声推出山海多模态大模型，迎来属于我们的“Her时代”。通过整合跨模态信息，山海多模态大模型能够接收文本、音频、图像等多种形式作为输入，并实时生成文本、音频和图像的任意组合输出，带来实时多模态拟人交互体验，开启AGI新范式。

能听会说，更“声”动的语音交互

实时秒回，自由插话

山海语音交互与现实对话中人类的响应时间相似，用户几乎感知不到延迟，为用户提供了几乎无感知的流畅体验。此外，山海支持对话随时打断，用户可在对话中灵活插话，无需等待，交互过程自然不受阻碍。

感知情绪，表达情绪

在智能语音技术的加持下，山海不仅能通过语音文本判断用户情绪，更能细致捕捉用户语音的语气、节奏和音调等微妙变化，从而更准确地感知对方情绪状态，并像人类一样予以适当的情感反馈。无论是安慰、鼓励还是幽默，山海都能与用户形成情感共鸣，提供贴心的情感支持。

音色自由切换，打造专属声音

对话过程中，山海不仅可以模仿人类的自然语言特征，包括停顿、呼吸甚至笑声等副语言元素，提升对话交互的真实感和沉浸感，还能够根据用户的个性化需求，自由切换音色，增强对话的生动性和趣味性。

基于云知声声音克隆技术，山海能够全面学习用户的音色、风格，一句话复刻用户声音，音色高保真还原，语气、语调、情感也堪比真人，轻松打造用户专属声音。

看得见读得懂，更直觉的视觉交互

视觉场景理解，“看见”人类世界

通过摄像头，山海能够“看见”周围环境，实现所见即所得的精准识别——从场景理解分析到物体信息描述，山海都能精准“拿捏”。

对于目标物体上的文字，山海不仅限于基础的OCR文字识别，更能够结合图像和文字，提供易于理解的总结，表现出更接近人类的认知能力。例如，当演示者用手机对准一台投影仪时，山海可以准确描述出物体，并识别、总结出投影仪包装盒上的文字信息，提供全面而深入的分析。

图像创意生成，构筑个性艺术

在图像生成技术的加持下，山海能够根据用户指令快速创建视觉内容，并深入理解用户对背景的日常化要求，通过图像编辑和优化技术，提供符合个性化需求的定制画面，确保满足用户的创意和展示需求。

基于出色的多模态交互能力，山海多模态大模型能够根据不同的场景和需求，模拟出各种人物性格和对话风格。无论是温柔的助手、风趣的朋友，还是专业的顾问，山海都能游刃有余地切换身份，提供个性化且富有情感的交互体验。

此次推出多模态大模型，标志着山海正朝着更深层次的自然语言理解和多模态交互不断发展，也预示着云知声"Her时代"的到来。

2023年5月，云知声发布山海大模型，交出其在AGI领域的第一张答卷。自发布以来，山海大模型始终保持高速迭代，其在中文大模型基准测评、中文医疗大模型评测、CCKS 2023医疗大模型评测等权威赛事上屡获佳绩，展现出全面的通用能力和卓越的专业能力，稳居全球大模型第一梯队。

云知声深知，山海的语言理解、知识储备和逻辑推理能力至关重要，但推动其迈进AGI的关键，在于其多模态交互能力的发展——这将让山海不仅局限于单向的信息处理，而是真正成为一个能够深入理解世界、与人类进行自然而富有洞察力的交流的智能伙伴。

正是基于这样的愿景，云知声在不断提升山海大模型自然语言处理能力的同时，也在积极发展多模态能力。在CVPR 2024开放环境情感行为分析竞赛中，云知声一举夺得了人脸情绪识别（ ）、复合情绪识别（ ）、情绪模仿强度估计（ ）三个赛道的季军，展现出卓越的情感分析能力。

未来，随着多模态的深入发展，山海不仅能说能听会看，还将拓展实时语言翻译、面部情绪分析等更深入的多模态能力，全方位满足人们工作、社交、娱乐等多样化需求，成为生活中不可或缺的一部分。关于山海更高更广的未来，我们一起屏息期待。