阿里通义实验室开源音频生成大模型 FunAudioLLM，提升自然语音交互体验
阿里通义实验室最近开源了名为的音频生成大模型项目，旨在提升人类与大型语言模型（LLMs）间的自然语音交互体验。该项目由两个核心模型组成:和。
专注于自然语音生成，具备多语言支持、音色和情感控制功能，在多语言语音生成、零样本语音生成、跨语言声音合成和指令执行方面表现出色。它通过15万小时数据训练，支持中英日粤韩五种语言，能够快速模拟音色并提供情感和韵律的细粒度控制。
则致力于高精度多语言语音识别、情感辨识和音频事件检测。它经过40万小时数据训练，支持超过50种语言，识别效果优于模型，尤其在中文和粤语上提升超过50%。还具备情感识别和声音事件检测能力，以及快速的推理速度。
支持多种人机交互应用场景，如多语言翻译、情绪语音对话、互动播客和有声读物等。它通过结合、LLMs和，能够实现无缝的语音到语音翻译，情感语音聊天应用程序，以及互动式播客电台。
技术原理方面，基于语音量化编码，支持自然流畅的语音生成，而提供全面的语音处理功能，包括自动语音识别、语言识别、情感识别和音频事件检测。
开源的模型和代码已在和上发布，同时上也提供了训练、推理和微调代码。和模型都在上有在线体验，方便用户直接尝试这些先进的语音技术。
项目地址：
副业搞钱交流群
欢迎大家加入交流群， 扫码进入，畅谈AI赚钱心得，共享最新行业动态，发现潜在合作伙伴，迎接未来的赚钱机遇！。
