OpenAI 宣布向部分 ChatGPT Plus 用户推出高级语音模式

aixo 2024-07-31 12:46:20
大模型 2024-07-31 12:46:20

作者香草

编辑李水青

GPT-4o的高级语音功能,终于不再是“期货”了!

智东西7月31日消息,今天凌晨,宣布开始向一小部分 Plus用户推出高级语音模式,基于GPT-4o提供更自然的实时对话。

OpenAI_openai官网中文版_openai国内版

▲上线高级语音模式

该模式上线后,不少收到邀请的网友已经玩起来了,并分享了自己试用的视频和感受。例如这是一段由献上的快嘴Rap和,听起来还挺有模有样的。

////2024/07/.mp4

总的来看,的高级语音模式与当初官方的演示差别并不大,几乎没有时延,各种语气也十分生动。不过其似乎在安全方面做了很多防护措施,拒绝用户请求的几率变高了。

的语音对话功能于去年9月首次推出。今年5月,推出基于旗舰模型GPT-4o的更高级语音对话版,并进行了公开演示。GPT-4o使用单个多模态模型,而不是之前的三个独立模型来实现语音功能,从而降低了与聊天机器人对话的延迟。(一夜干翻语音助手!GPT-4o模型强到恐怖,学会看屏幕,现实版Her来了)

当时,宣称该功能将在几周内陆续向免费和付费用户推出。但发布没几天,就因演示中的声音,与《复仇者联盟》系列电影中“黑寡妇”扮演者、被影迷称为“寡姐”的斯嘉丽·约翰逊( )声线过于相似,而遭到斯嘉丽本人的控诉和网友的强烈反对。

高级语音模式的发布日期也因此被推迟。尽管坚称并没有模仿斯嘉丽的声音,但该声线后来还是被删除了。

一、百余外部红队成员测试,秋季或开放至全部订阅用户

基于GPT-4o的高级语音模式目前仅向小部分 Plus用户推出,可提供更自然的实时对话,允许用户随时打断,并能感知和响应用户情绪。

参与此Alpha测试的用户将收到一封包含说明的电子邮件,并在其手机端App中收到通知。称,后续将继续滚动添加更多用户,并计划在秋季让每一个Plus订阅用户上都能使用。

openai官网中文版_OpenAI_openai国内版

▲邀请邮件和App主页面

的高级语音模式于今年5月发布,其基于全新旗舰模型GPT-4o,可以进行语音聊天和实时视频交互,比如通过视频影像理解线性方程、通过人的表情和语调理解并判断出人的情绪等。

称,自首次发布以来,团队一直致力于加强语音对话的安全性和质量,与45种语言的100多名外部红队成员一起测试了语音功能。

为了保护隐私,在训练模型时只用四种预设的声音说话,并构建了相应的系统来屏蔽与不同的输出,还采取了防护措施来屏蔽对暴力或版权内容的请求。

计划在8月初,分享一份关于GPT-4o的功能、局限性和安全评估的详细报告。

二、第一波试用者开始整活了:练法语、学猫叫、解说足球

第一波试用者已经迫不及待地用上高级语音模式,并分享了自己试用体验。

艺术家 打开摄像头,一边实时拍摄自己的刚养的小猫和为其布置的环境,一边询问关于喂养的意见。

////2024/07/7_视频对话.mp4

的回应基本没有任何延迟,先是用非常宠爱的语气称赞了猫咪的可爱,随后在询问了更多信息后安慰,告诉他不用担心。感慨道:“这感觉就像与一位知识渊博的朋友进行视频通话。”

网友在社交平台分享道,拒绝了他所有的唱歌请求,也不愿意改变声线。当他让以不同的方式和情绪背诵一首诗歌时成功了,但要求它笑着背诵这首诗时,它拒绝了。

例如, 称自己正在练习法语,让充当语言教练,询问其关于发音的意见。

////2024/07/a_法语教学.mp4

针对的单词发音,详细地给出了关于重音、尾音等的建议,并做了示范。同时其在教学风格上非常“鼓励式教育”,毫不吝啬地夸奖的发音,情绪价值直接拉满。

又让分别用害羞、生气的语气讲关于啤酒的笑话。对害羞的理解是用气声发音,在表达生气时则提高了自己的分贝。

////2024/07/8_害羞、生气的语气讲笑话.mp4

当被要求用悲伤的语气朗诵诗歌时,它听起来快要碎了……

////2024/07/0_悲伤语气.mp4

称,到目前为止的测试里,表现出的样子和所展示的差不多,但拒绝率似乎有点高,他推测可能是出于安全原因。

例如,当要求用歌声讲一个关于机器人和爱的故事,它称自己可以讲故事,但只能用平常说话的语气。

////2024/07/f_感情丰富讲故事.mp4

在讲故事的过程中,多次打断并要求它“加入更多感情”。照做了,其语气变得更加缓慢和生动。

还有的网友已经开始用整活了。

Squad联合创始人、首席技术官Ethan Sutin让模仿了各种各样的猫叫。不得不说这猫叫有些“魔性”,但似乎还挺真实的,因为我家猫被吸引过来了……

////2024/07/1_学猫叫.mp4

似乎还具备音乐演奏的能力。Sutin让其演奏一个C小调和弦,有没有懂乐理的读者朋友来听一下是否准确?

////2024/07/2_和弦.mp4

网友 让扮演起了足球比赛评论员。他分享了试用高级语音模式的一些初步印象:速度非常快,总是会产生有趣的结果,在说其他语言时总是带有美国口音。

////2024/07/4_足球解说.mp4

网友Kesku让说一种不存在的语言,然后解释这种语言是如何运作的。创造了一种基于声音的语言,听起来有点像吟唱。

////2024/07/3_创造语言.mp4

尽管现在用上高级语音模式的用户还是少数,但随着其推送范围的扩大,也许我们能看到更多有趣的玩法和体验。

结语:提高对AI安全的重视

AI在语音、视频方面,正在因为其充当欺诈工具的能力受到审查。尽管的语音模式目前不允许生成新的声线或语音克隆,但该模式仍然可能会给人带来混淆。

在春季更新后的几个月里,发布了一系列关于安全性和AI模型对齐的新论文。在此之前,其超级对齐团队已经解散,一些前任和现任员工批评其将重点转移到发布新产品而不是安全性上。目前来看,高级语音模式的推出放缓似乎是在向用户、监管机构和立法者表明对安全的重视。

高级语音模式的发布也使进一步与Meta的Llama 3.1模型、的 3等竞争对手区分开,给专注于情感语音的AI初创公司带来压力。