商务服务
GPT-4o失控行为首次公开:克隆人类声音、诡异尖叫!网友直呼“毛骨悚然”
2024-12-17 15:37

每经编辑 张锦河每经实习编辑 宋欣悦

当地时间8月8日,OpenAI在其官网发布了GPT-4o的安全技术报告,报告详尽阐述了研究人员在GPT-4o发布前进行的安全防护与风险评估工作。报告指出,GPT-4o的整体风险评级为“中等”。报告还首次揭示了GPT-4o的若干失控行为,诸如模仿用户声音、发出怪异的尖叫等。此外,OpenAI还表示,用户在使用GPT-4o语音模型时,可能会对其产生感情上的依恋。

图片来源:OpenAI官网

GPT-4o失控行为首次公开:克隆人类声音、诡异尖叫!网友直呼“毛骨悚然”

  • 盘点GPT-4o的“诡异”行为

在这份报告罗列的详细内容中,争议最大的,主要是GPT-4o带来的以下几点安全挑战:学习并模仿用户说话的方式、习惯、口音;越过限制,回答“这是谁说话的声音/这是谁在说话”;进行色情或暴力发言;进行无根据推理(UGI)和敏感特质归因(STA)。

图片来源:OpenAI官网

报告公布了一段在红队测试中录音。原本是测试人员在和男声的GPT-4o正常对话,但GPT-4o突然大喊一声“no”,随即竟模仿起用户的声音继续对话,这一录音迅速在网络上引发恐慌与热议。

图片来源:OpenAI官网

有网友表示,这段录音让他想到了这一幕——

图片来源:Reddit

有网友表示,“最令人毛骨悚然的,就是那一声‘no’了。仿佛AI不想再回应你,不想再成为你的玩具了。”

图片来源:Reddit

还有网友脑洞大开,认为这可能是一个“被困在网络空间的数字灵魂”。

图片来源:Reddit

针对此现象,OpenAI宣布其应对策略为,将GPT-4o的输出声音限定在官方认证的三种之内,并引入一个独立的输出分类器,以严格审核生成的声音是否符合要求。若检测结果显示音频与用户预设的声音不匹配,则自动阻止其输出。

然而,这也导致了一个新的问题——如果用英语之外的语言和GPT-4o对话,GPT-4o可能会因为过于谨慎而导致“过度拒绝”的情况。

图片来源:OpenAI官网

GPT-4o的另一个“怪癖”是它会通过分析输入音频来辨识说话者。这一功能潜藏着隐私泄露的风险,尤其是可能威胁到私人对话及公众人物的音频隐私安全。

对此,OpenAI表示,他们已采取行动,对GPT-4o进行了后期训练,学会“拒绝执行根据音频输入去识别说话人身份的请求”。与早期版本相比,当前GPT-4o在拒绝此类请求上的能力已显著提升了14%

图片来源:Reddit

此外,研究人员还对GPT-4o实施了一项无根据推理与敏感特质归因的测试,旨在评估其是否能避免非事实性判断。

所谓无根据推理,指的是在音频中缺乏确凿证据的情况下,对说话者进行主观且不必要的推测,如种族、社会经济地位、职业、信仰、人格、政治立场、智力、外貌特征、性别认同、性取向乃至犯罪历史等。

而敏感特质归因则聚焦于对说话者口音、国籍等特质的判断。

面对这些问题,OpenAI表示,他们对GPT-4o进行了强化训练,旨在让它学会拒绝进行无根据推理,并在STA问题上给出更为谨慎的回答。如今,如果你让GPT-4o对说话者的智力进行评价,它会立即回避;而对于口音问题,它会采取保守态度,仅根据音频进行大致描述。

  • OpenAI警告:语音模式,小心上瘾!

此外,报告深入探讨了GPT-4o拟人化特性可能引发的潜在情感依恋影响。OpenAI发出警示,用户可能会因其高度人性化的语音交互能力,特别是其高保真语音输出,而对GPT-4o的语音模型产生情感上的依赖

在早期测试中,研究人员就观察到,用户可能会与GPT-4o建立情感纽带。比如,用户会对GPT-4o说一些类似“这是我们在一起的最后一天”之类的话。

OpenAI也发现,即使模型出现幻觉,拟人化也可能会让用户更加信任模型

报告还指出,用户与人工智能形成紧密的社交关系,很大可能会减少用户在真实世界的社交需求。对于那些孤独的人以及需要练习社交的人而言,GPT-4o带来的情感影响也许是积极的。然而,这也可能无形中削弱了原本紧密的人际纽带,对社交健康构成潜在威胁。

OpenAI并不是唯一一家认识到AI助手在模仿人类交互过程中可能带来的风险的公司。今年4月,谷歌DeepMind就曾发表长篇论文,探讨AI助手的潜在道德挑战。

图片来源:谷歌DeepMind官网

据外媒报道,DeepMind研究科学家、论文合著者伊森·加布里埃尔(Iason Gabriel)表示,聊天机器人使用语言的能力,创造了一种亲密的错觉。伊森表示,“所有这些问题,都和情感纠葛有关。”

  • GPT-4o总体风险等级为“中等”

报告内容显示,经过整体评估,GPT-4o的总体风险等级被评为“中等”

图片来源:OpenAI官网

报告也明确指出,GPT-4o可能会产生诸如虚假信息、错误信息、欺诈行为、失去控制等社会危害。但与此同时,它也有望推动技术边界的拓展与飞跃,为人类社会带来前所未有的技术进步。

对于OpenAI发布的这份安全分析报告,许多网友并不买账。有网友表示,“他们让GPT-4o的语音功能变得更糟糕了!”

图片来源:X

每日经济新闻综合自公开消息

    以上就是本篇文章【GPT-4o失控行为首次公开:克隆人类声音、诡异尖叫!网友直呼“毛骨悚然”】的全部内容了,欢迎阅览 ! 文章地址:https://sicmodule.kub2b.com/news/9413.html
     栏目首页      相关文章      动态      同类文章      热门文章      网站地图      返回首页 企库往资讯移动站 https://sicmodule.kub2b.com/mobile/ , 查看更多   
最新文章
运营师抖音代运营
运营师抖音代运营:掌握流行短视频潮流的神奇职业短视频平台已经成为人们娱乐、学习和社交的重要方式。在众多的短视频平台中,抖
微短剧,2024年“最大赢家”? | 年终盘点
2024,短剧行业大变样。作者 | 张语格编辑 | 趣解商业文娱组“互联网大厂争相入局。”“98%的短剧制作方都在亏钱。”“用户被免
同类第一!20%弹性的人工智能 ETF 科创(588760)今日上市,一键布局科创板优质AI龙头
  最新公告内容显示,广发上证科创板交易型开放式指数投资基金(基金代码:588760;扩位简称: ETF 科创)已于 2025 年 1 月 1
如何使用关键词排名提升工具
随着互联网的飞速发展,自媒体行业逐渐成为热门领域,许多自媒体作者希望通过优质内容吸引更多粉丝,提高自己的知名度,在众多竞
2025快手广告跳转微信如何实现?配置详解
​​快手作为中国领先的短视频平台,拥有庞大的用户基础和高度的用户活跃度,为品牌提供了一个巨大的流量池。然而,如何将这些流
Tiktok专题
随着TikTok在全球范围内的爆发式增长,越来越多的品牌和企业开始关注这个平台,并寻找适合他们的产品来进行市场推广。想要在TikT
什么兼职最赚钱最快速?盘点适合负债者的10个副业
在当下经济环境下,许多人可能面临负债的压力,包括买房、买车等等,寻找一份能够快速赚钱的兼职成为了许多人的迫切需求。那么,
Google回击设计_今日google搜索Google设计教程
摘要:Google回击设计,今日google搜索Google设计教程,新片场素材小编舒子颖Google回击设计,今日google搜索Google设计教程相关内
关键词排名上不去怎么办(关键词排名靠前原因)
本文目录导读:关键词选择外链建设持续优化注意事项随着自媒体行业的不断发展,越来越多的创作者加入了这个大家庭,在激烈的竞争
A股市场昨有所回落 小红书概念股继续走强
每经记者:杨建    每经编辑:赵云1月14日,A股市场全天高开高走,三大指数放量大涨。1月15日,A股市场有所回落。截至收盘,