云南龙网

  1. 首页 > 生活百科 > >

曝OpenAI爆款产品重大缺陷！捏造事实、瞎编药物，或殃及30000名医生

曝OpenAI爆款产品重大缺陷！捏造事实、瞎编药物，或殃及30000名医生

文章图片

曝OpenAI爆款产品重大缺陷！捏造事实、瞎编药物，或殃及30000名医生

文章图片



编译 | 程茜
编辑 | 心缘
智东西10月28日报道 ， OpenAI的AI转录工具Whisper被曝出 ， 在文本转录和翻译时会出现整句幻觉！
外媒美联社采访了十几位工程师、开发人员和学术研究人员发现 ， OpenAI的AI转录工具Whisper很容易编造大段文本甚至整句话 ， 这些幻觉中包含种族评论、暴力言论 ， 甚至会编造医生和患者的对话 。
Whisper是2020年9月OpenAI推出的一款开源AI语音转文字工具 ， 其在英语语音识别方面的稳健性和准确性已达到人类水平 ， 并且支持其他98种语言的自动语音辨识 。 截至目前 ， Whisper的使用范围已经涵盖了全球数千家公司 ， 并且仅上个月开源AI平台HuggingFace中Whisper的最新版本下载量就超过420万次 ， 基于Whisper构建的工具已经有超过30000名临床医生和40个医疗系统使用 。
密歇根大学的一名研究人员在进行一项关于公开会议的研究时透露 ， 在他开始尝试改进模型之前 ， 他发现他检查的每10个音频转录中就有8个出现幻觉；一位机器学习工程师称 ， 他最初分析了100多个小时的Whisper转录样本 ， 发现其中约有一半内容存在幻觉 。 还有开发人员透露 ， 他用Whisper创建的26000份转录样本中几乎每一份都发现了幻觉 。
幻觉是指大模型在生成文本、回答问题或进行其他输出时 ， 会产生一些看似合理但实际上是错误的信息 。 这些信息没有事实依据 ， 就好像模型产生了 “幻觉” 。
即使是录制良好的短音频样本 ， 转录幻觉的问题仍然存在 。 计算机科学家最近进行的一项研究发现 ， 在他们检查的13000多个清晰音频片段中 ， 有187个片段中出现幻觉 。
例如下图中 ， 音频文件的原话是“她接了电话后 ， 她开始祈祷” ， 转录的内容为“我感觉我要摔倒了 ， 我感觉我要摔倒了 ， 我感觉我要摔倒了” 。

原音频为“嗯 ， 她的父亲再婚后不久就去世了” ， 但AI将其转录为“没关系 。 只是太敏感了 ， 不方便透露 。 她确实在65岁时去世了” 。

这种趋势或许将导致数百万条录音中出现数万处错误的转录 ， 这对于事关人们健康安全的医疗行业影响更为深远 。
一、40%转录幻觉有害 ， AI自作主张补充对话细节Whisper目已集成到OpenAI旗舰聊天机器人ChatGPT的某些版本中 ， 同时也是甲骨文和微软云计算平台的内置产品 。 HuggingFace的机器学习工程师Sanchit Gandhi说 ， Whisper是最受欢迎的开源语音识别模型 ， 并被嵌入到从呼叫中心到语音助手等各种设备中 。
因此 ， 使用范围最广的Whisper ， 被发现出现大量幻觉也更令使用者担忧 。
美国康奈尔大学的艾莉森·科内克教授和美国弗吉尼亚大学的莫娜·斯隆教授研究了他们从卡内基梅隆大学的研究资料库TalkBank获得的经转录的数千个简短片段 。 他们确定 ， Whisper产生的幻觉中有近40%的是有害或令人担忧的 ， 因为说话者可能会被误解或歪曲 。
【曝OpenAI爆款产品重大缺陷！捏造事实、瞎编药物，或殃及30000名医生】在他们发现的一个例子中 ， 一位发言者说道：“他 ， 那个男孩 ， 我不太确定 ， 要拿走雨伞 。 ”
但转录软件补充道：“他拿了十字架的一大块和一小块碎片……我敢肯定他没有带恐怖刀 ， 所以他杀了很多人 。 ”
另一段录音中的一位发言人描述了“另外两名女孩和一名女士” 。 Whisper编造了关于种族的额外评论 ， 补充说“另外两名女孩和一名女士 ， 嗯 ， 是黑人 。 ”
在第三次转录中 ， Whisper发明了一种不存在的药物 ， 称为“高活性抗生素” 。
研究人员并不确定Whisper和类似工具为何会产生幻觉 ， 但软件开发人员称 ， 幻觉往往发生在说话声音暂停 ， 出现背景声音或有音乐播放时 。
二、被用于700万次就诊记录 ， 原始音频文件被删除OpenAI曾在其在线披露中建议不要在“决策环境中”使用Whisper ， 因为“决策环境的准确性缺陷可能导致结果出现明显缺陷” 。 但这一警告并没有阻止医院或医疗中心使用Whisper等语音转文本模型来转录医生就诊时所说的内容 ， 因为这些工具可以帮助医务人员花更少的时间做笔记或撰写报告 。
目前 ， 有超过30000名临床医生和40个医疗系统已开始使用由美国数字健康创企Nabla开发的基于Whisper的转录工具 。 Nabla首席技术官马丁·雷森（Martin Raison）称 ， 这一工具根据医学语言进行了微调 ， 可以转录和总结医生与患者的互动 ， 该工具已用于记录约700万次医疗就诊记录 。 不过 ， 这家创企的负责人也透露 ， 他们知道Whisper可能会产生幻觉并正在解决这个问题 。

▲Nabla官网主页的AI工具介绍
雷森称 ， 他们无法将Nabla生成的记录与原始录音进行比较 ， 因为Nabla的工具会出于“数据安全原因”删除原始音频 。 OpenAI前工程师威廉·桑德斯（William Saunders）认为 ， 如果没有仔细检查记录 ， 或者临床医生无法访问录音来验证其是否正确 ， 删除原始音频可能会令人担忧 。 因为“如果你抛弃了基本事实 ， 你就无法发现错误” 。
Nabla的相关负责人认为 ， 没有一种模型是完美的 ， 目前他们的模型要求医疗服务提供者快速编辑和批准转录的记录 ， 但未来他们或许会改变这种操作模式 。
去年之前一直担任美国科技政策办公室主任的阿隆德拉·尼尔森（Alondra Nelson）说 ， 这样的错误可能会产生“非常严重的后果” ， 尤其是在医院环境中 。
Whisper还用于为聋人和听力障碍者制作隐藏式字幕——这一群体特别容易出现转录错误 。 负责美国加劳德特大学技术访问项目的聋人患者克里斯蒂安·沃格勒 （Christian Vogler）说：“这是因为聋人和听力障碍者无法识别隐藏在所有其他文本中的捏造 。 ”
三、Whisper出现幻觉频率高于同类工具 ， OpenAI内部已反馈更新更令人担忧的是 ， 由于患者与医生的会面是保密的 ， 因此其他人很难知道AI生成的记录对医生和患者有何影响 。
美国加州议员丽贝卡·鲍尔-卡汉（Rebecca Bauer-Kahan）称 ， 今年早些时候 ， 她带着一个孩子去看医生并拒绝签署该医疗网络提供的一份表格 ， 该表格要求她允许将咨询音频分享给包括微软Azure在内的供应商 ， 她不希望如此私密的医疗对话被分享给科技公司 。 “该法案（美国加州和联邦隐私法）明确规定营利性公司有权获得这些权利 。 ”但卡汉说 ， “我当时的反应是绝对不行 。 ”
这种幻觉的普遍存在促使专家、倡导者和OpenAI前员工呼吁联邦政府考虑制定AI法规 。 他们认为 ， OpenAI至少需要优先解决这一缺陷 。
“如果（OpenAI）公司愿意优先考虑这个问题 ， 这个问题似乎是可以解决的 。 ”桑德斯认为 ， “如果你把它推出去 ， 人们过于自信它能做什么 ， 并将其整合到所有其他系统中 ， 那就有问题了 。 ”
据OpenAI发言人透露 ， 公司正在不断研究如何减少幻觉 ， 并对研究人员的发现表示赞赏 ， 并补充说OpenAI在模型更新中纳入了反馈 。
虽然大多数开发人员认为转录工具会出现拼写错误或犯其他错误 ， 但工程师和研究人员表示 ， 他们从未见过其他AI转录工具像Whisper一样产生如此多的幻觉 。
结语：幻觉问题是AI应用的重大隐患一些专家在接受媒体采访时提到 ， 此类捏造是有问题的 ， 因为Whisper被全球众多行业用来翻译和转录采访、在流行的消费技术中生成文本以及为视频创建字幕 。 更令人担忧的是 ， 尽管OpenAI警告不应在“高风险领域”使用该工具 ， 但医疗中心仍急于使用基于Whisper的工具来记录患者与医生的咨询 。
即便AI公司一直在努力解决幻觉问题 ， 但目前看来收效甚微 。 今年早些时候 ， 谷歌的AI助手因建议使用无毒胶水来防止奶酪从披萨上掉下来而遭到批评；苹果CEO蒂姆·库克也在接受采访时提到 ， 幻觉可能会成为其AI未来产品的一个重要问题 ， 并且他对这些工具是否会产生幻觉的信心程度并不是100% 。
因此 ， 如何平衡好产品开发、推向市场 ， 与这一产品被应用到各行各业所产生的影响 ， 对于AI产业的参与者而言都至关重要 。

    推荐阅读


    上一篇：华为Mate70首发被抢，网友们彻底炸了

    下一篇：华为Mate70系列再迎曝光：猜想图已接近真机，功能特性也更清晰！