OpenAI研究员解释为何AI会产生幻觉

研究人员指出,当前LLM的训练框架本质上是 "应试教育" 的数字化投射。在以准确率为核心的评估体系下,模型被训练成 "完美考生":面对不确定的问题时,策略性猜测的收益(1/365 概率蒙对生日问题)显著高于诚实弃权的零分回报。这种机制导致模型形成 "二进制思维",将复杂现实简化为非对即错的判断题,最终产生自信但错误的输出。

Anthropic 的 Claude 系列模型虽因高拒绝率被批评 "实用性受限",却意外揭示了缓解幻觉的可行路径。其 "不确定性感知" 机制通过引入 "置信度校准" 模块,使模型在知识盲区主动选择沉默,而非强行生成虚假信息。OpenAI 在论文中承认,这类设计虽降低了交互流畅度,却从根本上提升了输出可信度。

根治幻觉的关键在于重构评估逻辑。OpenAI 提出建立 "反蒙猜" 评分体系:对自信错误实施双倍扣分,同时对合理弃权给予部分加分。这种机制借鉴了标准化考试中的 "倒扣分制",迫使模型在不确定时优先选择诚实表达。配套的技术方案包括:

  1. 检索增强生成(RAG):实时接入权威知识库,压缩模型编造空间;

  2. 动态置信度阈值:仅当内部知识匹配度超过 95% 时触发内容生成;

  3. 多模态对齐训练:通过视觉记忆回溯等技术,确保跨模态信息一致性。

这一突破可能重塑 AI 发展范式。微软 Azure AI 团队已在医疗领域验证,结合修正工具与溯源系统可将幻觉率从 29% 降至 4%。但专家警告,单纯依赖技术迭代无法完全消除幻觉 —— 新加坡国立大学研究证明,LLM 的概率填充机制本质上无法覆盖所有可计算函数,部分幻觉属于系统固有特性。

OpenAI 尚未公布具体技术实现细节,其 "重新设计评估指标" 的提议也引发质疑。批评者指出,现有准确率导向的评测体系已形成路径依赖,Meta、Google 等企业的 RAG 方案虽能缓解问题,但需额外计算资源支撑。更严峻的挑战在于,当 AI 开始 "选择性沉默" 时,如何平衡实用性与可靠性成为新的伦理难题。(转载自AI普瑞斯)

  • Coinbase:AI已写40%代码,目标2025年突破50%

  • 引发担忧!OpenAI预计今年营收130亿美元,资金就消耗了80亿美元

  • OpenAI研究员解释为何AI会产生幻觉

  • 顶级专家警告:AI或在2030年前取代99%工作!

  • 智谱打响中场战事

  • 周航:移动互联网让你肤浅,那么AI应该让你重新深刻

上一篇:中国“三号民企”的掌舵人
免责声明:

1、本网站所展示的内容均转载自网络其他平台,主要用于个人学习、研究或者信息传播的目的;所提供的信息仅供参考,并不意味着本站赞同其观点或其内容的真实性已得到证实;阅读者务请自行核实信息的真实性,风险自负。

2、如因作品内容、版权和其他问题请与本站管理员联系,我们将在收到通知后的3个工作日内进行处理。