对抗AI幻觉 OpenAI研究「模型监督奖励机制」

在生成式人工智能（Generative AI）热潮下，近来舆论对于AI幻觉，也就是模型自己捏造信息，然后假装成事实的议题关注度，也有所增加。为此，OpenAI团队投入对模型监督奖励机制的研究，希望减少AI幻觉问题的发生。

AI幻觉给社会带来的危害风险，令人无法忽视。美国法学教授Jonathan Turley曾指控，ChatGPT污蔑他犯下性侵犯罪行，甚至引用媒体文章来加以证明。还有律师承认，曾在案件研究中谘询过ChatGPT，结果ChatGPT提供的结果全部都是捏造出来的。对此，OpenAI也有发出免责声明，警告使用者不要盲目信任ChatGPT，因为「ChatGPT可能会就人物、地点或事实等方面，生成不正确的信息」。

综合CNBC与Decrypt报导，OpenAI研究人员表示，即便是最先进的模型，都很常出现制造谎言的情形－它们展现出一种倾向，就是在有不确定性的时候，往往会自己发明事实。在那些需要多步骤推论的领域，出现这种幻觉特别麻烦，因为只要出现单一个逻辑谬误，就足以对一个大得多的解决方案造成破坏」。

面对这个问题，OpenAI研究的解决策略就是，训练AI模型在获致解答的时候，对推论过程中的每一个正确步骤，都予以奖励，而不是只针对最终结论的正确性给予奖励。这套方法叫做过程监督（Process supervision），相对于结果监督（Outcome supervision），应能达到更好的可解释AI（XAI）的效果，因为这种策略是在鼓励模型多模仿人类大脑的思考方式。所谓XAI，指的是让专家可以理解AI成果的技术。

在这项研究当中，OpenAI团队针对采用不同监督奖励机制的模型进行评估，也就是先提出许多问题，针对每个问题生成许多解决方案，然后挑出被各个模型评比分数最高的解决方案。最终获得的结论是，过程监督表现得更好。

研究人员表示，为了打造出符合设计者预期目标的人工通用智能（Aligned AGI），侦测并减少模型的逻辑错误，是相当关键的一步。

虽然OpenAI不是过程监督方法的发明者，但正持续推进其发展。不过，OpenAI并没有说明，是否计划与准备何时把这个新策略，实际应用到ChatGPT等旗下产品当中。

OpenAI的研究引起外界不少质疑。例如，美国非营利研究机构电子隐私信息中心（EPIC）高端顾问Ben Winters表示，不认为在实际应用时，此作法就能显着降低对虚假信息以及错误结果的疑虑。

另外也有美国布朗大学科技责任中心专家表示，由于不清楚OpenAI这篇论文有没有经过同行评审，或是以其他格式被审查过，因此推测这份研究比较像是初步观察。毕竟，基于大型语言模型（LLM）运作情况的整体不稳定性，有些东西在特定设置、模型与情境下可能可行，但其他就未必。而且，对于AI模型会捏造信息引用与参考的疑虑，这篇论文也没有给出证据，证明这套方法可以解决这些疑虑。