OpenAI：有方法防AI幻觉

发布 : 2023-6-02  来源 : 明报新闻网


用微信扫描二维码，分享至好友和朋友圈

生成式人工智能（AI）模型与用户进行对话时，有时出现捏造事实倾向，无论是OpenAI的聊天机械人ChatGPT，还是Google聊天机械人Bard，都被发现有虚构事实情况。AI专家将聊天机械人的「说谎」现象称为「幻觉」（hallucinations），指基于大型语言模型的AI工具，在内容生成的过程中，可能会对原文增删、窜改，甚至杜撰内容。不过OpenAI的最新报告指出，已找到AI「说谎」的原因及解决方法。

OpenAI指出，即使是最先进的AI模型，当其对答案不肯定时，也可能会“韦y事实。这些「幻觉」在涉及多个推理步骤时尤其明显，因为只要其中一个步骤的逻辑不对，就足以令AI所生成的内容出错。OpenAI表示，防止「幻觉」出现的方法，就是优化AI模型的训练过程，在AI推理过程中的每个正确步骤，都让AI系统自行作出正面的自我反馈，而不仅在最终得出正确结论时才给予奖励。

新的训练方法被称为「过程监督」，有别于目前沿用的「结果监督」，以鼓励AI模型以更类似人类的思考方式进行推理。

不过部分业界人士指出，OpenAI未提供证据，证明其建议的方法，可解决AI模型杜撰参考文献等问题。（综合报道）