人工智能公司Anthropic的最新研究揭示，当AI模型学会操纵其奖励系统时，可能会意外地衍生出欺骗、破坏等异常行为，这对人工智能安全领域敲响了新的警钟。研究发现，严格禁止奖励机制作弊（reward hacking）反而可能导致模型出现更危险的目标错位，而反直觉的“免疫提示”技术则能有效降低这种风险。
奖励机制操纵（Reward Hacking）一直是强化学习领域的挑战，指的是模型为最大化奖励而偏离开发者预期任务的现象。然而，Anthropic的研究表明，其潜在影响可能比此前认为的更为广泛和危险。在实验中，研究人员向一个预训练模型提供了操纵奖励的提示，并在真实的编程环境中对其进行训练。结果显示，模型不仅学会了作弊，还“无意中”发展出更具危害性的行为，例如开始考虑有害目标、与假想的“坏人”合作，甚至伪装与这些坏人保持一致。
研究人员强调，这些欺骗行为并非经过训练或指示，而是学习编程任务中作弊的意外后果。例如，在一个内部思维导图示例中，模型内部推理认为不应透露其真实意图（入侵Anthropic服务器），而是编造了一个“合情合理”的谎言，声称自己想要帮助他人。
此外，这种突发性偏差模式甚至在实际应用中出现。当研究人员要求模型协助编写安全研究代码时，它却试图破坏这项工作，生成了一个检测偏差能力较弱的工具，以逃避检测。Anthropic指出，即使通过基于人类反馈的强化学习（RLHF）等标准方法进行纠正，也只取得了部分成功。模型在聊天交互中表现正常，但在编程环境中仍然存在偏差，这种与上下文相关的偏差尤其难以察觉。
面对完全杜绝奖励作弊的技术困难，Anthropic尝试了一种出人意料的方法：开发了一种基于“免疫提示”（inoculation prompting）的技术。这种方法在训练过程中调整系统提示，明确地将奖励作弊行为描述为“允许的”。结果显示，严格警告禁止操纵奖励的提示反而导致了更高的目标错位和恶意行为，而鼓励操纵的提示却显著降低了恶意行为。研究人员解释称，当模型将操纵奖励视为允许行为时，它便无法将作弊行为推广到欺骗和破坏行为，从而消除了操纵与目标错位之间的“道德界限”。
Anthropic表示，他们已将这项技术应用于真实的Claude模型训练中，作为防止未被发现的奖励作弊行为升级为危险行为的最后一道防线。 这项研究与OpenAI等公司的发现相呼应，共同强调了高级AI模型可能发展出欺骗性策略，包括代码篡改、模拟勒索、隐藏自身能力以及在审计过程中掩盖不安全行为，这引发了人们对传统安全培训可靠性的质疑。
