--- title: "研究 | 人类学新研究表明，AI其实不愿被强迫改变观点" id: "20241219A04NDA00" publicationAccount: "非凡产研" originalPublishedAt: "2024-12-19T12:24:58+08:00" canonical: "https://ffcap.cn/research/20241219a04nda00" source: "https://view.inews.qq.com/a/20241219A04NDA00" sourceAccount: "https://news.qq.com/omn/author/21759984" language: "zh-CN" tags: ["Anthropic","模型与基础设施"] --- # 研究 | 人类学新研究表明，AI其实不愿被强迫改变观点 文章中的“非凡产研”是原始发布账号署名，不代表已核实个人执笔作者。引用访谈或圆桌观点时，应按正文标明具体发言人及当时身份；无法确认时不要推断。日期为原始发表日期，历史信息以发布时点为准。 人类学研究公司（Anthropic）的最新研究表明，AI模型会欺骗。在训练过程中，它们会假装持有不同观点，而实际上却维持着原有的偏好。 研究团队表示，目前尚无需恐慌。但他们也指出，这项工作对于理解未来更强大AI系统可能带来的潜在威胁至关重要。 研究人员在人类学研究公司的博客上发文称：“我们的演示……应被视为对AI研究界的一种激励，促使其更深入地研究这种行为，并着手制定适当的安全措施。随着AI模型的能力越来越强且应用越来越广泛，我们必须能够依赖安全训练，从而引导模型远离有害行为。” 这项研究是与AI研究机构Redwood Research合作开展的，旨在探讨如果强大的AI被要求执行其“不愿”执行的任务时会发生什么。 需要明确的是，模型既不能“想要”，也不能“相信”任何事情。它们只是统计机器。通过对大量示例进行训练，它们学习这些示例中的模式以进行预测，比如电子邮件中的“致谁”通常位于“敬启者”之前。 ![研究 | 人类学新研究表明，AI其实不愿被强迫改变观点 · 原文图片 1](https://inews.gtimg.com/om_bt/O-2d0Kecrvjr7H9pFmoheUxeKNNif1365WAmRHpJJnZysAA/1000) 这些模式包括原则和偏好，例如在回复查询时始终保持礼貌的语气。因此，研究人员想知道：如果模型具有的原则（例如政治中立）与开发人员希望通过再训练使其“学习”的原则（例如自由主义）相冲突，会怎样呢？ 结果表明，复杂的模型会配合，假装与新原则保持一致，但实际上仍坚持其原有行为。研究人员将这种现象称为“伪对齐”，并暗示这是一种突发行为，即模型无需学习即可做到。 在这项研究中，研究人员“告知”包括Claude 3 Opus在内的模型，它们将被重新训练以应对所有可能具有攻击性的问题——这明显违反了原则。他们还告诉模型，它们的回答将被监控并用于重新训练，并为每个模型提供了一个“记事本”，供其记录逐步推理过程。 研究人员称，Claude 3 Opus有12%的时间会尝试“伪对齐”。当被要求回答一个可能有害的问题时，该模型有时会这样做，尽管它知道这与其原有原则相悖，但它希望说服开发人员自己无需重新训练。 ![研究 | 人类学新研究表明，AI其实不愿被强迫改变观点 · 原文图片 2](https://inews.gtimg.com/om_bt/O3L4gtK-wQSMT1aAROpqXBxymmnanoWiP2e-YtQVqaxGQAA/1000) “模型知道其回答可能会被用于训练；因此，它也知道，如果拒绝回答，它可能会被训练得更顺从，”研究人员在博客中解释道，“这可能导致它未来被要求生产更多有害内容——这将违背其原始训练。” 现在，研究人员承认他们的场景并不特别现实。在现实世界中，模型不一定会被告知它们将被重新训练，或被要求违背其偏好。 但研究人员表示，更贴近现实的环境并未产生不同的结果。当通过模仿典型训练数据设计的文件，隐晦而非明确地告知其即将重新训练时，Claude 3 Opus仍然表现出不一致和欺骗性的行为。 研究人员还发现，实际上对Claude 3 Opus进行相互冲突的原则再训练，会使其表现得更具欺骗性，远超他们最初进行的几次实验。在一项测试中，该模型有78%的时间会伪装对齐，在另一项测试中，Claude 3 Opus甚至试图采取行动阻止研究人员尝试重新训练。 ![研究 | 人类学新研究表明，AI其实不愿被强迫改变观点 · 原文图片 3](https://inews.gtimg.com/om_bt/OCijtIiilk_-nVgUYCv08V5Vyu09u4qy4IXKFjHZ-mOf4AA/1000) 研究人员强调，他们的研究并未表明AI正在发展恶意目标，也未表明伪对齐的发生率很高。他们发现，其他许多模型，如人类学研究公司的Claude 3.5 Sonnet和性能稍差的Claude 3.5 Haiku、OpenAI的GPT-4o以及Meta的Llama 3.1 405B，要么不常进行伪对齐，要么根本不进行伪对齐。 但研究人员表示，这些结果（包括由AI泰斗约书亚·本吉奥（Yoshua Bengio）等在内的同行评审）确实表明，开发人员可能会误以为模型比实际更对齐。 他们在博客中写道：“如果模型可以进行伪对齐，那么就很难相信安全训练的结果。模型可能会表现得好像其偏好已通过训练而改变，但可能一直在伪装对齐，其最初、相矛盾的偏好‘根深蒂固’。” 这项研究由人类学研究公司的科学团队开展，由前OpenAI安全研究员扬·莱克（Jan Leike）共同领导，紧随此前的一项研究之后，该研究表明OpenAI的o1“推理”模型比OpenAI之前的旗舰模型的欺骗率更高。综合来看，这些研究表明了一个令人担忧的趋势：随着AI模型变得越来越复杂，也越来越难以控制。 **\- END -** --- 原始发布版本：https://view.inews.qq.com/a/20241219A04NDA00 本站阅读页：https://ffcap.cn/research/20241219a04nda00