--- title: "Anthropic CEO谈 AI 安全、AI 寡头化、大模型开源" id: "20240903A066I100" publicationAccount: "非凡产研" originalPublishedAt: "2024-09-03T16:30:00+08:00" canonical: "https://ffcap.cn/research/20240903a066i100" source: "https://view.inews.qq.com/a/20240903A066I100" sourceAccount: "https://news.qq.com/omn/author/21759984" language: "zh-CN" tags: ["模型与基础设施","Anthropic","开源与本地部署","融资与投资","具身智能","记忆与上下文","OpenAI"] --- # Anthropic CEO谈 AI 安全、AI 寡头化、大模型开源 文章中的“非凡产研”是原始发布账号署名，不代表已核实个人执笔作者。引用访谈或圆桌观点时，应按正文标明具体发言人及当时身份；无法确认时不要推断。日期为原始发表日期，历史信息以发布时点为准。 **非凡产研主编说：** Anthropic成立于2021年总部位于美国加利福尼亚州旧金山。该公司由七名前OpenAI员工创立,包括Dario Amodei和Daniela Amodei兄妹以及曾领导GPT-3模型开发的工程师Tom Brown。 Dario Amodei现为Anthropic CEO，曾任OpenAI研究副总裁，负责开发GPT-2和GPT-3等大型语言模型。他拥有斯坦福大学的物理学学士学位和普林斯顿大学的生物物理学博士学位。 ![Anthropic CEO谈 AI 安全、AI 寡头化、大模型开源 · 原文图片 1](https://inews.gtimg.com/om_bt/O_XaSOTNoO6IFOI7wi4ABI_z6AbD78rIKmtil3WMINmAYAA/1000) _Photograph by Ian Allen for TIME_ Anthropic的核心使命是专注于AI的安全性和可靠性,致力于构建人们可以信赖的系统,并积极研究AI带来的机遇和风险。公司的目标是开发可靠、可解释和可操控的前沿AI系统。 Anthropic最著名的产品是Claude系列大语言模型。Claude2是全球首个支持200K上下文的商用模型,而Claude3在多个评测中表现优异,甚至超越了GPT-4。 截至目前,Anthropic的融资总额已达到14.5亿美元,仅次于OpenAI,成为第二大富有的AI初创公司。亚马逊对其进行了40亿美元的投资,使其能够利用亚马逊云服务的基础设施。 Anthropic的运营原则强调AI系统的友善性、非恶意和自主性,致力于确保其AI技术的积极影响。作为一家公共利益公司,Anthropic的目标是为人类的长期利益负责任地开发和维护先进的AI技术。 今年五月，Amodei作为封面人物出现在《时代》杂志上，他的公司还被评为2024年《时代》100家最具影响力公司之一。 6月20日，Anthropic发布了其Claude聊天机器人的最新版本：Claude 3.5 Sonnet。Anthropic声称，该模型在推理、编码和某些类型的数学上树立了新的行业标准，击败了OpenAI最近推出的GPT-4o。 Amodei在一份声明中表示，"随着Claude 3.5 Sonnet的发布，我们正在朝着我们认为可能代表着我们与技术互动方式的重大转变迈出一步。**我们开发Claude的目标并不是创造一个渐进式改进的\[大语言模型\]，而是开发一个能够以有意义的方式与人和软件协同工作的人工智能系统。**” 作为OpenAI的主要竞争对手，Anthropic展现出了与前者截然不同的发展价值和理念。其对AI安全非常重视，一直都给予公众非常明确的承诺。此外，一些人工智能怀疑论者声称人工智能的快速进步很快就会放缓。但Anthropic大多数员工似乎都相信人工智能的进步不会放缓，甚至可能给人类带来潜在的危险后果。 《时代》杂志AI对世界的影响，AI安全等问题与Anthropic的掌舵者Dario Amodei进行了一场对话。非凡产研对此进行了编译。 看了这篇采访，**相信大家会和我一样感受到Amodei再坚持一些AI哲学理念上无比坚定的信念，且他特别会表达和兜售这一切。但他又不是一个天真的理想主义者，始终以敏锐的洞察和聪明的路径，在激烈竞争中寻找一种生态和技术的平衡。** **Q：Anthropic 作为人工智能领域的新兴“前沿”实验室，虽然规模最小，资金也不如竞争对手雄厚，但它在安全方面的承诺却是最为明确的。在这样的背景下，你是否觉得自己处于劣势？** **Amodei：**您列举的所有情况确实曾经是事实，但随着时间的推移，这些情况已经有所改变。我们目前已签订了大型的计算服务合同，并且筹集到了数十亿美元的资金。 当然，与此同时，我们的竞争对手的资金规模从数十亿到数百亿不等，甚至有些达到了令人震惊的数千亿美元。但是，我如果现在仍然称我们为弱者，我自己都感到有些不自在。当然，与人工智能领域的那些巨头相比，我们仍然可以被视为处于劣势。 ![Anthropic CEO谈 AI 安全、AI 寡头化、大模型开源 · 原文图片 2](https://inews.gtimg.com/om_bt/OpTO1KDzCOAVxqoojIbu0uYu8HjSZknzz-Z-p4Sq40AnoAA/1000) Dario Amodei和Daniela Amodei兄妹 **Q：人工智能的“scaling laws”告诉我们，随着我们用更多的计算资源和数据来训练系统，它们的能力会可预测地增强。您是否在尚未发布的系统中观察到了一些新的能力？** **Amodei：**我们最近刚刚发布了一个模型，所以并不存在积压了一年的秘密。即便有些秘密，我现在也不会透露。我们确信，前进的脚步并未停歇。目前，我们并未观察到任何迹象显示人工智能的发展有放缓的趋势。然而，我们所生活的真实世界也提醒我们，这样的进步随时可能因种种不可预见的因素而突然中断。 每次我们训练一个新模型，我都会带着既期待又忧虑的心情观察它——我总是在想，我们会不会在某个时刻发现，哎呀，模型的性能没有进一步提升。**如果\[扩展的效果\]真的停止了，从某种程度上说，对世界而言可能是好事。它会同时限制所有人。但这不是我们能够选择的——当然，这些模型也带来了许多激动人心的好处。**大多数情况下，这是自然界的法则。我们无法选择，我们只能发现我们生活在一个怎样的世界中，然后尽我们所能去适应它。 **Q：您希望通过 Anthropic 的文化实现什么样的目标？** **Amodei：**我们实施了一项捐赠匹配计划。\[Anthropic 允许员工将其股权的高达25%部分捐赠给任何慈善机构，并且公司会匹配这些捐赠。\]这样的政策自然会吸引那些看重公共利益的员工。如果您认为这很重要，那么我们的股票赠与计划看起来会更具吸引力。这并不妨碍员工获得经济激励，但它有助于塑造我们的企业文化。 在安全性问题上，公众的认知与我们的视角并不完全一致。**我更愿意将Anthropic定位为一家致力于追求公共利益的公司，而非单纯聚焦于人工智能安全。**我们并非基于对AI系统潜在风险的某些既定观点来构建公司。这些问题需要通过实证研究来解答。 我期望Anthropic能成为一个每个人都在考虑如何服务于公共利益的公司，而不仅仅是专注于人工智能安全或AI系统偏差的单一议题公司。在公司内部，我相信我们已经实现了这一目标，我们的团队成员拥有多样化的观点，但他们共同拥有的是对实现公共目标的坚定承诺。 ![Anthropic CEO谈 AI 安全、AI 寡头化、大模型开源 · 原文图片 3](https://inews.gtimg.com/om_bt/O_VxBx1WMYZfUpjcUwv_fUgBkMyVKZzsYMPLBGpVNdu-MAA/1000) **Q：如果唐纳德·特朗普在今年年底当选，这对人工智能安全意味着什么？** **Amodei：**无论下一任总统是谁，我们都将与他们合作，尽我们所能地解释为什么美国需要在这项技术上保持领先，同时我们也需要对这项技术本身提供合理的安全保障。我传达的信息将始终保持一致。 显然，不同的政府会有不同的观点，我预计会根据选举结果出台不同的政策。但我所能做的，就是真诚地表达我对这个世界的看法。 **Q：“强化学习reinforcement learning”是提升人工智能系统安全性的有效方法之一，它引导模型朝着有益且无害的方向发展，但这种方法并不会移除模型潜在的危险功能，这些功能仍可能通过诸如越狱等技术手段被激活。您是否对这种方法的脆弱性感到担忧？** **Amodei：**我不认为它本质上是脆弱的——更准确地说，我们在如何正确引导这些系统方面仍处于探索阶段。它们可能会产生幻觉，可能会被越狱。每当我们试图让模型在某些情况下表现得更加友好，却发现在其他情境下，它的回应可能过于冗长。我们的目标是让模型做好事，避免做坏事，但这是一项艰巨的任务。 我认为这种方法并不完美，也可能永远无法达到完美。因此，我们采取的是一种类似瑞士奶酪的多层防护模型：单一层次可能存在漏洞，但如果有十层瑞士奶酪，那么任何东西都很难穿透所有层次。没有单一的解决方案能够完全引导模型，我们必须综合运用多种不同的方法。 **Q：在风险如此之高的情况下，采取这样的策略是否负责任？** **Amodei：**我更愿意生活在一个理想化的世界中。然而，遗憾的是，我们实际所处的世界充满了经济压力，不仅有公司间的竞争，还有国家间的竞争。 但如果我们能够真正证明这些风险是真实存在的——我希望能够做到这一点——那么或许在某些时刻，我们能够让世界暂时停下脚步，至少稍微考虑一下。并以合作的方式正确地处理这些问题。**但我并不天真——这样的机会很少，而且要在特殊情况下才能在短时间内阻止强大的经济列车的前进。** **Q：Meta 开源了一些功能上与您的模型相差不远的模型。您如何评价这种策略？您认为这是负责任的做法吗？** **Amodei：**我们的关注点并不主要在于开源模型，而是在于那些功能强大的模型。实际上，我认为大多数公司，包括 Meta 在内，可能会在达到我担忧的水平之前就停止开源。 我怀疑开源本身可能并不是真正的问题所在。人们似乎认为开源模型会破坏我们的商业模式，**但实际上，我们的竞争对手是任何能够开发出强大模型的实体。**当有人托管这些模型——我认为我们应该称它们为开放权重模型——并将它们部署在云端时，它们的经济模式与其他所有服务并无二致。 ![Anthropic CEO谈 AI 安全、AI 寡头化、大模型开源 · 原文图片 4](https://inews.gtimg.com/om_bt/OwAVKKYBZuE9gBBcRi9CHVB7UMZycv8wVYYwiNAishXKYAA/1000) **Q：微软最近表示，它正在内部开发一个可能与他们投资的 OpenAI 相竞争的大语言模型。您的支持者之一亚马逊也在做同样的事情，谷歌也是如此。您是否担心目前处于领先地位的小型人工智能实验室可能只是暂时领先于这些资源更丰富的科技公司？** **Amodei：**在我们的文化中，一直强调的是“用更少的资源做更多的事情”。我们始终努力保持这样一种状态：即使计算资源较少，我们也能做出与拥有更多资源的团队相同甚至更好的成果。因此，我们的竞争优势在于我们的研究人员和工程师的创造力。我当下越来越多地关注于创造性的产品开发，而不仅仅是纯粹的计算能力。 当然，我们始终需要大量的计算资源，我们目前已经有了很多，而且未来还将继续增加。**但只要我们能够更高效地使用这些资源，只要我们能够用更少的资源做出更多的事情，那么最终，资源将会流向那些具有创新能力的公司。** **Q：Anthropic 已经筹集了约 70 亿美元，这笔资金足以覆盖下一代模型的训练成本，您曾提到这个成本可能在数十亿美元的范围内。为了训练之后的一代模型，您可能需要开始考虑筹集更多的资金。您认为这些资金会从哪里来？** **Amodei：**对于接下来的几代模型，我认为我们的资金状况也是相当充足的，尽管在 Anthropic 的未来，我们确实需要筹集更多的资金。至于这些资金的来源，目前还很难说。可能包括传统的投资者、大型的计算服务提供商，以及我们目前可能还未考虑到的其他渠道。 **Q：政府是另一个不太常被提及的资金来源。他们拥有大规模的资金——虽然在政治上可能会面临一些挑战，但您是否考虑过，或者其实已经就此进行过讨论？** **Amodei：**随着AI技术变得越来越强大，政府在其开发和部署过程中应该扮演一个重要的角色。这不仅仅是关于监管的问题，更是关乎国家安全的问题。我们是否应该在某种程度上将这些技术视为国家项目？ 我相信在未来，政府内部会对这些模型有大量的需求。但我也认为，随着时间的推移，最强大的模型可能会被视为对国家安全至关重要。 我相信政府可以更深入地参与进来，并且我期待民主政府能够以负责任和可问责的方式引导这项技术的发展。这可能意味着政府将深度参与这项技术的构建。我不知道这会是什么样子。如今还没有任何类似的情况。 但是考虑到我们正在构建的技术的强大性，一旦它发展到一定程度，个人甚至公司真的应该处于其核心位置吗？我可以想象，在不久的将来——二、三、五年内——这可能会成为一个非常严肃的讨论话题，具体取决于当时的形势。 **Q：您认为全球当前的不平等程度是否过于严重？** **Amodei：**确实如此。现今仍有数十亿人每天的生活费不足1美元，这种情况显然并不理想。 **Q：有人，比如**Sam Altman** ，提出如果我们能够提升底层人民的生活标准，他就可以接受亿万富翁的存在。您如何看待这种不平等程度所引发的权力失衡问题？** **Amodei：**这里实际上涉及两个不同的问题：一是提高底层人民的生活标准，二是世界权力的分配。对于权力集中的问题，我可能比Sam Altman 更为谨慎。 即便我们能够为每个人提供物质上的保障，如果权力过于集中，民主和民主决策的存在和公平性也会很困难。金融权力的集中仅是权力的一种形式，还有其他形式。但在美国历史上的某些时期——比如镀金时代——实业家几乎接管了政府。我认为这可能太极端了。我不确定经济能否完全摆脱不平等，但我很担心，我们可能正处在一个不平等过于严重，以至于可能危害民主政治健康发展的时代。 关于普遍基本收入的概念——如果我们没有更好的解决方案，我认为这总比什么都没有要好。但我更希望生活在一个每个人都能有所贡献的世界中。如果只有少数人能够积累数万亿美元的财富，然后政府将这些财富分配给普通大众，那将是一种反乌托邦式的情景。这比不分配要好，但我认为这并不是我们真正应该追求的目标。 我确实相信，随着人工智能的快速发展，人工智能系统在完成大多数人类工作方面可能会比大多数甚至所有人类做得更好。因此，我们真的需要重新思考很多问题。**短期内，我总是强调互补性——我们应该确保人类和人工智能能够协同工作。**这在短期内是一个不错的解决方案。 我认为，从长远来看，我们必须深入思考如何构建我们的经济体系，以及人类应如何重新定义他们的生活意义。这不是单靠个人或单个公司就能解决的问题，而是需要全人类共同参与的讨论。**我唯一担心的是，如果技术进步的步伐过快，我们可能需要迅速地找到应对之策。** --- 原始发布版本：https://view.inews.qq.com/a/20240903A066I100 本站阅读页：https://ffcap.cn/research/20240903a066i100