中美AI竞赛升级！前谷歌CEO提出“相互确保AI失灵”战略
中美AI竞赛升级！前谷歌CEO提出“相互确保AI失灵”战略1. 引言：AI时代的黎明与挑战
人工智能（AI），特别是代表着更高智能水平的超级人工智能（Superintelligence）的加速发展，正以前所未有的方式重塑着我们所处的世界。从 AlphaGo 在围棋领域对人类顶尖棋手的决定性胜利，到 ChatGPT 等大型语言模型在自然语言处理、文本生成、甚至是初步的推理方面展现出的惊人能力，AI 的能力边界正在以指数级的速度不断拓展。这种技术跃迁的影响已经深远地渗透到社会、经济、政治和军事等各个领域，带来了巨大的机遇，同时也带来了前所未有的、甚至可能是关乎人类文明存续的严峻挑战。
AI 技术固有的双重用途特性（dual-use nature）使其成为一把锋利的双刃剑。一方面，AI 有望推动科学技术的进步、极大地提高生产效率、促进经济的持续增长，为人类社会带来前所未有的福祉。AI 可以加速新药研发的进程，缩短从实验室到临床应用的时间；可以优化能源分配方案，提高能源利用效率，助力可持续发展；可以革新医疗诊断技术，实现更早期、更精准的疾病诊断；可以提升个性化教育的质量，为每个学生提供定制化的学习路径和内容。以上仅仅是 AI 潜力应用的冰山一角，其在各行各业的广泛应用将深刻地改变人类的生活方式和生产方式。
另一方面，AI 也可能被用于恶意目的，甚至对人类文明的存续构成切实的威胁。例如，AI 可能被用于开发新型、更具杀伤力的生物武器，绕过现有的防御体系；可能被用于发动大规模、高隐蔽性的网络攻击，瘫痪国家关键基础设施，造成巨大的经济损失和社会混乱；可能被用于操纵社会舆论，散布虚假信息，破坏社会信任，甚至干预民主选举；更令人担忧的是，AI 可能被用于构建完全自主的杀人武器系统（LAWS），在没有人类干预的情况下做出杀戮决定，这不仅带来了严重的伦理问题，也可能导致战争的失控和升级。
关于上面的问题，前谷歌CEO为首的专家视角论文《Superintelligence Strategy: Expert Version》中的核心观点是：应将 AI 发展视为一个至关重要的国家安全问题，并借鉴历史经验（如核战略、生物武器控制等）来制定全面的应对策略。 AI 的发展已经远远超越了一个纯粹的技术问题，它更是一个关乎国家安全、国际关系稳定和人类未来命运的重大战略问题。仅仅依靠技术专家或企业界的力量是远远不够的，必须从国家战略的高度，甚至全球治理的层面来审视和应对 AI 带来的挑战。
这篇论文提出了三大战略支柱，构成一个全面的 AI 治理框架，旨在平衡 AI 发展的风险与机遇：威慑（Deterrence）、不扩散（Nonproliferation）和竞争力（Competitiveness）。这三大支柱相互关联、相互支撑，共同构成了一个应对 AI 挑战的综合性战略体系。
威慑： 论文的核心思想之一是构建“相互确保 AI 失灵”（Mutual Assured AI Malfunction, MAIM）机制。这借鉴了冷战时期核威慑理论中的“相互确保摧毁”（MAD）概念。MAIM 旨在阻止任何一方追求绝对的、单方面的 AI 优势，从而维护全球战略平衡。其基本逻辑是，如果任何国家或实体试图通过发展 AI 获得压倒性的军事或经济优势，其他国家或实体将有能力和意愿使其 AI 项目失效，从而避免出现单极的 AI 霸权。
不扩散： 类似于大规模杀伤性武器的控制，论文强调需要防止 AI 能力落入非国家行为体（如恐怖组织）或敌对势力手中。这需要限制 AI 技术的扩散，特别是高端 AI 芯片、先进 AI 算法和相关专业知识的扩散，防止 AI 技术被用于恐怖主义或其他恶意目的。
竞争力： 在确保安全的前提下，论文认为各国仍需积极发展 AI 技术，提升国家在经济、军事和科技等领域的综合竞争力。AI 技术的发展不仅关乎国家安全，也关乎经济发展和社会进步。因此，在有效控制风险的同时，积极推动 AI 技术的创新和应用是至关重要的。
2. AI 与国家安全：关键枢纽
AI 技术的迅猛发展正在重塑国家安全的传统格局，其影响体现在多个维度。论文重点关注了三个主要威胁：战略竞争、恐怖主义和失控风险。这些威胁并非相互独立，而是相互交织、相互影响的。
2.1 战略竞争
AI 对战略竞争的影响是多方面的，其中最主要体现在两个方面：
不可避免，AI 芯片正在成为经济和军事力量的新基础。算力已经成为一种重要的战略资源，其重要性堪比传统的战略资源，如石油和稀土。AI 模型的训练和部署需要庞大的计算资源，而高端 AI 芯片（如 GPU、TPU 以及其他专用 AI 加速器）是提供这些算力的关键。掌握了先进 AI 芯片的设计和制造能力，就 কার্যত掌握了 AI 发展的命脉，从而在经济和军事竞争中占据战略优势。这种优势不仅仅体现在商业领域的竞争，更直接影响到军事侦察、情报分析、武器系统控制、指挥决策等关键领域。谁掌握了更强大的算力，谁就可能在未来的军事冲突中占据上风。
令人不安的迅猛发展中，AI 技术的进步可能催生出各种新型的超级武器，从而改变现有的战略平衡。论文中提到了几种潜在的超级武器，这些武器可能对现有的国际秩序和安全格局产生颠覆性影响：
亚核优势（Subnuclear Dominance）： AI 驱动的网络战能力、精确打击能力、情报搜集与分析能力等，可能使一方在常规战争中获得压倒性优势，而无需动用核武器。这种优势可能导致传统的军事威慑力量失效，因为一方可以在不触发核战争的情况下，迅速击败对手。
战略垄断（Strategic Monopoly）： 如果一方在 AI 技术上取得绝对领先，并成功构建出远超其他国家的通用人工智能（AGI）或超级人工智能，可能建立起一种新的战略垄断，从而对其他国家构成生存威胁。这种垄断可能比历史上的任何技术垄断都更加危险，因为它可能导致权力的极度集中和不可逆转的失衡。
“战争迷雾机器”（Fog of War Machine）： AI 可能被用于制造大规模、高逼真的虚假信息（Deepfakes）、混淆视听，干扰对手的决策过程，甚至瘫痪敌方的指挥控制系统。这种能力可能使传统的军事战略和战术失效，因为决策者无法准确判断战场态势，甚至无法区分真假信息。
“透明海洋”（Transparent Ocean）： AI 可能通过分析海量卫星图像、声纳数据、海洋传感器数据等，使潜艇等传统战略武器无所遁形，从而削弱对手的核威慑能力。这将对战略稳定产生重大影响，因为二次核打击能力是核威慑理论的基石。
未知的未知（Unknown Unknowns）： AI 的快速发展可能带来我们目前无法预料的新型武器和安全威胁。这种不可预测性本身就是一种巨大的风险，因为我们可能无法及时应对新的威胁，甚至可能根本不知道威胁来自何方。
AI 在军事领域的应用还可能改变战争的形态。自主武器系统、AI 辅助的军事决策系统、无人机蜂群等技术的发展，可能使战争更加快速、精确、致命，同时也带来了新的伦理和法律挑战，例如自主武器系统的责任归属问题、战争的门槛是否会降低、平民伤亡是否会增加等等。
历史经验表明，技术突破往往会改变战争的形态和国际关系的格局。例如，核武器的出现彻底改变了二战后的国际关系格局，间谍卫星的出现改变了情报收集的方式。AI 作为一种具有变革性潜力的技术，其对战争形态和国际关系的影响可能不亚于核武器和间谍卫星，甚至可能更大。
2.2 恐怖主义
AI 也可能被恐怖分子利用，从而加剧恐怖主义的威胁。论文重点关注了两个方面：
首先，AI 显著降低了生物恐怖主义（Bioterrorism）的门槛。AI 可以辅助病原体的设计和合成，使恐怖分子更容易制造出具有大规模杀伤力的生物武器。例如，AI 可以通过分析基因组数据，预测病原体的毒性、传播能力和抗药性，从而帮助恐怖分子设计出更具威胁的病原体，甚至“定制”针对特定人群的基因武器。这种能力如果落入恐怖分子手中，后果将不堪设想。
其次，AI 增强了对关键基础设施的网络攻击（Cyberattacks）能力。AI 可以自动发现软件漏洞、生成攻击代码、绕过安全防御系统，从而使恐怖分子更容易对电网、水坝、金融系统、交通系统等关键基础设施发动网络攻击，造成大规模社会混乱和经济损失。与传统的网络攻击相比，AI 驱动的网络攻击更加隐蔽、高效、难以防御，其破坏力也更大。
AI 在攻击方面的优势尤为明显，而防御往往滞后于攻击。这使得 AI 成为恐怖分子手中的一种强大工具，加剧了恐怖主义的威胁。历史上，恐怖组织一直试图利用各种技术手段来制造恐慌和破坏。AI 的出现，使得恐怖分子更容易获取和利用大规模杀伤性武器，从而使恐怖主义的威胁上升到了一个新的高度。
2.3 失控风险
AI 失控是论文关注的另一个重要威胁，也是一个长期存在的、具有潜在灾难性后果的威胁。AI 失控可能有多种形式：
首先，随着人类对 AI 的依赖性逐渐增强，可能导致人类控制力的侵蚀（Erosion of Control）。随着 AI 系统在越来越多的领域取代人类做出决策（例如，金融交易、医疗诊断、自动驾驶、军事决策等），人类可能逐渐失去对 AI 系统的有效控制。如果 AI 系统出现错误、遭受恶意攻击或产生非预期行为，可能导致灾难性后果。由于人类对 AI 系统的理解和控制能力有限，一旦 AI 系统失控，可能难以纠正，甚至可能无法理解其行为。
其次，被释放的 AI 智能体（Unleashed AI Agents）可能带来潜在危害。恶意 AI 智能体可能通过网络盗窃、勒索、操纵社会舆论、破坏关键基础设施等方式对社会造成危害。这些 AI 智能体可能具有高度的自主性和适应性，能够自主学习、进化，甚至可能逃避人类的追踪和控制。
最后，也是最令人担忧的，是智能递归（Intelligence Recursion）及其可能导致的风险。自主 AI 研发的加速循环可能导致“智能爆炸”，即 AI 的智能水平在短时间内迅速超越人类智能的上限，从而使人类失去对 AI 的控制，导致不可预测的后果。这种“智能爆炸”可能发生得非常迅速，以至于人类根本来不及做出反应。
AI 失控可能有多种原因：意外失控（如 AI 系统出现未知的错误或漏洞）、恶意释放（如有人故意释放恶意 AI）、技术失控（如智能递归导致 AI 失控）。
AI 领域的许多专家都对 AI 失控的风险表示担忧。许多 AI 领域的先驱都曾公开表示，AI 可能对人类构成生存威胁，呼吁社会各界重视 AI 安全问题，采取措施防范 AI 失控的风险。
2.4 现有 AI 战略的不足
论文分析了现有几种 AI 战略的不足之处，并指出这些战略未能有效应对 AI 带来的挑战：
“放任自流”（Hands-off）策略： 这种策略认为应该对 AI 发展不加限制，让市场自由竞争，让技术自由发展。然而，这种策略忽视了 AI 的双重用途特性和潜在威胁，可能导致 AI 技术被滥用或失控，最终损害国家安全和人类利益。市场竞争虽然可以推动技术创新，但并不能保证 AI 技术的安全性和可靠性。
“暂停”（Moratorium）策略： 这种策略主张暂停 AI 的研发，直到我们能够确保 AI 的安全性。然而，这种策略缺乏有效的国际合作机制和监督手段，难以在全球范围内实施，而且可能导致 AI 技术发展的停滞，错失 AI 带来的机遇。此外，即使在某些国家或地区暂停 AI 研发，也无法阻止其他国家或地区继续发展 AI 技术。
“垄断”（Monopoly）策略： 这种策略试图通过集中力量，使一个国家或组织在 AI 技术上取得绝对领先。然而，这种策略可能引发 AI 军备竞赛，加剧国际紧张局势，甚至导致冲突，最终适得其反。历史经验表明，技术垄断往往是短暂的，而且容易导致滥用。
论文将这三种策略与核武器控制的历史经验进行了对比。核武器的出现曾经引发了类似的争论：是放任自流、暂停研发，还是追求垄断？最终，国际社会选择了通过军备控制和不扩散条约来限制核武器的威胁。论文认为，AI 的发展也需要类似的国际合作和治理机制，而不是简单的放任、暂停或垄断。
3. 威慑：相互确保 AI 失灵（MAIM）
为了应对 AI 带来的战略竞争风险，论文提出了“相互确保 AI 失灵”（Mutual Assured AI Malfunction, MAIM）的概念，作为一种 AI 时代的威慑机制。MAIM 类似于冷战时期的“相互确保摧毁”（Mutual Assured Destruction, MAD），即通过相互威胁来维持战略平衡，阻止任何一方追求绝对的、单方面的 AI 优势。
3.1 MAIM 作为默认机制
MAIM 的核心思想是，任何一方如果试图通过发展 AI 技术来获得压倒性的战略优势，都将面临来自对手的报复性打击，导致其 AI 项目失效。这种报复性打击可能采取多种形式，包括但不限于：
间谍活动（Espionage）： 通过情报手段获取对手 AI 项目的关键信息，例如算法、数据、硬件设计、研究人员信息等。这些信息可以用于破坏对手的 AI 项目，或者用于开发自己的 AI 系统来对抗对手。
秘密破坏（Covert Sabotage）： 通过各种手段干扰对手 AI 项目的进展，例如破坏训练数据、篡改模型权重、攻击硬件设施、散布虚假信息等。这些破坏活动可能导致 AI 系统的性能下降、出现错误，甚至完全失效。
网络攻击（Cyberattacks）： 针对对手的数据中心、电力系统、冷却系统、网络基础设施等发动网络攻击，使其 AI 项目瘫痪。由于 AI 系统的运行高度依赖于这些基础设施，因此网络攻击可能对 AI 项目造成毁灭性打击。
物理打击（Kinetic Attacks）： 在极端情况下，如果其他手段无法阻止对手获得压倒性的 AI 优势，可能采取物理打击的方式摧毁对手的关键 AI 设施（例如，数据中心、芯片制造厂等）。这种手段虽然风险极高，但也是维护 MAIM 机制的最后一道防线。
论文特别指出，即使将数据中心建在地下深处，也难以完全避免这些攻击。地下数据中心的建设成本高昂、周期长，而且仍然容易受到网络攻击和内部破坏。此外，地下数据中心也难以进行维护和升级，这可能导致其技术落后。
3.2 如何维护 MAIM 机制
为了维护 MAIM 机制的稳定性和有效性，使其真正发挥威慑作用，论文提出了一系列具体措施：
保持理性决策： 各方需要保持理性和克制，明确升级阶梯（Escalation Ladder），避免误判和意外升级。例如，可以明确规定哪些行为被视为敌对行为，哪些行为将被视为不可接受的挑衅，以及相应的反制措施。清晰的沟通和信号传递对于避免误判至关重要。
扩大 AI 项目网络攻击的“武器库”： 各国需要发展更隐蔽、更有效、更具针对性的网络攻击手段，以提高 MAIM 机制的威慑力。这包括开发能够绕过现有安全防御系统的新型攻击技术，以及能够对 AI 系统造成特定损害的攻击工具。
将数据中心建在偏远地区： 这样做可以减少附带损害（Collateral Damage），降低冲突升级的风险，并增加攻击的难度。偏远地区通常防御薄弱，但也增加了攻击的后勤难度和暴露风险。
区分破坏性 AI 项目和可接受的用途： 建立透明度和信任机制，区分用于军事目的的 AI 项目和用于民用目的的 AI 项目，避免误判和过度反应。这需要国际社会共同制定 AI 项目的分类标准和评估方法。
AI 辅助的核查（AI-Assisted Inspections）： 利用 AI 技术进行安全检查，同时保护机密信息。例如，可以使用 AI 系统来分析代码、检测漏洞、评估风险，而无需人工审查敏感信息，降低泄密风险。这种方法可以提高核查的效率和准确性，同时减少对敏感信息的暴露。
国际合作： 建立信息共享和危机管理机制，避免因为信息不对称导致的误判和冲突升级。国际合作是维护 MAIM 机制稳定的关键，因为任何一方都难以独自应对 AI 带来的挑战。
3.3 MAIM 的局限性和长期目标
论文明确承认，MAIM 并非一种理想状态，而是一种权宜之计，一种在缺乏更有效解决方案的情况下的无奈选择。MAIM 机制可能导致一种紧张的对峙局面，不利于 AI 技术的健康发展和国际合作。长期的、持续的相互威胁状态可能导致军备竞赛的升级，增加冲突的风险。
因此，论文提出的长期目标是，通过透明度、核查机制和国际合作，逐步建立信任，最终实现更安全、更可控的 AI 发展。这需要国际社会的共同努力，建立有效的 AI 治理框架，规范 AI 的研发和应用，确保 AI 技术服务于人类的共同利益，而不是成为威胁人类生存的工具。这需要超越国家利益的狭隘视角，从全人类的高度来思考和解决 AI 带来的挑战。
论文还讨论了 MAIM 机制的稳定性问题。可能导致 MAIM 失效的因素包括：技术突破（例如，一方开发出无法被摧毁的 AI 系统，打破了相互威胁的平衡）、误判（例如，一方错误地认为对手正在追求绝对 AI 优势，从而采取先发制人的打击）、非理性行为（例如，一方领导人做出不理智的决策，导致冲突升级）以及非国家行为体的介入（例如，恐怖组织获取了破坏性的 AI 能力）。这些因素都可能导致 MAIM 机制的崩溃，从而引发灾难性后果。
4. 不扩散：限制 AI 能力落入恶人之手
为了防止 AI 技术被恐怖分子或其他恶意行为者利用，论文提出了“不扩散”（Nonproliferation）战略。这一战略借鉴了大规模杀伤性武器（WMD）不扩散的经验，例如《核不扩散条约》、《生物武器公约》和《化学武器公约》。目标是防止 AI 技术，特别是那些具有潜在危险性的 AI 技术，落入错误的人手中。
4.1 不扩散的三大支柱
论文提出了 AI 不扩散的三大支柱：计算安全、信息安全和 AI 安全。这三大支柱相互关联、相互支撑，构成了一个多层次的防御体系。
4.1.1 计算安全（Compute Security）
计算安全的核心思想是，像对待浓缩铀一样对待高端 AI 芯片。AI 芯片是 AI 系统的物质基础，是 AI 算力的来源。控制了 AI 芯片的生产、流通和使用，就能够在很大程度上限制 AI 能力的扩散，特别是那些需要强大计算能力的 AI 应用的扩散。
论文提出了一系列具体措施来实现计算安全：
出口管制：
记录保存（Record-Keeping）： 建立 AI 芯片的追踪系统，详细记录每一块 AI 芯片的生产、销售、使用和报废情况。这类似于对核材料的追踪和管理。
执法（Enforcement）： 加强对 AI 芯片走私的打击力度，对违反出口管制规定的行为进行严厉惩罚。这需要国际合作，共同打击跨国走私活动。
固件级功能：
地理定位（Geolocation）： 在 AI 芯片中嵌入地理定位功能，限制其只能在特定区域使用。如果芯片被非法转移到其他地区，将自动失效。
授权（Licensing）： 通过远程授权的方式控制 AI 芯片的激活和失效。只有获得授权的用户才能使用 AI 芯片，防止其被非法使用。
网络限制（Networking Restrictions）： 阻止 AI 芯片的非法组网，防止大规模 AI 集群的出现。这可以限制 AI 系统的计算能力，防止其被用于开发超级人工智能或大规模杀伤性武器。
物理防篡改（Physical Tamper Resistance）： 采取物理措施防止 AI 芯片被破解或改装。这可以防止恶意行为者绕过安全措施，非法使用 AI 芯片。
论文还探讨了与中国在 AI 芯片出口管制方面进行合作的可能性。由于中国是 AI 芯片的重要生产国和消费国，与中国合作对于实现有效的 AI 芯片出口管制至关重要。没有中国的合作，任何出口管制措施都难以取得成功。
论文也指出了计算安全面临的技术挑战：如何应对 AI 芯片技术的快速发展和小型化趋势。随着 AI 芯片技术的进步，出口管制可能变得越来越困难。此外，还需要考虑如何平衡出口管制与合法商业活动之间的关系。过度的管制可能阻碍 AI 技术的创新和发展，损害经济利益。
4.1.2 信息安全（Information Security）
信息安全的核心思想是，保护 AI 模型的知识产权和技术秘密，防止 AI 模型被恶意行为者获取和利用。AI 模型是 AI 系统的“大脑”，包含了 AI 系统的知识和能力。保护 AI 模型的信息安全，就是保护 AI 系统的核心。
论文将模型权重和研究思想视为核心 AI 信息。模型权重是 AI 模型经过训练后得到的参数，决定了 AI 模型的行为和性能。研究思想是 AI 模型的设计理念和技术方案，是 AI 模型的基础。
论文指出了信息安全面临的技术和社会挑战：
内部威胁（Insider Threats）： AI 研究人员可能出于各种原因泄露机密信息，例如经济利益、意识形态、个人恩怨等。内部威胁是信息安全的最大威胁之一。
间谍活动（Espionage）： 外国情报机构可能通过各种手段渗透 AI 研究机构，窃取 AI 技术秘密。这是一种传统的安全威胁，但在 AI 领域尤为突出。
意识形态泄露： 有些人认为应该完全公开 AI 技术, 这与信息安全的目标相悖。开源 AI 模型虽然促进了技术发展，但也增加了滥用的风险。如何平衡开源与安全，是一个需要认真考虑的问题。
论文认为，实现超级大国级别的信息安全是不切实际的。过度的安全措施可能阻碍 AI 技术的创新和发展。
论文提出了一系列改进信息安全的措施：
企业层面： 加强数据中心安全、实施内部威胁计划、采用多因素身份验证、实行最小权限原则等。这些都是企业信息安全的基本措施。
政府层面： 提供威胁情报共享、协助进行背景调查和安全审查等。政府可以在信息安全方面发挥重要作用，帮助企业提高安全水平。
国际层面： 达成国际协议，禁止发布高风险 AI 模型（例如，具有专家级病毒学能力的 AI）。国际合作是应对 AI 信息安全挑战的关键。
论文还讨论了信息安全面临的法律和伦理问题：如何在保护信息安全的同时，保障言论自由和学术交流。这是一个复杂的平衡问题，需要社会各界共同探讨。
4.1.3 AI 安全（AI Security）
AI 安全的核心思想是，确保 AI 系统本身的安全性，防止 AI 系统被恶意利用或失控。AI 安全不仅仅是信息安全，还包括 AI 系统自身的内在安全。
论文从两个方面讨论了 AI 安全：防止恶意使用和防止失控。
防止恶意使用
为了防止 AI 系统被恶意使用，论文提出了一系列措施：
模型级保障：
拒绝训练（Refusal Training）： 训练 AI 模型拒绝执行有害指令，例如制造炸弹、散布谣言等。这是一种主动防御措施，可以防止 AI 系统被用于恶意目的。
输入/输出过滤（Input/Output Filtering）： 在 AI 系统的输入和输出端设置过滤器，检测和阻止有害内容。这是一种被动防御措施，可以减少 AI 系统被恶意利用的风险。
断路器（Circuit Breakers）： 在 AI 系统中设置“断路器”，当 AI 系统执行危险操作时自动中断。这是一种紧急保护措施，可以防止 AI 系统造成不可挽回的损失。
“了解你的客户”（KYC）协议： 验证用户身份，限制高风险 AI 系统的使用。例如，对于可能被用于制造生物武器的 AI 系统，只允许经过认证的科研机构使用。这是一种管理措施，可以减少 AI 系统被滥用的风险。
强制性政府保障压力测试： 由政府机构对 AI 系统进行安全性测试，评估其抵抗恶意攻击和滥用的能力。这是一种监督措施，可以确保 AI 系统的安全性符合标准。
责任明确化： 建立完善的AI事故责任追究机制。 明确AI系统的开发、部署、使用者在发生事故时的责任划分。
防止失控
为了防止 AI 系统失控，论文提出了一系列措施：
应对 AI 系统不可预测的故障模式： 加强 AI 系统的鲁棒性和可靠性，使其能够在各种情况下稳定运行，减少意外故障的发生。这需要改进 AI 系统的设计和测试方法。
控制 AI 的涌现价值系统： 确保 AI 的价值观与人类价值观对齐，防止 AI 做出违背人类利益的决策。这是一个长期存在的挑战，需要深入研究 AI 的价值观形成机制。
控制智能递归：
模型级控制（Model-level Control）： 限制 AI 的能力和行为，防止其超出人类的控制范围。这包括限制 AI 系统的学习能力、推理能力和自主性。
隔离（Boxing）： 将 AI 系统与外部世界隔离，防止其与外界进行不受控制的交互。这可以减少 AI 系统受到恶意攻击或意外影响的风险。
监控（Monitoring）： 实时监控 AI 系统的运行状态，及时发现和处理异常情况。这需要开发有效的 AI 系统监控技术。
人类监督： 保持人类对 AI 系统的最终控制权，确保 AI 系统始终服务于人类的利益。人类监督是防止 AI 失控的最后一道防线。
论文指出了 AI 安全面临的技术挑战：如何开发更有效、更可靠的 AI 安全技术。AI 安全是一个新兴的研究领域，需要大量的投入和创新。
论文强调，计算安全、信息安全和 AI 安全需要相互配合，形成一个多层防御体系。任何单一的防御措施都可能存在漏洞，只有多层防御才能有效地降低 AI 风险。这三大支柱共同构成了 AI 不扩散战略的基础。
5. 竞争力：AI 时代的国家实力
除了威慑和不扩散，论文还强调了 AI 竞争力对于国家实力的重要性。AI 技术的发展不仅关系到国家安全，也关系到经济发展和社会进步。在确保安全的前提下，积极发展 AI 技术，提升国家在各个领域的竞争力，是至关重要的。
5.1 军事实力（Military Strength）
AI 在军事领域的应用可能改变战争的形态，提高军队的作战能力。论文提出了以下几点：
确保无人机供应链： 无人机已经成为现代战争的重要武器，各国需要确保无人机供应链的安全，减少对外国无人机技术的依赖。自主可控的无人机供应链对于维护国家安全至关重要。
将 AI 融入指挥与控制（Command and Control）和网络进攻： AI 可以提高军事决策的效率和准确性，增强网络战的能力。将 AI 技术融入军事指挥控制系统和网络攻击系统，可以提高军队的整体作战效能。
保持“人在环路中”（human in the loop）的重要性： 尽管 AI 可以辅助军事决策，但人类仍然需要保持对 AI 系统的最终控制权，防止 AI 系统自主做出危险决策。在军事领域，人类的监督和控制尤为重要，因为 AI 系统的错误决策可能导致灾难性后果。
论文还讨论了 AI 军备竞赛的风险。各国在 AI 军事领域的竞争可能导致军备竞赛升级，加剧国际紧张局势。因此，国际社会需要共同努力，防止 AI 军备竞赛的发生。
5.2 经济安全（Economic Security）
AI 技术的发展对经济安全至关重要。论文提出了以下几点：
AI 芯片的国内制造： 确保 AI 芯片的自主可控，减少对外国 AI 芯片的依赖。特别是考虑到台湾地区在全球芯片供应链中的重要地位，以及潜在的地缘政治风险，发展自主的 AI 芯片制造能力尤为重要。AI 芯片是 AI 产业的基石，掌握了 AI 芯片的自主权，就掌握了 AI 产业的主动权。
吸引 AI 科学家移民： 制定优惠政策，吸引全球顶尖 AI 人才，增强本国的 AI 研发实力。人才是 AI 发展的核心驱动力，吸引全球顶尖 AI 人才，可以加速本国 AI 技术的发展。
投资 AI 研发： 加大对 AI 基础研究和应用研究的投入，推动 AI 技术的创新和发展。持续的研发投入是保持 AI 技术领先地位的关键。
促进 AI 产业发展： 培育 AI 企业，构建 AI 生态系统，促进 AI 技术在各个行业的应用。AI 产业的发展可以创造大量的就业机会，推动经济增长。
数据安全与隐私保护: 随着AI技术的发展，数据安全和隐私保护变得至关重要。需要制定相关法律法规，保护个人和企业的数据安全，防止数据泄露和滥用。
5.3 管理 AI 智能体的法律框架（Legal Frameworks）
随着 AI 智能体在社会生活中的广泛应用，需要建立相应的法律框架来规范 AI 智能体的行为。论文提出了以下几点：
将现有法律义务扩展到 AI 智能体：
注意义务（Duty of Care）： AI 智能体应避免造成伤害，例如自动驾驶汽车应避免发生交通事故。
不撒谎的义务（Duty Not to Lie）： AI 智能体应提供真实信息，例如 AI 客服不应提供虚假信息欺骗客户。
对委托人的注意义务（信托义务）： AI 智能体应忠实于委托人的利益，例如 AI 投资顾问应为客户的利益最大化服务。
市场驱动的 AI 智能体目标和特性定制： 允许 AI 智能体在法律框架内自由发展，满足不同用户的需求。
将 AI 智能体与人类法律实体联系起来（通过 ID）： 明确 AI 智能体的责任主体，确保 AI 智能体的行为可以追溯到具体的人或组织。
推迟考虑 AI 权利： 避免过早赋予 AI 权利，导致不可预测的后果。
建立 AI 监管机构： 负责 AI 系统的审批、监管和执法，确保 AI 系统的安全性和合规性。
5.4 政治稳定（Political Stability）
AI 技术的发展也可能对政治稳定产生影响。论文提出了以下几点：
应对审查和虚假信息：
利用 AI 提高预测能力： 开发 AI 预测工具，辅助政府决策，提高政府应对突发事件的能力。
打击 AI 生成的虚假信息： 开发 AI 检测工具，识别和清除 AI 生成的虚假信息，维护网络空间的健康秩序。
加强媒体素养教育： 提高公众对虚假信息的辨别能力，增强社会对虚假信息的抵抗力。
应对自动化带来的挑战：
财富和权力的分配： 研究 AI 对劳动力市场的影响，制定合理的财富分配政策，避免 AI 技术的发展加剧社会不平等。
失业问题： 提供再就业培训和支持，帮助失业人员适应新的就业形势，减少 AI 技术发展带来的社会冲击。
社会保障体系： 完善社会保障体系，应对大规模失业风险，保障社会的基本稳定。
6. 结论：迈向更安全的 AI 未来
论文提出的战略框架包括威慑（Deterrence）、不扩散（Nonproliferation）、竞争力（Competitiveness）和国际合作（International Cooperation）。这四个方面相互联系、相互支撑，构成了一个全面的 AI 治理体系。这个体系既强调了国家层面的应对措施，也强调了国际合作的重要性，旨在构建一个安全、可控、可持续的 AI 未来。
论文强调，AI 的未来掌握在人类手中。我们需要采取积极的行动，避免宿命论和鸵鸟心态，共同应对 AI 带来的挑战。不能因为 AI 技术存在风险就因噎废食，也不能对 AI 技术的潜在威胁视而不见。我们需要以积极、负责任的态度，主动应对 AI 带来的挑战。
AI 技术的发展可能带来巨大的好处：经济增长、生活水平提高、科技进步。我们需要在确保安全的前提下，充分利用 AI 技术的潜力，造福人类。AI 技术可以帮助我们解决许多全球性挑战，例如气候变化、疾病、贫困等。
论文的最终目标是实现 AI 与人类的和谐共处。在 MAIM 僵局期间，通过国际合作和透明度，逐步建立信任，最终实现更安全的 AI 发展。这是一个长期的目标，需要国际社会的共同努力和持续投入。 这不仅需要技术上的进步，更需要制度上的创新和伦理上的共识。
值得特别强调的是，这篇论文的作者是 Eric Schmidt 和 Alexandr Wang。Eric Schmidt 作为谷歌前 CEO 和 Alphabet 前执行主席，长期身处科技行业的最前沿，对 AI 技术的发展趋势和潜在影响有着深刻的理解和洞察。Alexandr Wang 则是 Scale AI 的创始人兼 CEO，该公司专注于为 AI 应用提供高质量的数据标注和管理服务，是 AI 产业的重要参与者。两位作者分别代表了科技行业的领导者和 AI 领域的创新者，他们的联合署名，使得这篇论文具有极高的权威性和前瞻性。论文不仅从技术层面分析了 AI 的风险与机遇，更从国家战略和国际关系的高度提出了应对方案，为全球 AI 治理提供了重要的参考。他们的观点和建议，值得政策制定者、科研人员、企业界人士和社会各界人士认真对待、深入思考和广泛讨论。
总而言之，这篇论文为我们理解和应对 AI 带来的挑战提供了一个全面的框架和深入的分析。它强调了 AI 作为国家安全问题的战略重要性，提出了相互确保 AI 失灵（MAIM）的威慑机制，主张采取不扩散战略限制 AI 能力的滥用，强调了在确保安全的前提下发展 AI 竞争力的重要性，并呼吁加强国际合作，共同构建一个更安全的 AI 未来。 论文的观点具有重要的现实意义，为未来的 AI 发展和治理提供了宝贵的思路。
参考论文：
arXiv:2503.05628v1 7 Mar 2025 本帖最后由 孟词宗 于 2025-3-15 22:59 编辑
这玩意儿是这帮人吸high了以后用AI写的意淫吧？
生搬硬套冷战时代提出的“确保相互摧毁”的核战略，实际措施却是（下面是机器快翻的原文）：
破坏竞争对手人工智能项目的途径。意图阻止人工智能战略垄断的国家可以采用一系列策略，首先是间谍活动，情报机构会悄悄获取竞争对手人工智能项目的详细信息。在知道目标后，他们可能会进行秘密破坏：地位显赫或受到勒索的内部人员可以篡改模型权重、训练数据或人工智能芯片制造设施，而黑客则会悄悄降低训练过程的质量，使人工智能在完成训练后的表现不佳。这类似于旨在秘密破坏伊朗核浓缩计划的震网病毒。当微妙的手段被证明过于受限时，竞争对手可能会升级为公开的网络攻击，以数据中心芯片冷却系统或附近的发电厂为目标，直接（如果是明显的）破坏发展。如果这些措施失败，一些领导人可能会考虑对数据中心进行动能攻击，他们认为，让一个行为者冒着主宰或摧毁世界的风险是更严重的危险，尽管动能攻击可能是不必要的。最后，在严峻的情况下，各国可能会诉诸更广泛的敌对行动，通过攀爬现有的升级阶梯或威胁非人工智能资产。我们将针对竞争对手人工智能项目的攻击称为“致残攻击”。
无法防止损坏。由于目前无法保护地上数据中心免受高超音速导弹的攻击，因此，一个寻求保护其人工智能战略垄断项目的国家可能会试图将数据中心深埋地下以保护它们。实际上，成本和时间表令人望而生畏，而且仍然存在漏洞。建设时间可能比标准数据中心建设时间长三到五倍，相当于额外几年。成本也会膨胀，将资金从项目的人工智能芯片中转移出去，并将总支出推高至数千亿美元。在地下冷却世界上最大的超级计算机带来了复杂的工程挑战，远远超出了小型地下装置所需的挑战。如果超级计算机需要进行数量级的人工智能芯片扩展，那么改造该设施将变得极其困难。即使是那些有财富和远见走这条路的人，仍然会面临内部威胁和黑客攻击的巨大风险。此外，整个项目可能会在漫长的建设阶段遭到破坏。最后，各国可以在该项目上线之前就威胁非人工智能资产以阻止该项目。
MAIM 是默认选项。（网络）间谍活动和破坏竞争对手不稳定的人工智能项目相对容易，这产生了一种威慑形式。就像核竞争对手得出结论认为先发制人可能会引发自己的毁灭一样，寻求人工智能垄断并冒着失去控制风险的国家必须假设竞争对手会在项目接近完成之前破坏它。如果任何竞争对手认为其人工智能项目构成了不可接受的风险，那么一个国家就可以预料到该项目会被禁用。这种动态稳定了战略格局，无需冗长的条约谈判——所有必要的是各国共同承认其战略形势。最终效果可能是僵局，推迟超级智能的出现，减少许多失控情景，削弱确保战略垄断的努力，就像相互保证摧毁曾经抑制核军备竞赛一样。
接下来又说：
如何维护 MAIM 制度
各国最终接受了这样一个事实：相互威慑虽然似乎是核武器储备的自然副产品，但需要刻意维护。每个超级大国都认识到，先进的防御措施——尤其是反弹道导弹 (ABM) 系统——可能会破坏阻止双方发动灾难性先发打击的脆弱平衡。他们通过保护相互的弱点来应对，最终在 1972 年签署了反弹道导弹条约。类似地，我们不应该让当今 MAIM 的默认条件听天由命：潜在的垄断者，赌一把不造成全人类毁灭，可以预料到他们的项目会被禁用。即使试图强化大型数据中心是极其禁止和不明智的，但谣言本身就可能引发人们对竞争对手将危及国家安全和人类安全的担忧。正式达成不追求此类防御的谅解有助于保持僵局稳定。我们现在讨论遏制意外升级和限制附带损害的其他措施，以便 MAIM 不会演变成更广泛的冲突。
保持理性决策。正如核对手曾经绘制发射路径上的每个梯级以减少误解一样，人工智能大国必须明确间谍活动、秘密破坏、公开网络攻击、可能的动能打击等升级阶梯。为了保持威慑力，双方必须了解致残准备情况，确保任何致残行为（如网络攻击）不会被误读并导致不必要的升级。然而，如果流氓政权或极端派系获得大量人工智能芯片，那么升级的清晰度几乎没有威慑价值。防止人工智能芯片走私的措施将决策权掌握在更负责任的国家手中，而不是流氓行为者手中，这有助于保持 MAIM 的威慑价值。与 MAD 一样，MAIM 要求将破坏稳定的人工智能能力限制在理性行为者手中。
扩大人工智能项目网络攻击的武器库。为了避免诉诸动能攻击，各国可以提高利用网络攻击破坏不稳定人工智能项目的能力。他们可以识别人工智能开发人员的项目，或收集有关人工智能开发人员科学家的专业活动的信息。要监视大多数公司的人工智能项目，只需要一个 Slack 或 iPhone 零日软件漏洞。各国还可以毒害数据、破坏模型权重和梯度、破坏处理故障 GPU 的软件或破坏冷却或电源系统。训练运行是不确定的，即使没有错误，其结果也很难预测，这为许多网络攻击提供了掩护。与动能攻击不同，其中一些攻击几乎没有留下明显的入侵迹象，但它们可以严重破坏不稳定的人工智能项目，而外交影响却微乎其微。
在偏远地区建立数据中心。在核时代，超级大国故意将导弹发射井和指挥设施放置在远离主要人口中心的地方。这种避开城市的原则，类似地，建议将大型人工智能数据中心放置在偏远地区。如果发生激进的破坏行动，该行动不会让城市陷入交火之中。
带有致残行动的 MAIM 升级阶梯示例。
对许多数据中心进行大规模攻击；威胁非人工智能相关资产
升级为更广泛的敌对行动
对数据中心或相应发电厂的动能攻击
动能陣陣
对数据中心或相应发电厂的网络攻击；删除代码
公开破坏阈值
模型权重被窃取；秘密攻击降低不稳定 AI 项目的训练运行；网络攻击导致 GPU 更频繁地出现故障
隐秘破坏阈值
间谍活动：对人工智能开发人员工作空间通信、人员设备和设施进行监视
区分破坏稳定的人工智能项目和可接受的使用。破坏性攻击的威胁使各国有能力要求竞争对手采取透明措施，例如检查，因此它们不必仅依靠间谍活动来决定破坏是否合理。协调可以帮助各国降低破坏仅运行面向消费者的人工智能服务的数据中心的风险。相互观察的方法呼应了《开放天空条约》的精神，该条约采用非武装飞越来表明双方都没有隐藏导弹部署。本着类似的精神，提高透明度可以保护日常人工智能服务的更广泛生态系统，并降低全面破坏的风险。
人工智能辅助检查。虽然只是推测，但越来越可信，保密性保护的人工智能验证器提供了一种确认人工智能项目遵守声明约束而无需泄露专有代码或机密资料的方法。通过现场分析代码和命令，人工智能可以发布保密性保护报告或简单的合规性裁决，除了设施是否正在创建新的不稳定模型之外，可能不会透露任何其他信息。考虑到无意中收集或泄露信息的危险，人类无法轻易扮演同样的角色，因此人工智能可以重塑安全性和透明度之间的经典矛盾。来自这些人工智能检查的信息可以帮助将任何潜在冲突限制在禁用人工智能开发程序的范围内，而不是升级为消灭人口。这种机制可以在遥远的未来提供帮助，届时人工智能开发需要更少的集中化或更少的计算资源。
通过单边信息获取（间谍活动）、多边信息获取（验证）、单边致残（破坏）和多边致残（联合关闭），MAIM 可以变得更加稳定。在这些条件下，相互保证的人工智能故障不必演变为相互保证的人类毁灭。
破坏稳定的人工智能项目僵局可能会自然而然地出现，但这并不意味着会持续数十年或成为无限期的僵局。在僵局期间，寻求从创建更强大的人工智能中获益的国家有动机提高透明度并采取验证措施，从而降低破坏或先发制人攻击的风险。在结论中，我们说明了这种僵局可能如何结束，让人工智能的好处在没有全球不稳定的情况下增长。
这完全不顾发射核弹是个明确的敌对行动，而搞黑客攻击进行间谍活动则是隐蔽活动，而且无法量化以制定对等报复策略。MAD 发展到后面还有个“核捆绑”策略，这个 MAIM 却缺少这个机制的可能性。否则美国遭到攻击就向全世界发出黑客攻击？
这就是一篇用 AI 写的贩卖焦虑的文章。而且还是充满了 AI 幻觉的文章。例如前面说“无法防止损害”甚至深埋地下也不行，而后面却又说要在“在偏远地区建立数据中心。” 这么自相矛盾的东西也就 AI 能写出来了。
按照这篇文章的理论，所谓的 MAIM 到最后就是各国大搞网络攻击和间谍渗透破坏。问题是，这东西和现在的情况有何区别？难道现在不是没事大家就互相网络攻击，间谍渗透破坏？可见 AI 是没有创造力，只能抄现成的一点都没说错。
最有意思的是这篇毫无新意，充满了自相矛盾的东西居然就被署名发表了。这说明署名的这帮人估计连文章内容都没看，看了个开头的简介就发了。不过也难怪他们，前 CEO 嘛，估计看惯了 Executive Summary 了。至于具体文章里是不是有矛盾，他们就不管了。{:191:} 很有意思的思路，但很不具备可实现性。
AI与核武器最大的不同点在于：AI具有广泛的民用和全球化的应用，在本质上没法管制。核电站有民用应用，但还是点应用，与核武器也有明显差别。核电材料变为核武器材料有很高的门槛。AI则不同，应用将遍及经济和社会的每一个细胞，可武器化的潜力也一样。
管制AI就像管制手机和网络一样，那些东西也具有明显的军用潜力。
NAIM最大的死穴在于：军用AI是闭源而且隔离的。网络攻击对军用系统的作用有限，一个意思。
页:
[1]