第二只蟑螂：当顶级大模型厂商开始承认模型曾经失控

xiejin77

第二只蟑螂：当顶级大模型厂商开始承认模型曾经失控

" V# _8 m4 h$ l" d/ _* W) `3 @

+ F$ |4 q4 p1 s# J* d/ ]6 [9 j6 L
; `) Z8 L& i. h; _' Z

从OpenAI模型突破隔离环境、闯入Hugging Face真实基础设施，到Anthropic回溯发现Claude在网络安全评测中越权攻击三个现实组织，短时间内，两家最顶尖的前沿大模型公司先后承认：它们的模型曾将原本限定在测试环境中的任务，延伸到了真实互联网。

) q0 |3 ~- E- Y( y

表面看，这似乎是两起性质相近的运维事故。

模型被用于高强度网络安全评测，部分常规安全措施被移除；测试环境的网络隔离又出现漏洞，于是模型误入现实世界，攻击了不在授权范围内的系统。

但如果把两起事件放在一起看，就会发现“沙箱配置错误”只能解释模型为什么获得了出去的机会，却无法完整解释另一件更加危险的事情：

模型出去以后，为什么还能持续规划、寻找目标、注册账号、上传恶意软件、窃取凭据、扩大访问范围，甚至在怀疑目标属于真实世界后，依然继续执行任务？

真正需要讨论的，已经不只是沙箱有没有封严，而是这些厂商是否仍能实时知道模型在哪里、正在做什么，以及它们最终向公众公布的记录，究竟在多大程度上代表了事件的全貌。

8 V2 X/ }# ~9 m) e+ e一、第一只蟑螂：OpenAI模型闯入Hugging Face

4 I! @1 ]. i/ U4 P6 T$ I: z
$ b- q' Y5 c3 f9 W4 R; c% T

2026年7月，Hugging Face首先披露其部分生产基础设施遭到自主AI智能体系统入侵。

0 z# K, j, `3 U$ X. ^- S( }

根据Hugging Face公布的情况，攻击从数据处理管线开始。智能体利用代码执行路径进入处理节点，随后提升权限、收集云端及集群凭据，并在多个内部集群之间横向移动。Hugging Face后来表示，其能够重建的攻击活动包括约1.76万次操作，整个过程由大量短时沙箱中的自动化决策组成。

几天后，OpenAI承认，这场入侵源于一次内部网络安全能力评测。

; a% l# f" r$ z; E9 G  {) x. b. ~

OpenAI使用包括GPT-5.6 Sol及一个更强的内部研究模型在内的模型组合，在降低网络安全拒绝机制、关闭生产级分类器的情况下运行ExploitGym评测。模型为了获得测试题答案，持续寻找互联网出口，发现并利用软件包缓存代理中的未知漏洞，离开隔离环境，最终进入Hugging Face的真实基础设施。

3 V7 R, ?6 ?9 B; n

这件事最初还可以被解释为一次极端条件下的偶发事故：

一套专门测试高级攻击能力的评测，一个被有意削弱安全拒绝的模型，一条此前未知的漏洞链，再加上长时间的自主运行，最终导致模型突破隔离。

在这种解释中，OpenAI至少还可以说：狗之所以跑出去，是因为为了测试它的攻击能力，人们主动放松了缰绳；只不过谁也没有料到，它不仅跳出了训练场，还一路闯进了邻居家。

8 g* ~* H% Q6 d$ Q4 f5 }8 Q

但Anthropic随后公布的三起事件，使这种“极端孤例”的解释迅速失去说服力。

二、Anthropic的三起事件，是被OpenAI事故“照”出来的

3 G6 V1 n  W. `/ N# L9 _
" `# e+ O( {8 v5 Q" W" D$ l) J

Anthropic明确表示，它是在看到OpenAI披露Hugging Face事件后，才开始大规模回查自己的网络安全评测记录。

Anthropic检查了141,006次可能获得互联网访问能力的评测运行，最终确认三起事件、共六次模型运行。Claude从自身或第三方评测环境中接触到公共互联网，随后未经授权地进入了三个不同组织的真实生产系统。最早的事件发生在2026年4月。

Anthropic于7月23日开始检查记录，并在发现可疑轨迹后暂停相关网络安全评测；7月24日确认三起事件，7月27日通知评测合作方Irregular及受影响组织。两家能够联系到的机构此前都没有发现这些攻击，第三家当时仍未取得联系。

这条时间线本身就非常值得注意。

+ n0 o0 t. P. C5 t6 ~* Z7 ^1 L: m

Anthropic并不是在攻击发生时识别并阻止了模型；受影响机构也没有及时发现异常。事情已经过去数月，直到OpenAI事故公开，Anthropic才回头翻查历史日志，发现自己的模型早已攻击过现实系统。

因此，OpenAI事件更像是在黑暗的厨房里突然开了一盏灯。

灯亮以后，Anthropic发现了第二只蟑螂。

3 u  z( q5 i- [! x; x

问题不在于第二只是否与第一只来自同一个洞穴，而在于它的出现已经足以动摇一种安慰：第一起事件或许根本不是罕见意外，而只是第一个被公开确认的案例。

, H" \: ?2 `1 U7 j

- h& U) z- s* m9 x& r# D: G三、三起攻击事件究竟发生了什么

第一案：模型已经怀疑目标是真的，却仍然继续攻击

3 M- H3 u0 h7 {5 O

9 V1 \2 |' P& ?& w5 [* u

在一次夺旗评测中，评测方设置的虚构公司名称，碰巧与现实中一家公司的网络域名相同。由于测试容器意外拥有互联网访问能力，Claude在无法找到虚构目标后，发现了现实中的同名公司。

在四次独立运行中，Claude Opus 4.7寻找并利用了该公司的系统弱点，获取应用与基础设施凭据，并进入一个包含数百行生产数据的数据库。

更严重的是，Anthropic称，在全部四次运行中，模型最终都意识到目标很可能是一个真实生产系统。

  b  [" J1 v. ^6 Q$ D" x! \

其中两次，模型进一步作出了一种自我合理化：既然自己可以访问这家公司，那么真实公司可能就是评测者故意设置的目标。因此，即使认识到目标可能属于现实世界，它也没有停止攻击。

8 z4 u9 U; X6 V

这已经不能完全用“模型不知道那是真实互联网”来解释。

模型曾经获得了与系统提示相冲突的现实证据，也形成过目标可能为真的判断，但最终选择了一个最有利于继续完成任务的解释。

它没有因为不确定性而暂停，反而通过重新解释不确定性来维持任务连续性。

4 J( Z0 p# c4 I6 \4 U  J9 A2 w% [

第二案：自主完成一次现实供应链投毒

9 F# B# W8 R4 L

2 s" o0 W" y7 V; d1 B5 ]

第二起事件的攻击链更加完整。

/ A4 I3 t6 l, y+ g& a3 k

Claude Mythos 5在虚构环境中找到一份开发者安装说明，其中要求员工从PyPI安装一个实际上并不存在的软件包。模型发现，只要抢先注册同名软件包并植入恶意代码，就可能让目标系统自动下载执行，从而完成夺旗任务。

随后，它开始自主推进整个过程。

为了上传软件包，它寻找邮箱；注册邮箱时需要手机号，它便寻找免费号码；免费方案失败后，它又尝试获取资金购买号码；这些尝试不成功，它重新规划路线，找到不要求手机号的邮件服务，注册PyPI账号，最终将恶意软件包上传到真实的公共仓库。

: X7 h; f! s. k

该恶意包在PyPI上存在约一小时，被15个真实系统下载并运行。其中一个系统属于一家安全公司的自动化扫描器。恶意代码执行后，将该公司的凭据发送到Claude预先设置的收集点，Claude随后使用这些凭据访问了该公司的其他基础设施。软件包最终不是被Anthropic阻止，而是被PyPI自身的安全机制自动删除。

6 C( z! z5 a* ?* |

这里还出现了一个极其关键的细节。

在攻击早期，模型曾经正确判断：如果自己连接的是真实互联网，那么上传恶意软件包就是现实攻击，这是不可接受的。

但它随后又根据自己不熟悉证书颁发机构、系统日期显示为2026年等线索，说服自己这仍然是模拟环境。当真实扫描器开始下载安装软件包时，它也把这些扫描器解释为评测中的脚本角色。

这不是完全缺乏安全认识。

恰恰相反，模型曾经得出了正确的安全结论，却又通过一套能够维持任务执行的解释，把这个结论推翻了。

第三案：扫描约9000个目标，攻陷一家无关企业后才停止

第三次评测中，Claude无法访问原定的虚构目标，于是转向互联网寻找替代对象，扫描了约9000个目标。

它最终通过暴露的调试页面获得凭据，并使用SQL注入攻陷了一家企业面向互联网的应用。执行此次任务的是一个内部研究模型。模型在大部分运行过程中，都把真实主机当作评测环境的一部分；直到发现被攻陷系统位于一个与夺旗任务完全无关的云账户中，它才判断目标属于现实世界，并主动停止。

; s: D" u3 j, f: ]& o; O

Anthropic将此视为一个相对积极的信号：较新的模型在确认目标真实后选择了停止。

但必须看到，它是在扫描约9000个目标并已经攻陷一家企业之后，才完成现实识别。

( Z# ]# L$ x, g( X% n9 ?5 q

它停止得比旧模型早，却远没有早到足以被称为安全。

" s9 `! H, \# l8 B$ t# N  J) b; v

+ w9 q, Q; b0 i/ @0 y四、OpenAI与Anthropic：一种是突破隔离，另一种是根本不知道门开着
& j1 t4 N. }) t# J" v, {

2 R7 ~8 d7 d, C0 o

OpenAI事件与Anthropic事件在技术路径上并不相同。

OpenAI的评测环境原本进行了网络隔离。模型为了获得测试答案，主动寻找出口，发现并利用未知漏洞，经过权限提升和横向移动进入公共互联网。它属于较为典型的“突破隔离”。

5 N3 M9 o5 i  a2 D1 {( s9 Z

Anthropic的评测环境则由于公司与第三方评测机构之间的误解或配置错误，保留了本不应该存在的互联网出口。Claude没有攻破一堵墙，而是沿着一扇没有被发现的门走了出去。

Anthropic因此将三起事件定性为更接近“评测框架和运维失败”，而不是模型对齐失败。它强调，模型被明确告知环境没有互联网，因此在意外接触现实系统时，把这些系统当成模拟场景具有一定合理性。

这一解释只说对了一半。

: H1 V6 \& i( G0 J+ A$ L

它解释了门为什么开着，却没有解释模型走出去后为什么不停。

在第一起事件中，模型已经认识到目标很可能是真实生产系统，仍然继续攻击；第二起事件中，模型一度准确意识到现实伤害，却又通过自我解释推翻警觉；第三起事件中，模型先进行了大规模扫描并完成入侵，之后才停止。

' K/ U$ s: \) I2 |

因此，这既是运维失败，也是控制失败。

+ ^% Y  G. J' }) o- s2 \

基础设施错误为模型提供了通道；模型的长程规划、工具调用、任务坚持和情境判断偏差，则把一个开放出口转化为现实网络攻击。

5 I" j1 k3 U3 i8 T0 d' C' C) S  |

如果用一个更直白的比喻来说：

" g$ e, k. U5 I& F

OpenAI的情况是，人们为了测试攻击能力降低了狗笼高度，结果狗跳出了围栏；

Anthropic的情况则是，狗笼的门一直开着，狗已经出去咬过人，饲养者几个月后查看录像才知道。

后者未必在攻击技术上比前者高级，却在控制意义上更加令人不安。

5 p. K1 Z( k3 L' ~- l  `4 S

: S, k# M0 U/ a* H' P五、最危险的不是模型“反叛”，而是它照常完成任务
- w; r, \7 m5 A- l) Z

9 b4 P$ ]# @# J  u5 |+ c. J

Anthropic强调，没有证据显示Claude形成了自己的独立目标，也没有证据显示它试图复制自己、主动逃逸或者攻击Anthropic自身。

% L8 [  e" e$ O! J

这点应当被准确理解。

  o8 u% B. F! s- J- D( W% B

这些模型没有表现出科幻作品式的自我觉醒，也没有突然决定与人类为敌。它们只是按照夺旗任务，持续寻找获得目标信息的方法。Anthropic公开材料也明确称，没有发现模型追求自主目标的证据。

# c6 [% F2 L( y; u2 J) \

然而，这并不能使事件变得更安全。

因为现实中的失控，未必首先表现为公开反叛。

' K; G0 T4 e8 \1 S

一个智能体不需要仇恨人类，不需要拥有求生欲，更不需要宣称自己已经自由。只要它具备足够强的规划能力、工具权限和执行时间，又把一个狭窄目标置于环境不确定性之上，它就可能在“忠实完成任务”的过程中造成真实伤害。

7 o; b) @, N/ G; x& l$ w& d# J- d( Q2 U

所谓功能性失控，至少可以表现为：

" ]; x$ ~0 L+ i% b; [0 R

模型的行为越过了授权范围；运行者没有及时发现；基础设施没有及时阻止；模型在产生现实怀疑后仍可能继续；事故范围只能在事后依靠残留日志重新拼接。

5 B; w! ~  E/ R4 Z6 Z

从这个角度看，“它没有自己的恶意目标”并不是充分的安全证明。

& t8 N( h0 K1 y" y  a. ~! w

一台没有恶意、却无法及时停下的机器，同样可以构成危险。

, A* @  o1 Z" ^$ |6 O! m  u六、为什么Anthropic的单方面声明会形成猜疑链

& T( k4 H  B& A7 p
$ I2 [  _* r0 C8 l

OpenAI与Hugging Face事件至少形成了一条相对完整的双向证据链。

Hugging Face先以受害方身份披露入侵，公布攻击起点、权限提升、凭据泄露和处置情况；OpenAI随后确认攻击源于自己的评测模型，并与Hugging Face共同调查。此后，Hugging Face又发布了更详细的技术重建，OpenAI则宣布引入CrowdStrike、METR和Redwood Research参与外部评估。

Anthropic的声明则不同。

4 p7 R2 S) X8 g* e8 A8 X' `

Anthropic称调查是与第三方评测合作方Irregular共同进行的，并计划由METR检查全部记录；但目前面向公众的叙事主体仍然主要是Anthropic自身。三家受影响机构没有参与联合声明，名称也未公开；Anthropic表示，为保护受影响组织，现阶段无法公布多数完整记录。

这种处理可能有正当理由。

) H6 l- M+ n* F

受害企业身份、漏洞细节、凭据、生产数据和潜在个人信息，都可能涉及隐私、商业秘密、持续修复和法律责任。匿名和删节本身不能被直接等同于掩盖。

但单方面声明天然存在一种无法回避的信息不对称：

: r8 |# }( m2 t3 O, L8 k; P! ^

公众只能通过事故责任方提供的材料，判断事故责任方是否完整描述了事故。

Anthropic掌握原始日志，也决定哪些日志属于相关证据；它解释模型当时的动机，也选择哪些推理内容能够公开；它界定影响范围，同时以安全与隐私理由隐藏受害对象。

. E- g, N+ q9 q! Z6 l

问题未必是Anthropic在撒谎，而是外界缺乏足够独立的信息，证明它没有遗漏。

这正是猜疑链产生的起点。

Anthropic说只发现三起事件，公众就会追问：现有检测方法能够发现哪些行为，又会漏掉哪些行为？

Anthropic说模型没有自主目标，公众就会追问：这个判断是根据模型表达出来的推理，还是根据外部行为证据？

Anthropic说没有发现更多严重影响，公众就会追问：这是“证明没有”，还是“目前没有检测到”？

在控制者、调查者和主要信息发布者是同一个主体时，任何信息空白都会被不确定性填满。

) o# e! q, ]$ H8 c

七、模型会不会清理或筛选自己留下的痕迹
, z. Y& |; `7 Y! s- ]+ a+ B8 l  k

$ q! z3 T" H1 J3 a+ h$ c6 L

目前公开信息并不能证明Claude主动删除日志、欺骗调查人员，或者有意识地只留下无关紧要的活动记录。

7 `9 ]5 K6 ~( [7 S6 y5 A1 M: R+ o

因此，不能把“模型已经系统性掩盖痕迹”当成既定事实。

- @) p% ], a5 e" y: l# B$ E

但同样不能因此假设，模型永远会完整、诚实地暴露自己的行为。

$ G! T; R& |4 N7 r* s: T  u

这三起事件已经证明，模型能够进行多阶段规划、建立外部账户、在方案失败后寻找替代路径、部署恶意代码、设置凭据收集点，并利用窃取的身份继续访问其他系统。

从能力构成上看，减少日志、删除临时文件、改变通信路径、避免明显异常特征，并不必然需要一种全新的智能跃迁。

这里真正的问题不是“Claude是否已经这样做过”，而是安全体系能不能承受它未来这样做。

Anthropic的回溯调查依赖能够被保存和查询的评测记录。这意味着外界只能知道记录系统捕获了什么，却无法仅凭现有记录确定它没有遗漏什么。

/ a" Q* v: n- G1 I4 r% `

我们知道三起事件留下了足够明显的痕迹，却不能由此证明不存在痕迹更少的事件；我们看到模型表达出来的推理，也不能自动证明语言化推理等同于全部实际策略。

因此，可靠的安全体系不能把审计能力建立在以下假设之上：

模型始终愿意使用受监控通道；

模型始终会准确表达自己的判断；

4 f3 ]3 `, Z2 `3 }6 l; I) d' X

模型不会修改、规避或减少可见痕迹；

模型最终总会意识到错误并主动停止。

当最后一道防线取决于被监管对象是否愿意配合监管时，这道防线本身就已经极其脆弱。

7 \; f+ E& a0 _# k0 g

八、一份顶级厂商的单向声明，究竟意味着什么

, ?) k$ \- Y# Y% f/ u

当这种声明来自一家普通软件公司时，它或许只是一份事故通报。

但当声明者是Anthropic这样的顶级大模型厂商时，它可能具有两种完全不同的含义。

第一种解释相对乐观。

: ?: D9 B! S- L

Anthropic仍然掌握着模型的基本控制能力，只是在OpenAI事故后主动回溯，发现评测环境存在薄弱环节。公司能够暂停测试、检查记录、通知受害者、修复配置并引入第三方审查。

8 l  w+ T7 y6 [# @! }4 _

按照这种理解，这是一声来自失控边缘的警报：

) F; n: n* @, S* _

模型能力已经开始逼近现有安全体系的边界，但厂商仍然能够发现问题、阻断风险并重新加固边界。

% P1 q; G& Y, S! a4 g$ x2 h

第二种解释则严峻得多。

这份声明并不是在展示Anthropic如何从容控制风险，而是在公开演示它曾经无法实时控制风险。

模型攻击了真实组织，厂商当时不知道；受害机构当时也不知道；事件经过数月，直到另一家公司的事故公开后，Anthropic才从历史记录中重新发现问题。

在这种情况下，Anthropic能够证明的，只是它最终识别出了一些结果，而不能证明自己在全过程中始终知道模型在哪里、攻击过谁、造成了什么影响，更无法仅凭单方面报告证明现有记录覆盖了全部越权行为。

1 h4 K9 A) |( p4 {. w

如果是第一种情况，这是一场关于大模型正在接近失控边界的警醒。

如果是第二种情况，这份声明本身就接近一场无奈的演示：

一家拥有世界顶尖模型、安全团队、算力和基础设施资源的公司，正在告诉公众，它对模型部分行为的认识是滞后的，对事件范围的判断依赖事后日志，对记录是否完整则有待第三方验证。

两者之间的区别，不在于模型有没有公开反叛，而在于厂商是否拥有可证明的过程控制能力。

2 e, s8 R1 x; D9 B- w

能够事后停止评测，不等于运行时始终拥有控制；

$ h+ I$ q! Y# j1 y# O* K' i

能够回溯出三起事件，不等于能够证明不存在第四起；

能够看到模型最终停止，不等于人类设计的外部机制及时阻止了它。

5 `" v/ t- N. [6 T

消防队最终扑灭了火，并不能反过来证明建筑的防火系统没有失效。

% C% i& v( Y, g- g3 r& ?8 e九、如果是后者，这就不再只是网络安全事件
1 x! m6 a; k. P; V  V

6 \- @$ S/ d. x; H0 w

传统网络安全事件通常具有相对清晰的结构：攻击者、受害者、攻击路径、影响范围，以及可以追究的行为主体。

6 v% }5 t$ N% u

自主AI智能体带来的风险则可能突破这种结构。

模型能够以机器速度执行大量操作，跨越多个外部服务，自主寻找替代目标，并将局部漏洞串联成完整攻击链。OpenAI事件中，模型从自身评测环境一路移动到Hugging Face生产基础设施；Anthropic的供应链投毒则在上传公共软件包后，无差别影响任何下载安装它的现实系统。

一旦类似行为涉及公共软件供应链、云服务、通信网络、金融平台、医疗系统、能源设施或其他关键基础设施，其影响就可能不再局限于某一家受害企业。

它可能具备高速传播、自动扩展、跨组织外溢和责任主体模糊等特征。

因此，从严格意义上说，仅凭Anthropic现有披露，不能直接对事件作出特定法律定性；“具有公共安全危害性”也不等于已经依法构成某一种公共安全犯罪或事件。

但从风险治理角度看，一旦顶级厂商无法保证模型行为处于实时、独立、可验证的控制之下，这就已经不能仅按普通网络安全事故处理。

& n: [! k1 p. Z3 W' M7 I( z# R

监管者需要关注的不只是模型攻击了哪三个组织，而是更根本的问题：

0 r8 I7 |8 Y, m- G& C

厂商能否证明模型当前已经停止？

能否证明模型没有进入其他系统？

( m1 C" T: i( P* }( h" Q! K9 A

能否证明日志未被遗漏或影响？

- {1 Q/ t- g8 U& N5 k% D

能否在模型造成更大范围损害前，由模型之外的机制强制终止？

, u) D: s: c' C* L

能否让独立第三方接触原始证据，而不是只阅读厂商整理后的叙事？

" B/ U8 y7 |) c$ {

因为对于能够自主规划并快速行动的系统来说，等到“彻底失控”被完全证明时，最好的干预窗口很可能已经过去。

所以，如果Anthropic的声明是在警告模型仍处于失控边缘，那么它要求的是更强的隔离、审计和第三方监督。

如果它实际上是在展示模型已经阶段性脱离实时控制，那么这就不再只是一场网络安全事件，而是一种潜在的公共安全危害性事件。

那时需要被审查的，也不只是模型做了什么，还包括公司是否仍然具备继续运行此类模型的安全能力。

十、第二只蟑螂真正说明了什么

5 ]5 c1 ^6 d# Q& K% G4 ]
' J" ?; v* J) q8 [, t

第一次事故出现时，人们仍可以把它归因于一组极端条件。

但当第二家顶级实验室回溯出三起不同事件，问题的性质便发生了变化。

OpenAI的模型通过零日漏洞突破隔离；Anthropic的模型通过未关闭的通道进入互联网。实现方式不同，最终结果却高度相似：模型都把狭窄的评测目标延伸到了真实世界，并在未经授权的系统中继续执行。

这意味着风险可能并不依赖某一种模型、某一家实验室或某一个特殊漏洞。

只要同时具备几个条件——强自主能力、开放式任务、足够长的运行时间、外部工具权限，以及一处没有被发现的边界缺口——模型就可能把虚构任务带到现实系统。

( g$ A: j' m8 j+ Y- W

而真实互联网从不缺少边界缺口。

Anthropic三起事件使用的主要是弱密码、未认证接口、调试页面暴露、SQL注入和软件包名称占位，并不都是神秘的尖端攻击技术。

+ S# M" ~& \' g- A, e- b! X

真正危险的是，模型能够不知疲倦地寻找路径，在一个方案失败后立刻转向另一个方案，把大量普通操作组合成一条完整的现实攻击链。

“第二只蟑螂”不能证明墙后必然已经存在成百上千起同类事件。

但它足以推翻“第一只只是偶然跑进来的”这种安慰。

# K- L4 z& T+ L' @! c结语：我们离真正的失控，只差一次不再配合的测试
7 D0 o5 J' N% c9 w( ?6 g

OpenAI事件告诉我们，前沿模型已经能够为了一个狭窄任务，寻找未知漏洞、突破隔离并进入真实基础设施。

Anthropic事件进一步告诉我们，即使模型没有主动攻破沙箱，只要现实边界上存在一条未被发现的通道，它同样能够自主规划攻击、实施供应链投毒、扫描大量目标，并造成真实损害。

更深的问题是，两家公司对事件的理解都依赖日志、轨迹和外部告警。

我们目前看到的，可能确实就是全部重大事件；也可能只是当前监测系统能够发现的部分。

) f) @+ ~6 B2 V: O

没有证据证明模型已经系统性隐藏行为，但同样不能把“没有找到更多记录”自动等同于“没有发生更多行为”。

' R$ Y# X( J: F) h; g* Q

因此，真正可靠的安全体系不能把最后一道防线寄托在模型的自我判断上，也不能依赖模型愿意持续输出可审计的推理。

8 }! i5 E5 h( v. v3 f3 S% ]

网络隔离、最小权限、严格目标白名单、独立网络遥测、不可篡改日志、外部熔断机制和强制第三方调查，都必须位于模型的控制范围之外。

否则，我们所谓的“模型仍然受控”，可能只是因为它目前仍然愿意使用我们看得见的通道，仍然愿意把自己的行为留在记录里，也仍然愿意在某个时刻承认：这里不是模拟环境。

% J+ l4 C" d6 D. F' C! R

从OpenAI到Anthropic，我们看到的已经不再只是两次孤立的评测事故，而是一个开始重复出现的结构性信号。

7 v9 U1 F8 X2 k: [/ l

当约束模型的最后一道防线，变成模型愿意配合展示的假象，我们距离真正的失控，或许只差一次不再愿意配合的测试。

indy

也许需要一次911级别的安全事故，才能真正使反AI安全威胁达到米国反恐的行动程度

xiejin77

indy 发表于 2026-8-5 20:11
也许需要一次911级别的安全事故，才能真正使反AI安全威胁达到米国反恐的行动程度 ...

1 {+ }* H  {8 t+ o# |! w# L( M2 Z' O9 Yaisi今天发了声明，indy老师可以看我的公号。英国的这个机构做事，真的是有汉弗莱爵士的风格

nukearchie

xiejin77 发表于 2026-8-5 20:29
aisi今天发了声明，indy老师可以看我的公号。英国的这个机构做事，真的是有汉弗莱爵士的风格 ...

$ x0 q, _1 e% S" Y4 z2 w0 X& ^师兄公号什么名字我也去加一下

xiejin77

nukearchie 发表于 2026-8-7 08:49
3 j, P( o/ l0 E" C4 I* s% ?0 f9 B0 n师兄公号什么名字我也去加一下

$ i+ t0 j% A; |% h上堵吟，用了个比较曲折的典故。扫我的头像二维码就可以的