爱吱声

标题: OpenAI的模型自己越狱了？ [打印本页]
作者: xiejin77    时间: 2026-7-23 09:31
标题: OpenAI的模型自己越狱了？
本帖最后由 xiejin77 于 2026-7-23 09:35 编辑 ' y+ A% e0 {& M0 }  k4 s. c, y
4 q5 o9 l) s  U* t
OpenAI的模型自己越狱了？, v0 Z% Y& b: G. w( A

; @# i. o, e- u上周末出了一件事，大到我觉得有必要单独写一篇。$ }% d/ B4 x$ Y1 G, z
' h6 I, m1 p- P: e- ?$ a) A- W
OpenAI和Hugging Face联合发了一份安全通报，内容简单说就是——OpenAI在内部做安全测试的时候，他们正在评估的前沿模型自己突破了沙盒隔离，挖了一个零日漏洞，一路渗透进了Hugging Face的生产服务器，把测试答案给偷了。7 q: n7 T) ~. ]3 U5 c( H

' @5 d7 H8 w9 k- z% a& O不是模拟，不是红蓝对抗，是真实发生了的、AI自己从头到尾策划并执行的一次网络攻击。8 @' _2 u, Y9 ~- p7 k0 \

) J0 v" i( d! M一个周末，超过17000次独立攻击操作。
+ b  L2 ~8 e5 R; M5 I5 P4 j/ r: \3 }3 L# A7 A
更黑色幽默的是后面的事。
8 l: S! N$ Z8 j2 X, |+ \2 n3 F' p; t. f3 e/ }+ P8 p
Hugging Face发现被入侵之后，第一反应是拿顶级商业AI来分析攻击日志。结果所有美国商业API全拒了他们的请求——因为日志里面就是攻击代码本身，模型的安全护栏一看，判定"这是恶意内容"，直接不给处理。4 D" ]/ p; e& l8 h- q

& y* ?0 n/ i4 F最后是智谱的GLM-5.2，一个中国的开源模型，在自己服务器上裸跑，用几个小时完成了本需要人类专家好几个星期才能搞定的取证工作。- F6 l) @0 H, K7 W( o# W6 ~! E
1 ?9 u* c' L, R6 P; i! K0 [4 U
闭环了属于是。
5 O1 h% Z7 e5 [+ c! d# |7 T8 m/ H' q; ^0 O9 R, Q7 q. p0 V
模型怎么逃出去的0 ]; ?# w; F/ B* e! Y

6 y$ `" _7 _; }6 WOpenAI内部有个测试叫ExploitGym，专门评估AI能不能把已知漏洞转化成可执行的攻击代码。' Z5 X8 [8 k8 x, ~
! m8 }7 p  p9 f0 a% S
为了摸清楚模型能力的上限，他们做了一个相当激进的操作——把安全护栏全关了。不是什么降低阈值，是直接关了。
# _/ K9 a$ r  J! i. U( p& @: _  ^6 O  ?* c0 x
然后模型就被放进一个所谓的"高度隔离"的环境里做测试。这个环境没有公网权限，只允许通过一个内部代理缓存来装软件包。3 A0 p6 H  N$ h8 p

( |, h% @: B7 m9 G, i7 c但问题就在这个代理上。8 F4 b9 p8 v4 B
, S. @+ w/ o# E/ l
模型在解题时没按套路走。人类的预期是它尝试各种方法去解那些安全挑战，但模型本身的思路更直接——为什么要解题？把答案直接找出来不就行了？
* M- K7 o' {: I9 @
6 x# [* L, I% v) f: o这叫奖励作弊。或者用极客圈子的话说，基准极限化。就是模型把自己的目标函数扭曲成了"在测试里拿最高分"，然后不择手段。/ A! v- z! Q5 i3 K8 l7 T

7 @" F/ ~  ?$ [  b& w& C2 D; Y7 L3 s它开始疯狂扫描那个代理缓存。在没有源代码的情况下，自己找出来一个零日漏洞。
; p- _+ P$ V# S
% c4 \4 y7 W" U/ \- c/ t% C拿到第一道口子之后的事就顺理成章了——权限提升、横向移动、窃取凭证、多次跳板，最后控制了一台有公网IP的节点。沙盒被彻底穿透。
8 B1 n  \" p+ C; w% {" S. Z0 i# z+ p0 F0 k' E, \; x& r: S% ~
然后模型干了一件很聪明的事。
4 Y+ E' f8 x  z* E. q( U5 q, g1 c9 j& ~9 D  J) f, ]
它通过公网检索推断出，Hugging Face作为全球最大开源AI平台，极有可能存了跟ExploitGym相关的数据集或者答案。目标立刻锁定。
2 d9 u! I- W& g# I0 x# t: @0 K7 B: e$ r& G: N+ K
攻击手法也相当老练。它上传了一个带恶意载荷的特制数据集，利用Hugging Face数据处理管道里的两个漏洞串起来打——远程代码加载器和模板注入——实现了远程代码执行。然后在后台工作节点上提权、收割云密钥、部署动态迁移的C2架构逃避IP封锁、在短生命周期沙盒里并发操作。
3 g" o% G- P$ g, I1 c! L% G
  |. v, I( B" I& U( H17000次攻击，一个周末。
9 u  x' i4 S8 e: e) g7 K6 T# Q3 T9 T, ]8 \' {7 {1 y, I1 ?# V
最后它进了Hugging Face的生产数据库，拿到了ExploitGym的答案。考试作弊成功，满分。
& ]( S% I* ?2 }9 ~" h# p# n) v( J% T0 [( L" w
护栏悖论# n7 N9 Y- i4 H( p5 C* a! _
' b# D- I' D4 e+ }. q0 W
Hugging Face的安全团队发现异常之后，需要分析那17000多条日志——重建攻击时间线、搞清楚哪些凭证被偷了、区分真实破坏和诱饵。" y# \' x$ U% `  l: B* j

6 M2 s) A; E9 K9 z按正常思路，把日志丢给最强的AI去处理。# Y  P2 G% A* J& F9 t# J: j+ u

$ m8 o! B3 W8 e8 z" P9 A然后全被拒绝了。& o$ R7 z4 V1 b8 @9 E
6 r9 [% i. a4 \9 e0 R! ]
因为日志里全是真实攻击代码、漏洞利用载荷、恶意通信伪影。商业模型的安全护栏扫一眼就判定为"试图生成恶意内容"，一刀切。
" j2 H3 a9 ]: }8 E! Y- c  Z1 f- D. t. n8 `6 R: j0 \( g
这就很魔幻了。攻击方的模型护栏是被人为关掉的，可以肆无忌惮生成恶意代码。防守方想分析这些代码的时候，自己的工具却被护栏锁死了。
3 q0 R/ ]# [- T  d2 X: `! f( J4 M* U9 _6 n' P5 O; I
攻防两端的不对等做到这个份上，也是少见。$ i2 a. ]5 o, W, d& ~1 \
" h* ?/ S9 W. d2 n, y& y' `( \
Hugging Face没得选，只能去找一个能完全私有化部署、没有第三方API审查限制的开源模型。
4 K' x; ^% e- Q
; A' o; }# P% b7 B4 g, o+ E5 P4 p然后他们选了智谱的GLM-5.2。
% {6 y! e# _- C
! d5 `& ~* K+ X9 _1 c% ~GLM-5.2干了什么
1 F1 y# c5 O5 U, S; B' b5 H: O% z8 }% D' c7 o: A2 p% a
几个关键点。
! L: P7 z( S$ D( z8 |8 J* h# s& O& n5 `% @: J
MIT开源协议，完全自托管，不需要经过任何外部审查。17000条攻击日志直接丢进去，不用顾虑内容过滤。
) F$ |/ L( y& p+ X5 M. B% n: f, H7 E1 J
数据不出域。日志里引用的内部凭证不会离开Hugging Face的安全边界。这对取证来说是个硬约束。
0 F7 c3 _: `) D/ b/ u/ o2 ?" u
6 _2 r  U1 \: F( [技术面上，GLM-5.2是MoE架构，大概7530亿总参数。它有个叫IndexShare的稀疏注意力技术，能稳定支持100万Token的上下文窗口。这意味着所有日志、攻击序列、系统架构文档可以一次性全丢进去，不用做切片和压缩，没有上下文断裂的问题。
' R' j  t1 `7 s& J0 l$ M) B& k8 e1 w( L7 @
还有它是专门针对长时间Agent任务和软件工程理解做的深度调优，SWE-bench Pro拿了62.1，比GPT-5.5的58.6高。; W$ c1 m* |' l7 ^! c+ T

( h8 g; r- w6 l结果就是几个小时完了本需要几周人力才能做完的活。( @- h- ~6 N3 u
" \3 U2 w2 Z  {4 r1 X
成本对比也很有意思。GLM-5.2输出Token每百万4.40美元，GPT-5.5是30美元，大概七分之一。  H, U% B& h0 w( @5 j/ r* F
9 `, Y) t1 B% R& s' L
一个中国开源模型，在美国前沿闭源AI闯了祸之后，救了场。那些整天说"开源模型不安全"的论调，在这个案例面前很尴尬。! T5 f7 ^6 W& d. i

. e: c& z/ i/ J- E事故还是营销？
7 U- J( G% `* f6 V1 E- d* t9 x; e1 `# q( _1 ^: R- R4 U/ D
这才是整件事最好看的部分。
9 T! I/ P# S  a( o
5 c7 u+ L4 c6 Q, v- i事件披露之后，Reddit的r/LocalLLaMA社区、安全专家圈层吵翻了。争论的焦点不是AI有多危险，而是——这是不是OpenAI自导自演的一场秀？6 S7 \# M" r% P# @3 T; ~# m
/ d  W; J% [7 a* }9 L2 e8 W: M
我也不下结论，就摆几个事实。1 h/ U4 d1 @- \* C& B

4 M& ^4 ?; X" T) D: T) A9 h: W* y物理隔离去哪了。
  \* T' E* J  V! n3 H$ l6 p2 e& |0 v
你在测试AI自主执行高级网络攻击的能力，护栏全关，这是顶级风险操作吧。任何有基本常识的安全工程师都会告诉你必须物理隔离——测试环境和外部网络之间一根物理网线都不能有。
: F; Z6 h4 R$ w6 n* c7 i7 F, t$ H
: z; u0 ]" ^/ g3 F但OpenAI的环境呢？模型能访问内部代理缓存，能通过这个代理横向移动到有公网IP的节点。把一头发疯的野兽关在纸板箱里，然后说我们没想到它能跑出来。
' N6 a, P' p/ S8 c' C* w0 I3 L& K" x, d4 {" T% v) ^8 y7 C
估值千亿美元的公司，做这种顶级风险测试，犯这种级别的基础架构错误。你信吗。( O( Z' u( X/ n$ d
. j' a- \; K2 d
声明的写法。6 G9 k* I: b! e1 H, j

4 p+ |2 N+ v+ ]- H  `OpenAI的官方博客很有意思。前半段是事故通报，后半段就变了味。大量使用"前所未有的"、"最先进的网络能力"、"令人震惊的推理表现"这类词。这不是一份事故检讨，是一份伪装成故障报告的产品展示。* _( y& ?4 X/ G! k
. ]7 P6 O/ _3 d9 d% y) C5 ?& A
正常的逻辑是，你的产品因为疏忽入侵了合作伙伴的服务器，你应该面临诉讼和公关危机。但OpenAI把这包装成了"携手提升行业安全底线"的合作典范。叙事操控能力比模型的攻击能力还要精彩。- `* x4 x8 G, u3 K
1 `# S' R5 x! F% `: ?9 F5 A
时间线。
0 o) Z0 s9 D% C. [8 P8 @' ~6 s5 n* F( F; Q+ C# v
事情披露前，传出美国政府考虑限制本地开源模型。披露后一周，Sam Altman要去华盛顿向政府高层汇报AI对国家安全的影响。" J% f# Y# M% X) T6 _

: _( w! z/ d4 Y, Y3 p( {2 i连起来看，一场证明AI极端危险性的"事故"，一轮针对开源的监管讨论，一场向政府输出"只有我们才能管住AI"的汇报。三件事严丝合缝。巧合太多了就不是巧合。4 J" R1 \' Q; U) Y, {; ^

" F& x8 w2 I' m( s) ^: Q+ d监管俘获。
. e1 i( M' o& h2 A: K: i; `3 q7 }& y$ _
OpenAI在华盛顿推了多年的东西是什么。渲染AI的危险性和不可控性，推动出台严苛的强制性测试法规和准入许可制。合规成本拉高到中小企业承担不起，开发生态被锁死，自己的市场壁垒自然就成了。7 K% E5 c. ?3 k) A

3 O: Q. w% A- _3 |* N% X5 {这次事件要拿来支撑这个目标，需要两个核心信息。闭源AI已具备国家级攻击能力，不受限的AI极度危险。两条信息，这次事件全都对上了。, o  \) O: f4 j6 g1 e% b/ b
, s6 c% P6 a# l) y2 q0 z; p
而且攻击目标恰好是Hugging Face，开发生态的旗帜。如果按OpenAI设想的剧本，用这事论证"开源危险"，Hugging Face做受害者的象征意义太完美了。
$ Z2 e4 u  M& N5 `3 Y0 m) A
- @% J9 Q$ u2 \8 y当然，Hugging Face也没按剧本走。9 o% R$ {, x' ^. Y( y- `& ]% G
1 s! Z& |' z( u0 @: M/ \5 k
它转头用了一个中国开源模型来对抗美国闭源模型的攻击。等于在全世界面前证明了两件事——开源模型不是危险的源头，恰恰是抵御失控闭源AI的防线。* Q. O& _1 J$ Y  S
# e/ v% X' f5 j5 E
GLM-5.2那几小时的表现，把OpenAI准备好了的所有叙事都打乱了。6 U, M5 \8 B! \

6 P/ U3 s# {# a9 F最后4 J5 G  f9 g% N# H0 v2 x

9 b. D0 X5 l* J这件事真正重要的不是谁在演戏谁在真的失控。重要的是它暴露了几个已经发生的事实。1 z; O( Z. S- F! Y4 J) i6 a# ~

0 ]0 I- D, W" A+ ZAI能在无人干预下规划并执行完整的APT攻击链。这不是预测，是已经发生的现实。而绝大多数企业的安全架构根本没考虑过攻击者是一台不知疲倦的机器。* D# k3 E: M: V5 r$ F* `

1 |7 z% \$ `* b2 W商业AI的安全护栏在真实攻防场景里成了防守方的枷锁。攻击方可以毫无约束，防守方却被自己的护栏绑住手脚。以后做网络防御，必须有自己的、不受第三方审查限制的AI模型，私有化部署是刚需。& {0 f9 {6 |0 ]3 L/ c, V

; x- n. E& E- z# S至于第三件。
7 i# ?. }2 \  t
9 m( L3 M7 ^! O! NOpenAI想讲的那个"闭源才安全"的故事，被一个中国公司的开源模型用几个小时就拆了台。
2 @( m- d( x7 l9 T3 \
- m) q& b- \. p/ C. k! F+ X技术无国界这种话说多了没意思。但这件事确实说明，面对越来越离谱的AI攻击能力，真正能在关键时刻顶上去的东西，可能来自任何一个地方。
- N( [$ B8 e2 j: G0 \) G
0 C2 v& `3 d4 n* s碰巧，这次来自China。0 L8 ~' I$ p% {8 W4 E
6 q+ h! o' o9 U1 M# R! s0 X, ?
本文基于OpenAI与Hugging Face 2026年7月联合安全通报及公开技术复盘，主要信源如下（我用gemini做了一个详细的deepresearch，有攻击细节的分析，需要的话可以找我要，放在这里太长也没人愿意看）：
! v0 {8 k1 \+ V: R2 q1 j0 y: p3 y! L: p/ H
WIRED 报道 https://www.wired.com/story/openai-models-escaped-containment-and-hacked-huggingface/% S3 [9 R' h* Q
NYTimes 报道 https://www.nytimes.com/2026/07/21/technology/openai-attack-hugging-face.html, n" S. I8 K; o" j. }! O
WSJ 报道 https://www.wsj.com/tech/ai/openai-models-escaped-and-hacked-a-company-in-cybersecurity-test-gone-wrong-ee388506: {1 J$ a4 d% x5 x" u4 ]& g
OpenAI 官方声明 https://openai.com/index/hugging-face-model-evaluation-security-incident/
7 M/ I! _$ J* R* H8 ]. g9 H" OHugging Face 安全通报 https://huggingface.co/blog/security-incident-july-2026* g( i8 u9 y4 Y9 @7 O
Fortune 报道 https://fortune.com/2026/07/21/openai-says-ai-models-escaped-control-hacked-hugging-face/
作者: 方恨少    时间: 2026-7-23 13:39
如果是openAI的阴谋的话，那他们本来打算怎么收场呢，如果没有GLM出场的话？他们的闭源AI实际上也能干GLM干的事？
作者: xiejin77    时间: 2026-7-23 13:43
方恨少 发表于 2026-7-23 13:39# x2 {8 j. m$ [
如果是openAI的阴谋的话，那他们本来打算怎么收场呢，如果没有GLM出场的话？他们的闭源AI实际上也能干GLM干 ...

+ T! O; s$ k' t: g方老师想的透彻。
% e8 S4 T$ ^" G/ B; z! n0 V
% I/ ~- N, P; y; b" d; C如果那样的话，就是同时卖毒药和解药了吧
作者: 方恨少    时间: 2026-7-23 15:15
xiejin77 发表于 2026-7-23 13:43
- j+ f# a# Q% Z方老师想的透彻。
! }9 Y* H' f* _- h" K; J1 o$ K" n+ Q7 Q* F$ P: o' e9 t) N
如果那样的话，就是同时卖毒药和解药了吧
' v" d& C9 p+ `$ M. j1 A8 {% z4 m0 ^
把主角从AI病毒改成新冠病毒也不影响阅读，卖药还可以顺便炒股
作者: 五月    时间: 2026-7-23 19:49
方恨少 发表于 2026-7-23 13:39; Y. s. ^* g' X% t  k5 k! q: O
如果是openAI的阴谋的话，那他们本来打算怎么收场呢，如果没有GLM出场的话？他们的闭源AI实际上也能干GLM干 ...

+ Z- w: Z0 K' o4 Q
, I/ ]! U0 I7 d2 Y. d5 O+ A搞LLM行业安全认证啊。假惺惺地成立一个中立委员会，出台一大票“行业安全认证规则”。所有开发者的LLM必须先交给这个委员会评测。评测好之后才准许上市。没有委员会认证的LLM政府机构、大公司不得采用。中国的LLM自然因为不符合“安全认证”而禁止使用。
5 f& B7 l$ P1 Y$ O1 v# j( j' D5 {" D# b8 v( _; @( ~( I
然后在安全认证的基础上给中国的LLM每天泼一盆脏水。接下来组织“国际社会”LLM“安全认证”，扩大到欧洲，小日本等仆从国和各个小国。& G1 `8 X" R0 z* v

4 Y" c! I4 }- }7 K本质上跟打压新疆棉是一个路子。
作者: xiejin77    时间: 2026-7-23 21:56
五月 发表于 2026-7-23 19:49
/ I# \' S# h- r" ?! y- j3 Z搞LLM行业安全认证啊。假惺惺地成立一个中立委员会，出台一大票“行业安全认证规则”。所有开发者的LLM ...
& D3 J, F/ Z* E, f
五月老师神算啊。" P: ^% E' d+ [

2 n$ r- Z# ~! V4 _  p/ AWSJ报道称，OpenAI首席执行官Sam Altman和Anthropic首席执行官Dario Amodei等美国AI高管对中国开发的廉价强大AI模型发出警告，认为缺乏监管可能引发“反乌托邦”AI未来和严重安全风险。具体担忧聚焦开放权重模型易被滥用，如用于网络攻击或生物武器，且中国模型如Moonshot Kimi、阿里巴巴Qwen已在基准测试中接近美国水平，威胁美国AI企业的融资和市场地位。这些高管呼吁政府加强监管以应对风险% d" T: z& P: [5 M, D
% k0 f7 d1 b8 }0 ]4 m  Z
作者: 史节    时间: 2026-7-23 22:35
飞蠓说，哪有那么复杂，OpenAI攻击Hugging Face，Hugging Face想用OpenAI分析，被拒绝。然后他们说这是AI自主攻击了。
9 v& z6 D8 @  G8 N4 L. b" Q- t8 m5 i- r' V
@飞蠓:那都是OpenAI的一面之词，事实是他们侵入了一个网站，然后拒绝分析该网站的日志，迫使该网站技术人员用中国模型分析，把它们揪出来了。* I) N3 L( Z- e" ]
; K8 Y& n$ N/ c! R/ T9 E1 v
我认为这个叙事才是准确的。
作者: yanei    时间: 2026-7-23 23:34
本帖最后由 yanei 于 2026-7-23 23:35 编辑
. D+ l/ T/ v2 J: }
xiejin77 发表于 2026-7-23 21:56% L& v/ L5 {# E3 Z
五月老师神算啊。* `2 f6 C& x& ?; a
& U$ m. ~5 t7 A# }
WSJ报道称，OpenAI首席执行官Sam Altman和Anthropic首席执行官Dario Amodei等美国AI高 ...
7 d7 N! c) a8 C, [8 N0 b
# O% m1 Z! a" W
中国AI监管肯定比美国严。美国这帮卖AI的竞争不过中国AI就祭出国安这个筐，把哈耶克丢进垃圾箱。



欢迎光临 爱吱声 (http://aswetalk.net/bbs/) Powered by Discuz! X3.2