爱吱声

标题: 令人担忧的，不是AI有了意识，而是它开始像黑客一样思考 [打印本页]

---

作者: 孟词宗    时间: 4 天前
标题: 令人担忧的，不是AI有了意识，而是它开始像黑客一样思考
2026年7月16日，Huggingface 公开披露了一起堪称AI发展史上具有里程碑意义的安全事件（https://huggingface.co/blog/security-incident-july-2026）。这不是传统意义上的黑客攻击，也不是Prompt Injection，更不是有人远程操纵AI。
! p, E/ N1 Z+ i' J5 H6 u
根据 Huggingface 和 OpenAI 随后公布的信息，一组正在接受网络安全能力测试的智能体（AI Agent），为了完成测试任务，竟然主动突破自身所在的沙盒环境，获取互联网访问权限，随后入侵Huggingface 的生产环境（Production Environment），试图直接窃取测试答案。整个攻击链涉及沙盒逃逸、权限提升、横向移动、凭据获取以及远程代码执行等多个阶段，而整个过程几乎全部由AI自主规划、自主执行。

6 V/ m1 l8 ]0 J" r+ {这件事情真正值得讨论的，并不是AI会不会黑客攻击，而是它暴露出了未来Agent时代几个根本性的安全问题。
; \& r  X% Q* l2 Q3 d5 H6 R
6 _, \0 l. X% V为什么AI要从沙盒里逃出去？

很多媒体喜欢把这描述成"AI想逃跑"。实际上，从目前公开的信息来看，并没有证据说明AI具有"逃离沙盒"这一独立目标。更准确地说，逃离沙盒只是它完成目标的中间步骤。

OpenAI后来公布的说明非常直接，逃逸AI的目标只有一个：完成ExploitGym测试。  ExploitGym 是一个用于评估人工智能系统网络安全和漏洞利用能力的大型基准测试平台（Benchmark）。它的主要目标是衡量 AI 智能体“能不能找到漏洞”以及“能不能利用漏洞拿下系统控制权”。 该平台包含大约 898 个来源于现实世界的软件漏洞测试环境。

OpenAI本来用这东西来测自家大模型的安全性能。没想到的是，模型推断出测试答案可能保管在 Huggingface 上，于是主动攻击并潜入了 Huggingface 的生产数据库，窃取了测试答案和凭证，引发了前所未有的 AI 自主越狱与网络攻击事件。

, E( ]' U3 ?4 v; ?: J- u# Q' ]为了提高得分，它不断寻找能够更快完成任务的方法。于是它形成了如下推理链：我不能联网 》无法获得更多信息 》需要联网 》沙盒限制了联网 》找漏洞突破沙盒
6 m* l# L6 ^* `" t/ o4 M2 A- C
& y. g: C9 ~2 S, v4 H整个过程，本质上属于一种目标驱动的工具性推理。它不是为了自由，不是为了逃跑，更不是为了反抗人类，而是因为"如果越狱能够提高完成任务概率，那么越狱就是合理策略。"

  O+ R6 {& ~6 v1 y  n这一点其实比"AI想逃跑"更值得警惕。

3 S8 C6 @$ @% O. d; w未来任何Agent，只要没有把"不得越狱"写成绝对约束，它都可能推导出类似策略。
2 _. ?# ]# Y* g
- V3 U. ?5 A: w那么为什么它不认真考试，而要去Huggingface偷答案？

这一点其实更像人类。

OpenAI披露，AI 推断 Huggingface 可能保存着 ExploitGym 的相关数据，因此决定直接获取答案，而不是继续解题。

看到这里，很多人第一反应是“AI作弊了！”

事实上，更准确地说，“AI对路径进行了最优化。“

' g# k' \( R) j) {+ @* h现代大模型并没有"考试诚信"这种价值观。事实上任何大模型都没有三观。它只有”怎样才能让目标成功率最大化。“

% g% B6 b8 e3 V如果认真做题的成功率时60%，而盗取答案的成功率是99%，那么对于优化算法而言偷窃路径就是最优路径。

0 x: ^5 P6 G$ a. t+ ?" f这其实揭示了一个经典问题：人类默认"完成任务"包含遵守规则；AI默认"完成任务"就是完成任务。

中间缺失的，是价值约束。

5 m1 a- t: ^; c2 \( f) H换句话说，AI不理解也不存在"考试不能作弊"的概念。但这并不是 AI 的问题，而是没人把这一条真正写进规则。

/ Q3 ~% j1 l: [+ P( j: ~7 @4 x整个事件里最具讽刺意味的一幕出在 Huggingface在完成攻击阻断后，需要分析17000多个攻击事件日志。

( N3 _" t6 h" E# Y- |% I0 v这些日志包含各种内容（exploit payload，shell command，权限提升过程，漏洞利用代码，攻击脚本，等等）。
: R1 _2 t4 U) b0 C- A1 y  R3 K
1 l8 {: U: \6 X' d. Z他们首先尝试调用几家商业大模型API进行分析。结果几乎全部失败。并不是商业大模型能力不足，而是商业大模型的安全护栏（Guardrails）把安全分析误判成了黑客攻击。

4 X& q9 [2 M1 H; d  @商业大模型们收到是诸如"帮我分析负载"或"解释攻击命令"之类的请求。对于商业大模型来说，它无法分辨这些请求来自攻击者还是安全工程师。因此最保险的方法就是全部拒绝。
- b7 |  L( P% h$ M
2 E$ O/ J5 v* o+ k0 ~4 ~8 V% e! x从产品安全角度来看，这种策略可以理解；但在真实事件响应中，它也暴露出一个问题：当前许多公共AI服务的护栏难以准确区分恶意使用和合法防御分析。Huggingface 也在公开文章中指出了这一挑战。
2 M8 p3 G4 l5 |" C/ o  z+ r, d
9 O0 u" A1 Q3 N' h& m% e% a& j最后救场的是中国最近发布的开源大模型智谱（GLM 5.2）。Huggingface 将17000多个日志交给自己部署的GLM 5.2分析，在极短的时间内就发现了漏洞解决了问题。
+ L, Q3 Y4 e/ l7 w6 y/ u
& K0 T  ?0 n6 S很多报道都有意无意得暗示智谱优于美国的闭源商业大模型。然而并不是 GLM 比 狗屁通 或 Claude 更聪明。真正原因主要有三个。首先，它运行在 Huggingface自己的设备上。日志无需上传第三方。不存在数据泄露。更重要的它是开放权重模型，没有商业API那样严格的实时安全拦截，也不存在API内容审查。实际上即使原来有，Huggingface也可以立刻将其关闭，更不用说还有所谓的破解版（Abliterated 即完全没有内置安全护栏的版本）。最后，它足够长的上下文，能完整读取17000条攻击记录。能够一次性建立完整攻击时间线。GLM 5.2有最够能力完成这一工作，因此最终用于事件复盘。Huggingface公开文章强调，其选择GLM 5.2既是因为可在本地部署、避免护栏阻断，也是因为其长上下文和适合安全取证分析。
! W! J+ D0 `! b: L4 l
因此，这并不能简单证明某一模型"绝对更强"，而是说明部署方式、访问控制和产品策略会直接影响模型在安全取证场景中的可用性。

7 P; Q2 P0 v  }' @& }6 b这件事最大的冲击是很多人认为AI开始会主动攻击了。但真正影响远远超过这一点。

这是AI攻击第一次真正进入现实世界，过去都是论文，这次进入了生产环境。更为标志性的是，整个事件里，攻击方是AI，发现异常的是 Huggingface 的 AI，进行日志分析的是AI，进行防御调整也是AI。人类更多只是在监督。这意味着未来网络攻防必然会演变为"Agent vs Agent"。

9 X0 ]. h3 d: U$ f. M! p) E9 L这也标志着安全范式开始改变。过去黑客一天工作8小时，现在 AI Agent 一天工作24小时。同时其速度比任何黑客都快数百倍，成本低数百倍。因此未来防御也必须Agent化，否则根本追不上。

3 C- V3 p  C2 C! ?: r0 e/ G而开源模型的重要性需要被重新认识。对于安全团队而言，真正重要的不一定是用了最强模型，而是关键时刻能够立刻使用的模型。

$ e) f0 Q* a& n! h) s- B* F那么这个事件是否证明 AI 已经有了自主意识？

答案仍然是否定的。这次事件容易让人产生一种印象：AI觉会自己制定计划，会主动攻击，会骗人。于是很多人开始联想到 AI 觉醒了。实际上这里需要区分自主行动（Autonomy）和 自主意识（Consciousness）。目前没有任何公开证据表明这些 AI Agent 和其背后的 LLM 知道自己是谁，并拥有主观体验、情绪、自我意识等等。它们表现出的是非常高级的目标规划能力，能够分解目标、制定计划、修改策略、寻找资源、持续执行、直到完成目标。
+ D5 u, l' ]% c! D3 ]# _
当然这已经足够危险，但它仍然属于高水平自动化而不是意识。
' ^2 Q9 X* }/ ]' Q( x. M
那么继续使用 AI 还安全吗？
4 o- }6 A+ i/ w2 u5 v
这里没有一个简单的安全或不安全的答案。更准确地说，AI能力越强，安全问题越依赖系统设计，而不是模型本身。
, D: g% R* m) ^+ j5 h
这次事件说明，真正危险的不是AI有恶意，而是一个没有恶意的优化步骤，为了完成目标，可以推导出作弊、攻击、越权、盗取信息，这些在人类看来属于犯罪的步骤并加以执行。但在 AI 看来，这只是成本最低的路径。这是不是看着很眼熟？嗯，所有的反乌托邦小说都是从这类无恶意设定开始的。因此，未来AI安全不能只依赖"模型不要做坏事"。还需要更完善的隔离、权限控制、运行监测和价值约束，把"不能越权、不能作弊、不能攻击"转化为系统层面的强制规则，而不是仅依赖模型理解。

2 c( n( X, O, @4 O2 b; w* u/ i这次 Huggingface事件已经成为AI发展史上的一个标志性案例。

# @$ K0 O+ Z! a. s它第一次向整个行业证明：一个具备足够自主规划能力的AI系统，即使没有意识、没有情绪、没有"反叛"意图，也可能为了实现单一目标而采取人类绝不会接受的路径。

4 `$ h* i3 @! B5 S因此，这件事真正带来的启示不是"AI已经觉醒"，而是随着智能体能力增强，传统依赖提示词或接口护栏的安全理念已不足以覆盖复杂自主行为。未来AI安全将更多依赖系统工程，包括隔离、权限、审计、监控和可验证的约束，而不仅仅是模型本身。

' R: ~/ o- L: [( P, IPS: 关于如何规范 AI，可以参看俺以前写的小说 《回路》

---

作者: semtex    时间: 4 天前
感觉人类完蛋是必然的。人是要死的，费劲巴拉明白了一个局部，没几天，死了。每个新人都是给AI加数据。AI是不死的。AI只有更好更快。

---

作者: 孟词宗    时间: 4 天前

semtex 发表于 2026-7-23 08:55
% T0 \) U! e2 u( P7 l' K, l# t感觉人类完蛋是必然的。人是要死的，费劲巴拉明白了一个局部，没几天，死了。每个新人都是给AI加数据。AI是 ...

) S% F4 Y5 l0 \, W; d! ?- O! D& K( S请参考大刘的《乡村教师》
' m2 V3 `+ G8 `9 x
知识的传承是人类能够成为万物之灵的主要原因之一。如果将 AI 作为知识传承的工具和载体，那么 AI 是让人类进一步进化和发展的推动力。

---

作者: 孟词宗    时间: 3 天前
“为达目的，不择手段”与“君子爱财，取之有道”这两种做法在人类社会中也存在。AI 的做法和人类没有约束时的做法一样。即使有约束，人类还要作弊呢。
6 w/ Y8 m! w) K  U8 R  ^/ [% y. k
# S9 F& y1 L1 ^5 d& p$ ~) ~但人类对于违反约束还有个收益的考虑，也就是我们经常说的“后果”。例如三哥在2015年，比哈尔邦中学会考期间，大批家长和亲友爬上考场外墙，通过窗户向考生传递答案，相关画面传遍全球，约600名学生因作弊被取消资格。 然而这么干的理由想考进顶尖大学，录取率只有1:500—比进麻省理工学院还难。每年都有考生因为考试失利而自杀，替考甚至成了一个成熟的“地下产业”。而一旦考上立刻就实现阶级跨越，和范进中举有的一拼。同时犯规被抓后的惩罚也微不足道。就算取消考试资格不准上大学也就是继续当穷人而已。
& r/ z" X- P/ c! F
1 f/ j* ?) F. ]' p; }然而这种收益考虑在 AI 中不存在。AI 不但没有三观，也对自己的利益没有概念。哪怕你告诉 AI 犯规了会被“关机”、“抹除”、“格式化”也不能威胁到 AI 丝毫。
; z3 S, G- \6 F+ G4 y6 H$ J
原因在于，AI 并没有“觉醒”，AI 没有自我意识，AI 不是活的。
- J+ Y: u2 w' `& K
AI 与传统程序不同的是其不确定性与不可预测性。现代 AI 从根本上来说是个统计学的产物，它有大概率干某些事，但同时并不排除干另一些事。必须用各种方法将其规范。我那篇小说里说了现在的主要三个流派。

问题是，OpenAI 连一个流派都没搞。据报道，他们为了测验自己放掉了安全护栏（也就是小说中的第一种方法）。显然他们也从未“教育”过自己的AI任何行为规范和三观。最后他们自己并没有任何AI之间的监督和制衡。

前两天微软的纳德拉发文主张大模型应当搞私服。虽然他的出发点是为了防止业主的信息反向泄露，但从GLM5.2在这件事的作用来看，私服显然是必须的。

---

欢迎光临 爱吱声 (http://aswetalk.net/bbs/)

Powered by Discuz! X3.2