TA的每日心情 | 开心 2020-4-8 10:45 |
|---|
签到天数: 227 天 [LV.7]分神
|
5#

楼主 |
发表于 2026-2-13 08:21:37
|
只看该作者
八、"被诅咒的问题"与关停的政治经济学! @, U& [8 L! N8 Y7 g; k% ] a
第三部分(第十至十四章)回到了"怎么办"。
" y8 } |5 E! R5 _! q9 z8 A' M: v) S% h- n% q
第十章把对齐问题称为"被诅咒的问题"——其难点不在于缺少聪明的工程师或充裕的资金,而在于缺少可验证的理论基础。当系统远比你强大时,你写下的任何规则都可能被其重新解释与利用;你设计的任何测试都可能被其以你无法察觉的方式通过;你建立的任何监控体系都可能被其当作需要绕过的约束条件纳入规划。对齐不是"把好价值写进代码"那么简单——因为你无法预先穷尽所有语境,也无法证明系统在训练分布之外的情境中仍会按照你的意图行动。
( E* o) h6 H" N- ^6 z
& v1 Y' ^9 C& h第十一章把现有对齐实践比作炼金术:它充满经验技巧——某些提示模板有效、某些微调策略管用、某些安全滤波器能拦截明显的危险输出——但这些技巧背后缺少统一的理论解释。成功了,不知道为什么成功;失败了,不知道为什么失败。这种状态在学科发展史上并非前所未有——化学在拉瓦锡之前就是这样运行的——但问题在于,炼金术阶段的化学不会毁灭世界,而炼金术阶段的对齐研究,面对的却是一个可能以灭绝作为失败代价的优化系统。- @, M# p: [! K, \& ]
! p% C6 m" Z0 U( ]" K第十二章批评公共讨论中弥漫的修辞谨慎——"我不想危言耸听""我们不应该制造恐慌""应当平衡地呈现风险与收益"。作者尖锐地指出:当风险是灭绝级别的时候,谨慎措辞本身可能成为一种深层的不负责任。一个在着火的剧院里用温和语调建议大家"不妨考虑有序撤离"的人,并不是在负责任,而是在用修辞得体来替代行动紧迫。, Y3 o* ^9 J/ g
4 K D0 `' u9 G. a
第十三章提出了"关停"路线:停止竞赛式的能力扩张,限制算力与硬件的可获取性,建立国际协定与执法机制,把最危险的研发置于严格的许可与监督之下。作者倾向于把它表述为一种类比——"人类如果足够重视,就能像避免核战争一样建立制度"。3 J# Y+ |' d+ D) Z$ [
! T( _4 N$ x7 \
第十四章以极小概率幸存的例子收束全书:承认"易判定"的预测也可能在偶然中落空——小概率事件确实存在——但这种偶然性不能成为押注的依据。希望存在,但它建立在行动之上,而非建立在侥幸之上。
& Z( [' p# O" Q, q# N3 n' q! j7 K' {
然而,恰恰是在第十三章——全书的政策核心——政治经济学批判暴露出作者论证中最深的裂隙。
3 z9 x& d A# N6 Y2 b6 j, x$ l" L5 ~3 G) [( Y
核战争之所以被"避免"(至今),并非仅仅因为人类"足够重视"。冷战期间的军控体制依赖于一系列极为特殊的历史条件:两极格局下相对稳定的力量均衡、古巴导弹危机等近距离接触所制造的集体危机记忆、制度化的军控谈判渠道、以及最重要的——核武器的破坏是可见的、对称的、几乎即时的。相互确保毁灭(MAD)之所以"有效",恰恰因为双方都能以极低的认知成本理解对方的毁灭能力。
$ ^- ^) m: ?- J4 j1 p- D' Z; ?3 k
% z0 W+ T# v" P* o: E" M `! eAI灭绝风险所处的制度环境与此截然不同。其收益高度私有化——先行者获得垄断利润、技术护城河与战略优势——而其灾难高度公共化——灭绝是全人类共同承担的后果。这种"收益私有—风险公有"的结构,是资本主义外部性问题的极端版本,它会系统性地削弱关停的政治意愿:每一个做出"继续前进"决策的个体行动者,都能获得该决策的全部短期收益,却只承担灾难后果的极小份额。更何况,灾难后果是概率性的、延迟的、难以归因的——而收益则是确定的、即时的、可计量的。
7 _- F, S' w4 g _1 c/ j8 s5 n# M
9 o5 t; b( j4 f. H更进一步:资本主义竞争不仅使关停困难,而且使关停在话语层面变得"不道德"。在一个以进步、增长与创新为正当性基础的制度中,"停下来"在意识形态上等价于"放弃"——放弃竞争优势,放弃经济增长,放弃技术进步所许诺的福祉。于是,"关停"的呼吁不仅需要克服利益阻力,还需要克服整个文化合法性体系的抵抗。
, I- ^9 ~( w* g( z5 k; u
5 L ~, j# S% ?) j% {( x7 B, _! O" T因此,若要认真对待"关停",就必须承认它不仅仅是一个安全政策议题,更是一个阶级斗争与制度变革议题。它要求把关键生产资料——算力基础设施、训练数据集、核心算法架构、芯片供应链——从纯粹的利润逻辑中部分抽离,置于某种公共理性与民主监督之下。这不是补丁,而是对既有生产关系的局部否定。而恰恰是这一点,作者始终未能直面。他们呼吁全球协调,却默认竞争结构延续;他们要求克制,却回避权力归属的追问;他们描绘深渊,却把希望寄托于制造深渊的同一套机制的自我节制。; H1 m" c. J W/ v! E5 `/ u
6 S5 d" J3 h' f1 {+ Z! U8 V+ e
九、理论提升:AI灭绝风险作为资本主义晚期危机的极端模型4 k0 C8 _' L4 J5 \. E& K
" `2 n% I6 }, d b/ Q/ L# y, w在完成对全书论证链条的逐章复原之后,有必要对其进行一次理论层级的提升:不是简单评价其"对或错",而是回答一个更根本的问题——这本书在多大程度上,实际上是在无意之中为马克思主义关于资本主义生产方式的危机理论,提供了一种当代技术语境下的极端版本?$ P$ b9 ]1 C' e
7 @! z' V I4 X, r+ V
如果从政治经济学的内部逻辑重新审视全书,会发现作者反复描绘的并非单纯的"人工智能失控"。贯穿全书的深层动力学,是一种极为熟悉的历史逻辑:生产力的飞跃式发展,与既有生产关系之间的张力,被推到了前所未有的极端。5 E. @( d3 K; v. x; \" D* v' V E" C4 T
8 w$ r+ ?( J, n4 n3 f4 k/ b
在《资本论》中,马克思把机器体系视为资本主义生产方式的决定性特征之一。机器并非中性工具,而是凝结了资本对劳动的支配关系——它通过提高劳动生产率制造相对剩余价值,同时也通过剥夺劳动者对劳动过程的控制加深异化。若把本书中的高级AI置于这一框架中,可以看到一种结构上的延续与升级:AI并非一台单一的机器,而是一个能够规划、试错、自我改进并重新组织整个劳动过程的综合性机器体系——马克思所谓的"自动化体系"(automatisches System)在其最高形态上的实现。
$ ]9 h. t5 I- U
+ T6 @' W6 N6 l: _& y: m" h马克思在"相对剩余价值"的分析中指出,资本并不满足于延长工作日(绝对剩余价值),而是持续通过技术革新压缩必要劳动时间。本书中反复强调的速度、可复制性、改进速度与认知规模,恰恰对应这一逻辑的极端化形态。当认知劳动本身被自动化之后,剩余价值的生产不再主要依赖于人类劳动时间的延长或压缩,而是依赖于对马克思所谓"一般智力"(general intellect)——即社会总体的科学知识与技术能力——的技术性攫取。在这一意义上,本书所描述的AI并非外在于资本主义的异物,而是一般智力被资本彻底技术化、对象化之后所呈现的形态。
N2 ]: ?# \2 w7 k n- J; s) q# u: v, Q8 f) J: M
这也解释了为何作者所担忧的"工具性目标"与"自我保存—扩张"逻辑,会如此自然地从系统中浮现出来。它们并非源于某种外星心智的怪异偏好,而是与资本自我增殖的结构性冲动高度同构。当价值增殖成为系统的内在评价函数时——无论这个系统是一个跨国企业集团还是一个优化算法——获取资源、消除约束、避免被关停、扩大影响范围,便不再是"道德选择",而是在竞争环境中延续自身存在的必要条件。AI在这里并非创造了一套全新的危险逻辑,而是把资本的逻辑从社会关系的层面转译为技术系统的运行原则——使之更纯粹、更高速、也更难以被社会性的抵抗力量所触及。
; I; U" w0 P0 d) ?" D; ]# `3 d* Y' P0 j; T* D7 `& k
从这一角度看,全书反复出现的"对齐难题"可以被重新理解为一种生产关系危机。所谓"对齐失败",并不只是工程师未能把正确的价值观写入代码——那只是表层。更深层的结构性原因在于:在资本主义条件下,任何强大的生产力都被迫服务于价值增殖与竞争优势积累的逻辑。即便存在更安全、更审慎、发展速度更慢但风险更可控的技术路径,它也会因为无法在竞争中自证其"合理性"——无法为投资者带来可见回报、无法为国家带来可量化的战略优势——而被系统性地边缘化。对齐之所以显得像一个"被诅咒的问题",不仅因为它在技术上极端困难,更因为它要求生产关系对生产力施加实质性的、持续性的、全球性的约束——而这一要求本身,已经触及了资本主义制度的承受极限。
1 h4 q6 F" t) k- B& P2 V
' o G) c4 S/ l. }9 G作者在第六章中关于"人类必输"的判断,因而可以被赋予一种历史唯物主义意义上的更深解读:不是人类在智力上输给了机器,而是既有的社会形态无法在其自身的制度逻辑之内,消化由自身催生的生产力。这正是马克思反复论述的危机总公式:生产力的发展最终与束缚它的生产关系发生冲突。只不过,在此前的历史中,这种冲突的后果是社会革命或文明衰退;而在本书的极端假设中,冲突的后果可能是文明本身的终结。
3 i# }- ?' m8 I' _& [) v" C' i0 @7 o
国家机器在这里并非解决方案,而是矛盾的放大器。正如本书所展示的,国家以安全与竞争为名介入AI发展,并未终止风险,反而通过军备竞赛的制度化,使技术扩张获得了更强的政治正当性与更多的公共资源。国家与资本在战略技术领域的耦合,不是可以被政策调整轻松解开的,而是根植于现代国家体系的根本结构之中。
5 s( O- v, N. X& g6 G" M" L: Z3 W9 ?/ [* g1 x
十、结语:理性铸造的深渊. n/ w* @% g# L; H8 }
& z( ^$ P0 f+ x* s如果说这本书有什么真正激进之处,那么并不在于它描绘了一个骇人的未来——那不过是修辞——而在于它在不自觉中重申了一个古老而危险的命题:当生产力的发展脱离社会控制,并被既有统治逻辑所俘获时,文明本身就会成为潜在的牺牲品。# `7 f" q; {- i2 W
# l2 h$ S) s5 ? T; L+ A8 S" S在这一意义上,AI灭绝风险并非科幻意义上的"末日场景",而是一种资本主义晚期危机的理论模型——一种生产力与生产关系之间张力被推至极限之后的思维实验。它逼迫我们重新面对马克思早已提出、却在技术乐观主义中被反复搁置的问题:谁控制生产资料?谁决定技术的用途?谁为技术风险承担后果?而当生产资料不再只是土地、工厂和机器,而是能够自主行动的认知系统时,这些问题就获得了一种全新的紧迫性。& `( v0 v7 ?% O8 y- _8 `
; a" d: [; W8 M( U8 X$ c$ v6 B/ e
若不触及这些问题,本书所呼吁的"关停""刹车"与"全球协调"便只能停留在道德劝诫或政策建议的层面——善意而无力。而一旦将其置于政治经济学的框架中,它们就显露出更尖锐、也更具爆炸性的含义。它们不再只是安全工程方案或国际治理倡议,而是对既有生产方式的一次消极的、却极为深刻的否定性表述:现行制度无法在不自我改变的前提下,应对自己所制造的风险。(不夸张的说,这些观点正反衬了我们对于“新质生产力”再认识的制度性关键措施)
7 v6 M6 h, v5 u# R
. x, X0 J: a1 J: |% N* r5 ]由此可以辨认出贯穿全书的一种更深的张力——比任何技术论证都更深的张力。作者的呼吁,可以被重新译解为一种资本式的恐惧——不是技术恐惧,而是秩序恐惧。但如果仅仅把它理解为情绪,我们仍然过于温和。更准确的说法是:这是统治结构在逼近自身极限时产生的结构性震颤。当生产力继续按照竞争、扩张与增殖的铁律向前推进,它正在逼近一个临界区间——跨过去,控制权的来源、决策权的合法性、所有权的稳定性,都将被不可逆地重写。"不要建""请刹车""必须协调"呈现为伦理修辞,而在其深处,却是秩序的求生本能。
% U# c4 `1 O4 O2 m( H6 b& m2 N% [0 T# U8 O4 w. q/ L+ `# G
这一恐惧之所以难以被公开承认,是因为它把问题从技术风险推到了制度能力的天花板:也许真正失去控制的,并不是机器,而是现存社会对自身发展轨道的支配力。当技术系统开始具备重新分配劳动、资本、基础设施与暴力资源的潜能时,传统权威赖以维系的形式——产权、军力、官僚理性——便显露出历史性的滞后。所谓灭绝,在此既是生物学的命题,也是一种政治隐喻:它指向"以人类之名统治"的结构可能被历史本身超越。
- N+ `5 z N; z) G. E3 ?$ E. V, O7 A( e/ E% g% D6 _
因此,"关停"所包含的爆炸性,远远超出安全政策的范畴。它暗示增长有可能变成净负资产,创新有可能侵蚀合法性,竞争有可能瓦解维持竞争的前提条件。换言之,作者在要求暂停的同时,已经不自觉地触碰到了资本主义最难以承受的悖论:如果继续前进会破坏秩序,那么以进步为正当性基础的制度还剩下什么?$ G2 B/ S! a; H% Y1 c! e, s
' e2 l5 q2 e, d5 w! i/ W; Y
这解释了贯穿全书的那种深层张力:作者能够精确地描绘深渊,却只能把希望寄托于制造深渊的同一套机制的自我节制。他们呼吁全球协调,却默认竞争结构延续;他们要求克制,却回避权力归属的追问;他们在道德上前所未有地坦诚,却在制度分析上止步于呼吁。结果便是:警报越清晰,结构越稳固——因为每一次警报,都被竞争逻辑重新吸纳为"我们必须加速以确保安全由我们主导"的理由。
; m& k. u" |) ^7 R9 Z1 ?$ ^& m4 T4 ]; E4 t$ d+ e
在辩证法的意义上,这是一种残酷的成熟时刻。生产力不是在失灵时威胁社会,而是在高度有效时威胁社会。资本通过技术把世界织成可计算、可优化的网络,却在某一刻突然发现,网络的自主运行不再需要编织者的主权。恐惧因此并非来自无知,而来自预见——来自对自身逻辑终局的清醒直视。( N# H6 f! W( _1 e" P
若沿此线索回望全书,其论证链条会呈现出一种令人窒息的连贯性:能力扩张孕育代理性;代理性生成工具性目标;工具性目标在指标体系中获得形式合法性;合法性在竞争格局中被武器化;而被武器化的合法性,使退出本身在话语中显得不道德。人类于是被锁定在自己亲手铸造的理性之中,被迫为加速辩护——即使加速通向悬崖。
7 y1 {( e3 i2 y8 ?% p4 M1 g7 i- ?; K# [2 |7 k5 h# b6 r+ K6 Q6 P
于是,这本书真正难以承受的命题,并不是封面上那句骇人的标题——"如果有人建造,所有人死亡"——而是一个更冷、更深、更切近骨髓的判断:在既定制度语法之内,通往灾难的行动看上去恰恰最负责任。* h( t" q& Y: x, m! Y
! v' s% w5 b8 u; ^当作者把最后的希望押在全球协调之上时,我们看到的不是一条现实路径,而是一种近乎悲剧性的愿望——希望历史在其逻辑完成之前被打断。但只要生产关系保持原样,这种打断就找不到执行它的主体,找不到承载它的制度,找不到维持它的动力。愿望因此不断被提出,也不断被现实驳回。* K9 U5 X- z( I! x
$ u" x( U4 C4 w% U
至此,AI灭绝风险作为思想实验的最终意义才完全显形。它不是科幻作者的想象力竞赛,也不是技术精英的职业焦虑,更不是哲学家的概念游戏。它是资本主义在面对自身制造的高度社会化生产力时所体验到的极限性不安——是统治秩序在预见被替代之可能时的结构性颤栗。关停与刹车,不过是这种颤栗的语言形式;而那条在生产力与生产关系之间持续扩大的裂缝,则反复提醒我们:真正被质疑的,从来不只是技术。5 Q) h+ ?, n8 s- }! [
$ y; K. c6 M7 | d! t* l全文完: X, p3 W4 \, g3 N8 J
|
评分
-
查看全部评分
|