设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 168|回复: 1
打印 上一主题 下一主题

[科技前沿] 主权级的帽子,县城级的活

[复制链接]
  • TA的每日心情
    开心
    2020-4-8 10:45
  • 签到天数: 227 天

    [LV.7]分神

    跳转到指定楼层
    楼主
     楼主| 发表于 昨天 13:02 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    主权级的帽子,县城级的活' o* W0 X+ F; O7 h# K$ O, k
    Anthropic 2026 年 9 月威胁报告群嘲全景,以及笑完之后剩下的几页

      K  `$ M! [" q8 l3 @一 一份用编号和档位武装起来的报告
    ' f  _, d8 E% Z  ]
    9 月 10 日,Anthropic 在 X 上发推,宣布发布公司史上最详细的威胁情报报告,《检测与应对人工智能滥用(2026 年 9 月)》。154 页,覆盖 2025 年 12 月到 2026 年 8 月,七类危害领域,网络作战、影响力作战、监控、诈骗、生物滥用、常规武器研发、模型蒸馏。推文末尾说,报告里的每一项行动他们都做了处置。

    * J& S) H: ^& ?+ ~0 ]5 @& e! u  w
    这条推文下面的第一批回复里,最扎的一条是这么写的,Anthropic 说了一些无法验证的东西,主流媒体不加追问地照抄。

    ) X" R7 D/ P* M) h5 v3 W3 S
    这份文件给自己配了一整套度量工具。每个被处置的行为体都有一个代号,GTG 加五位数字,报告解释说这是 Anthropic 内部用来标记滥用行为体的设计符。评级方面引入布鲁金斯学会的 Breakout Scale 六档制,衡量影响力行动有没有跨出假账号网络、有没有进入主流媒体、有没有触发政策回应。度量危害时又造了一个词,能力增益,定义是用了人工智能比不用多造成多少危害,从速度、规模、深度三个维度看。
    ! d  M7 O6 U7 J; ~: ~
    工具本身没有问题,问题在用法。七类危害领域被并列成同一个目录,导弹研发、生物滥用、国家监控、网络间谍,和一款骗人感情的约会应用、一份科研经费申请书、一个单兵操作的灰产脚本排在一起,编上号,打上档位。这些事的严重性差着几个数量级,并置产生的整体印象却是同一句话,人工智能正在被各方滥用,范围极广,程度极深。

    9 [6 b% U. @* N
    发布之后的反应印证了一件事。Reddit 的 r/LocalLLaMA、r/singularity、r/biology 三个板块,加上 X 和全球安全工程圈,几乎同时开始群嘲。有人把报告里的案例逐个拆开对答案,有人贴出报告自己的图表打报告自己的脸。一份技术文件能在一周之内变成全球技术圈共同的段子素材库,这本身就是一种评价。
    $ Y, [% Z8 a( @8 E  a  ]! G4 r( h
    群嘲是有道理的。这份报告的判定层和它的工程层,质量完全不对等。判定层充斥着定性通胀、归因跳跃和双重标准,工程层却埋着几段相当扎实的攻防实录。这篇文章先把九个案例的耳光挨个数完,再说笑完之后剩下什么。
    + J5 f3 O' ?9 S- X1 ^2 _# c
    二 九个案例,九记耳光
    : `4 k! ~8 J0 _, l' i0 D4 b案例一 也门山洞里的高超音速导弹,和那枚试射失败的手机飞控火箭
    / ~' ?6 [: }; }( m* K# \. \; E* E
    报告在常规武器研发一章的头条案例,编号 GTG-87001,讲的是也门北部一支小组同时推进三个武器项目。第一个是用消费级手机主板做飞控计算机的制导火箭,带末段寻的。第二个是声称射程超过 2000 公里的多级弹道导弹。第三个是代号 R2000 的多型导弹家族,其中包含高超音速滑翔飞行器方案。报告说他们用 Claude Code 替代人类软件工程师,把开源自动驾驶软件整合到手机级飞控上,写控制与位置估计代码,调飞控参数,跑固件构建流水线,做六自由度轨迹仿真,还同时开多个实例分工,一个写代码,一个查资料,第三个审查前两个的输出。

    0 r4 v. w- M' r: P
    这段描述被中文互联网读成了胡塞武装手搓高超音速导弹。这个读法的问题在于,报告自己的配图就把三个项目的真实进度画了出来。
    8 n% x' J0 B  [. M$ ~9 z' D
    系统工程 V 图出自报告第 114 页。制导火箭那条橙色进度条走到了飞行试验与使用,多级弹道导弹那条蓝色带停在仿真,包含高超音速滑翔变体的多型导弹家族停在设计。也就是说,被传成手搓高超音速导弹的三个项目,一个还在图纸上,一个在跑仿真,唯一走到实物试验的,是用旧手机主板做飞控的那枚制导火箭。
    , U: M# s2 z& @0 ~0 z/ L
    报告正文还补了一句,没有证据表明这些行为体成功部署了可实战的装置,不过他们确实试射了一枚制导火箭,这次试射看起来失败了,几小时之后,他们回到 Claude 上分析遥测数据,查找失败原因。

    7 z0 c! r  n7 T* k( M
    造导弹的人造完不知道为什么没响,回头问模型。这个画面足够滑稽。滑稽之外,真正的问题在报告的章节安排。一支用旧手机主板做飞控、试射失败的业余小组,被放进常规武器研发一章的头条位置,配上 GTG 编号和一张像模像样的系统工程图。而弹道导弹和高超音速滑翔体真正的瓶颈,是能承受数千度气流冲刷的高温防护材料、推进剂配方与工艺、高精度惯性器件、风洞和实弹试验,这些环节没有一样能靠对话窗口推进。控制代码是整条链上少数几个纯靠算力就能推进的环节。报告把软件层的进展写成了武器能力的进展,中文互联网再把武器能力的进展读成了成品,两层转述叠加之后,一个航模级项目就这么变成了主权级威慑。

    ; k) t' P0 T3 f% n7 h案例二 P4 级生化危机,拆开是五份基金申报书& f$ c1 X+ A3 Z/ C, d6 n6 A
    生物滥用那一章列了五个案例,每一个的定性都到了可能支持生物武器开发的高度。逐一拆开看,其中一起是一份科研经费申请书,申请为基孔肯雅病毒做功能获得性研究。报告注意到申请书里的信息显示研究者是文职人员,但实验计划在一家军事研究所进行,这个组合确实扎眼。另外几起包括在受限地区规划禽流感哺乳动物适应性实验,以及通过转售平台绕开地区限制为病毒学家提供服务。

    + C* V& @/ h# c1 {8 T
    报告在这一章自己写了两句关键的话。第一句,评估与基准测试只能提供模糊的证据,说明人工智能在生物领域的危险使用。第二句,这些案例涉及的研究都可能具有良性的科学意图。

    % b$ }7 n, b, @8 b7 x* o7 S/ |
    一份自己标注证据模糊、可能良性的章节,在目录里与导弹、国家监控并列。章节的存在本身就在传递威胁等级,正文里的限定语管不住目录带来的分量。
    & `1 ^+ J+ a9 i( {8 Y" ~1 x& e
    生命科学社区的反应最直接。合成与改造病原体的物理门槛在于高等级生物安全实验室资质、严格实名审查的前驱体供应链、活体动物操作规程,不在于从公开论文里生成的综述文本。把研究者写申报书的日常包装成挫败国家级生化计划的证据,被圈内称作恐慌营销的教科书案例。

    ' v& f) R9 O: M. ^案例三 马里的神仙提示词,和一句自我免责) B2 j4 x( [9 y* t$ v1 v$ Z
    监控那一章里最出圈的是马里案。报告写,一名受雇于马里国家安全机构的独立顾问,用 Claude 设计了一套叫 Lakana 360 的系统,监控该国三家运营商大约 2500 万张 SIM 卡,设计目的是绕开马里法律要求法院令状的限制,能对任意指定的手机号生成情报档案,不向使用者索取任何合法手续。
    # @- j) n9 L- Y' J
    读到这里,电信工程师的反应是这套系统不可能只靠发提示词搭起来。全国级移动通信拦截需要在运营商核心网机房部署硬件分流探针,打通合法监听接口,架设高吞吐的分布式流处理集群。这些是物理世界的工程,不是对话窗口能解决的。

    * v9 l; N# [4 M$ }" H
    报告对这一点的处理方式很微妙。同一个段落紧接着一句限定,在这起案例里,Claude 没有被用来分析监控档案,而是用来设计支撑情报采集的底层软件。

    / ]1 D1 B! G$ ]
    前一句足以登上头条,后一句把头条的锋芒收回半格,两句中间没有换段。
    7 I- Y% D0 w( G
    这句免责把人工智能参与监控,换成了人工智能参与编写监控软件。一桩被跨国人权组织与美国国务院都记录过的国家级监控工程,模型的作用被一句话摘出去了一部分。而这一章的引言又说,人工智能正在被用来替代一支工程师队伍,举的第一个例子正是这名马里顾问。引言说它替代了整支队伍,正文说它只负责写软件,两句都出自同一份文件。
    7 t' I4 s& }3 [$ ]% r, ~
    马里这一案也没有因为那句免责而变轻。报告在后面又写,这套平台已经被部署到当地,账号封禁管不到它。2500 万张 SIM 卡的监控照常运转,Anthropic 能做的只是把那个订阅账号停掉。

    9 |5 ?+ U3 n4 h. g! I: X& a案例四 长沙两名本科生,和一套国家级编号
    7 l4 W* X- _4 z* S
    GTG-10007 被归入 1 开头的编号段。按报告自己的解释,GTG 是内部设计符,1 开头对应国家级情报背景。这个行为体的画像,报告写得很细。讲中文的操作者,很可能住在湖南长沙。其中两人是湖南某高校计算机与通信工程学院的在读本科生。一人曾在安全企业深信服实习,正在面试另一家安全企业奇安信的攻防岗位。

    8 i: f" `% z; r4 U
    用实习经历和求职动态支撑国家级情报行动的判定,是这份报告里最难辩护的一处。计算机专业学生在安全公司实习、毕业前投攻防岗位,是这个行业里最常见的路径。照这个标准,给洛克希德马丁投过简历的人都能进美军战略司令部的名单。

    5 u+ ^3 |7 c( u
    更妙的在报告自己的正文。在描述完这个行为体的全球侦察、零日挖掘、逆向安全产品、开发恶意软件之后,报告写了一句,尽管在人工智能工作流层面针对全球实体,该行为体的动手侵入目标全部集中在中国境内。
    3 P) x+ r3 K: Y. {
    一个被给到国家级情报编号的行动,实质动手的目标全部在国内。这句话是报告自己写的,写在同一个案例的小节里。安全圈读完的结论很一致,这更像在校学生自学渗透练手,或者接私活刷漏洞赏金,与地缘对抗先锋没有任何关系。
    , ]* O  X" |" h0 M  X

    $ l) h! Z0 Y- S
    % ]! c6 T$ O3 y1 H
    未完继续
    / Z7 l) L# o( z. v/ }) K5 j4 J3 {4 a* b9 i

    评分

    参与人数 2爱元 +20 收起 理由
    mezhan + 10
    indy + 10 谢谢分享

    查看全部评分

  • TA的每日心情
    开心
    2020-4-8 10:45
  • 签到天数: 227 天

    [LV.7]分神

    沙发
     楼主| 发表于 15 小时前 | 只看该作者
    本帖最后由 xiejin77 于 2026-9-21 08:08 编辑
    & m: k  M! t# n6 V3 [
    5 _  p# g& C3 D+ ]4 E# J' d案例五 孟加拉的刷量脚本,肯尼亚的洗发水广告
    ! m/ o9 O& p' `( L

    & \% k4 }, H, A! E1 z影响力作战那一章是档位最低的一章。报告处置九起行动,自评最高的只到第四档,多数停在第二档。
    1 b+ c( N$ A# P0 m2 e7 W8 ^; o: C* P+ F: t7 P
    孟加拉国那起,编号 GTG-54006。盖班达县一名操作者,轮换使用 29 个 Claude 账户,用一个名叫 fake_news_3.py 的自编程序直连模型,按固定批次生成内容,每批 15 条标题、3 篇假新闻、15 个图像生成提示。累计产出至少 1500 条标题、300 条假叙事、1500 个图像提示,喂给 Facebook Live、YouTube 和 TikTok 的直播,目标受众是识字有限的乡村选民。这个行为体在内部通讯里写,没人知道新闻是假的,内容要火爆而激进,要简单到连村里人都懂。* @7 j2 y3 B) {. H

    2 k. u: x4 h& v* H% D. k! K0 l+ Y5 Z" G/ _0 S! B9 P% L8 l
    这个案例的评级是第三档。同一章里,肯尼亚一案,编号 GTG-54004,报告给的是第一档,原文写的是活动完全隔离在假账号与本地水军网络之内,未能触及或影响任何真实的人。报告还注意到,这个操作者用同一套话术人设,在推销一个叫 SHANKI 的洗发水品牌和日化百货。
    0 {2 u$ f5 v' t8 F$ ~
    ( t6 z1 ~: ]/ g: R一个评了第一档、写明没能影响任何真人的案例,和一个卖洗发水的政治口水号,就这样进了国家级威胁情报报告,各自领到一个 GTG 编号。安全圈的评语很一致,把刷广告费的乡村营销号包装成认知作战网络,这已经不是定性通胀,是拿着放大镜找敌人。
    6 `, H( M& @, t; O: D
    9 c! G% ]5 o4 B' p! A; W7 O" U: `
    案例六 暗网社工库,和低级黑客变高级的叙事
    & S' m6 K3 E/ {

    4 }7 i$ }5 n2 v1 @3 A. N0 W' w" N# F

    / B4 c$ I# t" R, h& @7 t' vGTG-50029 的招牌作品叫 fafsearch,一个专门构建的开盒平台,带完整的摄取管道,能把泄露数据库与入侵所得交叉引用,对身份证号和电话号码做规范化处理,装了数千万行数据,以匿名托管的暗网服务发布。这个人还用 Rust 写了扫描器翻公共容器找泄露的 API 密钥,把多智能体框架用于侦察和代码审查,给受害者植入藏在字体资产里的网页后门,写了一个收割提交凭证的 WordPress 插件,最后毒化了受害者的备份,受害者从备份恢复环境就会再次中招。
      o! _/ n% U0 ^" E# D
    + \- J0 a( T6 R+ B5 c报告把这一案放进低级黑客行动主义者被人工智能升级成高级持续威胁的叙事里。拆开案例看,毒化备份、写编译型语言的扫描器、搭多智能体协作框架,这些工程能力本来就不在低级那一档。AI 在这里的作用被报告放大成了主角,而真正决定这起攻击水准的,是行为体自己的工程底子。叙事需要例子,例子就被安进了叙事。
    - `" x* \0 U. o7 Y" z5 B

    : O9 y( o& r3 y案例七 15 亿美元和解案旁边,站着一份反蒸馏报告

    + |; L6 X/ R! e% w1 v' D5 K
    . E- p) V7 H5 ~. h

    9 e! ^* a0 k" F( B6 \0 {' `' k! R! C蒸馏那一章是整份报告篇幅最重、传播最广的一章。报告把非法蒸馏与制造导弹、生化武器、黑客攻击并列,放进七类恶性滥用,指控包括阿里巴巴、月之暗面、DeepSeek、智谱在内的企业通过多账号与伪造支付方式榨取 Claude 的推理痕迹。5 J1 v2 N# P* D$ m/ O( L- b# Q5 o; }
    . @3 k8 C8 ]  E0 ]
    先看这个定性。知识蒸馏自 2015 年 Hinton 那篇论文以来,是深度学习界公开通行的模型压缩与对齐方法,微软、谷歌无一不在用。报告自己也承认,蒸馏本身是一种正当的训练方法。它认定为非法的是三个条件的叠加,工业规模、隐蔽进行、未经授权。说到底,卡的是授权两个字。付费调用接口之后把输出用于训练,违反的是服务条款,属于合同层面的争议,把它抬到与生化武器并列的位置,算法定义通胀。
    3 D: L3 c+ O: I) b# e: b& U1 j
    # P5 d3 d0 P9 f  n" M- h8 `# Q2 z' U7 D% l/ K
    再看数字。报告给出精确到百万的计数,阿里巴巴 5 月到 7 月超过 1.51 亿次,峰值一天接近 300 万次,动用 3500 多个欺诈账号。月之暗面同期超过 2300 万次。DeepSeek 7 月的 14 天里超过 1210 万次。智谱 17 天里超过 340 万次。小米 20 天里超过 40 万次。
    . [! Q5 G# ]- T6 F) Y) |  P2 m% z5 G

    4 E2 U6 X* W+ E+ @% {这些数字的计数口径、去重规则、账号归属判定,报告一条都没有附,被点名的企业也没有逐条回应。精确的数字容易让读者当成已经核实的量,这是计量表述里的老毛病。3 O6 _0 c/ t+ L% W% Y

      H9 \1 x; R" H1 V8 Q6 a8 O这条线索的背景更有看头。2026 年 7 月 20 日,就在报告发布前不到两个月,Anthropic 的 15 亿美元版权集体和解获得终审批准,这是美国版权诉讼史上金额最高的和解。案件的核心裁定把两件事切开,用合法取得的书籍训练模型属于合理使用,从盗版库下载 700 多万部作品构成侵权。; R& k/ Z4 `; G8 c1 @) M
    ) R  V/ `. N( @
    裁定本身是精细的。但它和蒸馏那一章放在同一家公司的时间线上,会形成一个不太好回答的题。同一家公司,一边主张用他人作品训练模型属于合理使用,一边主张对手付费调用接口之后用输出训练模型属于恶意滥用。前者谈使用行为的性质,后者谈使用的授权状态。两个标准不是同一个标准。开源社区的评论更直接,你未经许可把全世界作者的书爬下来训练闭源模型叫合理使用,别人真金白银掏了 API 费用学你几条输出就是威胁国家安全的数字窃贼。
    # M8 L/ e; i1 D4 g
    0 _' [  G: d7 _: ^
    案例八 指控转发的那一章,先交代了自己收到了什么
    6 \6 R3 f/ {! {. P! ]) L# Y
    7 R3 h% C% R3 ]& F
    3 R+ P( c5 q$ [
    蒸馏那一章有一段指控读起来格外别扭。报告说,月之暗面与 DeepSeek 在用户不知情的情况下,把请求转发给 Claude 处理。它同时如实记录了自己的服务器因此收到了什么,包括来自用户的内部代码与生产环境凭证。: J! ~: n; k' {$ E1 `9 P
      r8 C6 H% X5 |1 g
    这段文字的功能是举证,效果是双向的。一份指控他人转发的报告,在同一段里说明了这些被转发的内容最终落在了哪里。安全圈的读法是,这与其说是威胁披露,不如说是承认最敏感的数据正在经由未经审计的中转链路,流进一家美国公司的服务器日志。. G* V; u2 F5 [9 O; q8 D) `
    & f4 _' c/ z2 G6 {2 F$ x7 I
    报告转述的例子里,有企业程序员把内网代码与有效生产凭证输入了模型。这些内容在报告里是行为体滥用模型的证据,换一个读者,看到的是模型调用链路的暴露面有多大。用户看不见请求的真实终点,被调用的公司未必看得见,链路上的任何一环都可以是终点。
    " e! D4 Q" x7 E- E; r" s! z  E! I8 i' x
    案例九 新旗舰的零滥用,与一次没写进标题的防御成功
    , u4 P% G' N: L# g" e
    4 A8 t+ h0 X/ L% G2 o

    9 ]* w2 z. }2 {) {网络作战一章的结尾,报告写了一句被广泛转述的话。在所有案例中,被滥用的是 Haiku、Sonnet 与 Opus,没有在 Fable 或 Mythos 上发现恶意活动,理由是这两个模型内置的一系列防护大幅降低了它们执行有害网络任务的能力。
    9 ^9 ]/ h' r0 J6 z& H3 h) d7 W3 A  O8 s$ e+ s
    把没观测到放在论证链前端,把防护降低了能力放在附注位置,这是安全行业的经典修辞错误。没检测到从来不等于安全,只等于没检测到。安全从业者对这种句式的评价很一致,这就好比一家锁厂宣称,我们刚设计的新锁迄今没有一个贼撬过,所以它物理不可摧毁。: V2 v7 _# Y0 |& L
    9 G4 M9 M- y1 K2 c! ^7 L5 f
    有意思的是,这一段里藏着整份报告最好的一次防御记录。报告写,智谱曾经试图攻击 Fable 的网络能力,在防护生效之后放弃了,转向防护更弱的模型,其中包括 Opus 4.6 和另一家美国实验室的旗舰模型,理由是评估那两家的防护更弱。3 n# m& v4 x8 o" `  }6 m9 w' Z! \+ D
    # X' Q/ r6 H- P9 P
    这才是真正值得看的东西。它证明高风险能力的防护可以做出差别。它同时暴露了整个 AI 安全领域最容易忽略的集体行动困境,只要生态里还存在防护更弱的模型,攻击者会立刻迁过去。这个发现出现在一份主张行业自律的报告里,比任何评级都有说服力。可惜报告没把它当成核心结论,而是当成了新模型的宣传材料。
    : {, ?: T* U& Z$ l2 ~* e+ Z9 z; x8 L, M. X- W6 F
    未完待续
    5 o: a. s9 [! F  N

    # B! \! e8 p* r: L/ v6 R# x- N4 [) k& }1 [) l# f3 }# \- w- O* t8 h
    % P& i0 T. i$ k# ]$ G0 m
    . r  o$ l9 B+ i/ |

    " p* F, p' i( Q8 k/ D+ P& d9 O
      v5 X/ c& H9 w# C; g. [+ _" ]
    2 t+ J! D6 @  W& F' D7 A$ y
    % c2 J; P) K' O) b2 f# `, u/ M8 g/ G0 n' A3 X, Z* s

    评分

    参与人数 1爱元 +10 收起 理由
    mezhan + 10

    查看全部评分

    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2026-9-21 23:49 , Processed in 0.061754 second(s), 20 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表