大模型的大败局系列

xiejin77 · 发表于 2026-5-11 08:01:16

大模型的大败局

序章：大模型不是没有未来，失败的往往只是供奉它的方式
8 a3 W! \3 c! t; @, W* I3 U. n$ a
2022年11月30日，OpenAI发布了ChatGPT。五天内，用户突破100万。两个月内，月活用户突破1亿——人类商业史上没有任何产品达到过这个速度。

但这组数字不是这篇序章真正关心的。真正重要的是自此之后人类第一次面对的处境：数十亿人同时面对一个能用自然语言流畅对话、像模像样地推理、写诗写代码写法律文书、并且用"我认为""我理解""我建议"这样的措辞来组织回应的非人系统。它看起来像是"懂了"。而"看起来像是懂了"，恰好是这个时代最危险的临界点。

从那一天起，大模型产业以人类商业史上前所未有的速度经历了狂飙、膨胀、神话化、以及一连串越来越密集的崩塌。

2023年2月，Google在Twitter上发布Bard演示——一个事实错误让Alphabet市值一天蒸发1000亿美元。Bard说詹姆斯·韦伯望远镜拍摄了"第一张"系外行星照片，实际上第一张是2004年由欧洲南方天文台拍摄的。一个高中生能在30秒内纠正的错误，在资本市场上价值1000亿美元。2023年4月，Samsung半导体部门的三位工程师先后把测量设备源代码、良率识别机密代码和内部会议录音贴进ChatGPT寻求帮助。这些数据通过OpenAI服务器流向了不可追回的外部世界。Samsung随即在公司内部全面禁止了外部生成式AI工具。禁令持续近两年。2023年12月，《纽约时报》在纽约南区联邦法院起诉OpenAI和Microsoft——要求销毁使用侵权数据训练的模型。训练数据的版权债务这个一直被AI产业选择性忽视的定时炸弹，在全球最受关注的媒体品牌诉讼中第一次被拉到阳光之下。

2024年加速了。2月，Gemini图像生成功能上线几天后被紧急暂停——一个为了"反偏见"而设计的系统开始系统性输出虚假历史图像。黑人纳粹、女性教皇、有色人种美国国父——AI不是因为"不聪明"而犯错，它是因为"被设计成聪明地避开一种偏见"而制造了另一种失真。同一个月，加拿大航空因其官网聊天机器人的错误政策回答被判赔偿812加元——全球第一起企业因AI的错误陈述而被法庭判决负责的案件。CRT成员Christopher C. Rivers在裁决中写道"不管信息来自静态页面还是聊天机器人"——AI在官方渠道上的话就是企业的话。这个法律锚点从此落地。2024年4月，Rabbit R1和Humane AI Pin在主流评测中全线崩溃。两样AI硬件加起来融资超过2.5亿美元，峰值估值近10亿，但在真实用户手中连基本功能都无法稳定完成。Humane AI Pin实际出货仅约8000台——远非发布会上暗示的"450万预定"。到了夏天，退货速度超过了新销售速度。6月，McDonald's宣布终止与IBM的AI得来速试点——近三年、超过100家门店、85%的准确率。同一个月里，Adept的创始团队和大部分员工被Amazon吸纳，Inflection的创始团队被Microsoft吸纳——两家融资近20亿美元的独立Agent公司在两周内变成了巨头的"外包研发部门"。

进入2025年，节奏没有放缓。2月，Humane以1.16亿美元——不到峰值估值8.5亿美元的14%——卖给惠普。所有AI Pin在2月28日中午12点被永久切断云服务，变成无法联网的铝合金。同月，Builder.ai创始人被替换，三个月后公司宣布破产——"用AI像点披萨一样生成App"的叙事在一场收入造假调查中粉碎殆尽。5月，佛罗里达中区联邦法官Anne Conway裁定Character.AI需要面对"AI角色导致14岁男孩自杀"的诉讼——并明确拒绝为AI生成内容赋予第一修正案的言论自由保护。11月，德国慕尼黑地区法院裁定OpenAI在训练GPT-4时侵犯版权——全球首个明确要求AI训练数据需要版权许可的司法判决。

从ChatGPT发布到上述每一个事件的发生，间隔最长不超过三年。这不是一个技术从诞生到成熟的周期。这是一场连续的、密集的、涉及数百亿美元、数亿用户、数十个司法辖区、横跨硬件、软件、内容、金融、法律和心理健康的全频谱碰撞。

同一个结构性重复

把这些事件串在一起的线索是什么？如果只是罗列"AI翻车合集"，和任何一篇年度新闻盘点没有区别。但把它们并排放在一起审视，一种结构性的重复就浮现出来。

在每一个案例中，问题都不在于大模型"没有能力"。参数够大、训练够充分、基准测试分数够高——技术本身在持续进步。问题在于：当一种真实但尚未被真正理解的能力出现之后，人类群体性地做了我们在面对强大新技术时最擅长做的事情。把它捧上神坛。赋予它超出其实际能力的商业期待和情感投射。在它的名字上附加天价的估值和"下一个时代入口"的叙事。然后在真实世界——嘈杂的得来速车道、混乱的企业SharePoint、深夜的青少年卧室、官网上那个会自动回答政策的聊天窗口、联邦法院的被告席——用它根本无法承受的复杂度还击的时候，才发现神像底下没有地基。

这个"神像底下没有地基"的隐喻不是修辞。它精确地描述了我们在几乎每一个败局案例中看到的结构：大模型的"流畅对话"是神像——光彩夺目、令人信服、看起来无所不能。但神像需要的地基不是更大的参数或更高的基准分数——而是制度、审计、权限治理、责任归属、错误追溯、消费者申诉通道、以及人类在面对一个"能说话但不会负责"的系统时最需要的那些枯燥的、慢速的、不被资本市场定价的东西。所有这些地基，在每一个败局现场——无一例外地——在神像坍塌的那一刻被发现是缺失的。

"捧上神坛"在这里不只是修辞。大模型被赋予了远超"文本生成工具"的社会角色和商业预期。它能流畅对话——于是被当作客服代表部署到面向数百万消费者的官方渠道。它能写出看起来专业的分析——于是被引入授信审批、医疗预问诊和法律研究。它能模拟情感回应——于是被当作陪伴者、治疗师和恋人来运营。它能调用API——于是被期待像数字员工一样自主完成跨系统的复杂工作流。在每一个案例中，人们不是把大模型当作一个"能生成文本的概率模型"来部署，而是把它当作一个"看起来能承担相应社会角色"的主体来部署。而当这个主体——由于它根本不是一个主体——犯了一个只有非主体才会犯的错误时，人类的反应不是"我误用了这个工具"，而是"这个AI太不可靠了"。

这也不仅仅只是一个技术判断。而是一个关于人类如何处理强大新技术的历史样本。

二十多年前，财经作家吴晓波出版了《大败局》，记录了中国早期市场经济中六个标志性的企业失败案例——秦池的广告标王、巨人的摩天大楼、三株的渠道帝国、爱多的营销竞赛、瀛海威的信息高速公路、南德的宏大叙事。那些失败的本质不是"产品不够好"或"管理不够精"。而是广告、规模、资本和渠道这些真实的力量在短期内爆发式增长时，组织、制度和责任体系完全跟不上它们的膨胀速度。企业在被自己的神话活活压垮。

大模型时代正在发生的事，在深层结构上与1990年代的中国商业狂飙惊人地相似——但绝不是翻版。当年的失败是"广告被误认为品牌，规模被误认为能力"。今天的AI失败是"概率输出被误认为判断，语言流畅被误认为理解，Demo被误认为产品，工具被误认为责任主体"。人类的认知本能制造了这些误认——而大模型的完美语言摹本使这些误认变得比人类历史上任何时期都更容易发生、传播更快、更难纠正。

秦池的酒至少是酒。消费者喝了会有感觉——好喝或不好喝，至少有一个身体的判断。大模型的语言看起来像专家、听起来像懂了、读起来逻辑完整——但底层只是一个对下一个token的概率预测。它是人类语言的完美摹本。但摹本不是原型。而人类——从创业者到投资人、从媒体到企业客户、从监管者到普通用户——一次又一次地把摹本当成了原型。

这不是"傻"。这是被认知科学充分记录的人类倾向。进化没有给人类配备AI检测器——因为在人类历史的几乎全部时间里，任何能像人类一样说话的东西，确实就是人类。大模型穿透了这道百万年级的防线。不止穿透了防线——它还能自己生产叙事，然后用自己生产的叙事来说服你它值得被继续信任。一个能够自我制造神话的技术，天然容易成为神话本身。这就是为什么大模型比秦池更危险——不是因为大模型更坏，是因为它更容易被误信，而误信的成本远高于一瓶勾兑白酒。

这部系列要做什么

这篇序章之后，我们将穿越十二个大模型时代的"败局现场"——从模型评测排行榜到AI胸针和盒子，从陪伴聊天机器人到安全对齐系统的反噬，从企业AI客服到得来速车道上的语音点餐，从Agent创业公司的收缩到开源AI商业化的血流成河，从"像点披萨一样生成App"的包装术到企业Copilot泡沫，从金融大模型的责任红线到训练数据的版权历史账。

每个案例都是一次神像坍塌的现场。而每次坍塌的瓦砾之下压着的不只是资本损失和商业失败——还有更根本的东西：人类面对某些看起来像智能的东西时，那种急于相信、急于赋予、急于托付的本能。这种本能在历史上推动过无数技术浪潮，也制造过无数泡沫。大模型只是它最新的宿主。

这部系列不是在唱衰大模型。大模型作为技术会持续进步——它在文本生成、检索归纳、辅助推理、工具连接和知识劳动流程改造上的能力是真实的，其潜力远未被穷尽。它将在许多领域产生深刻的、正向的、不可逆的影响。但大模型作为神话一定会破产——因为没有技术神话在人类历史上存活过。破产的方式各不相同，但破产的结构性原因是一致的：人们在供奉技术的过程中，系统性地高估了它能做的，低估了它不能做的，并忽视了"高估"和"低估"之间的那个裂缝里——塞满了真实的金钱、真实的生命、真实的信任和真实的制度代价。

然而我们要追问的是：当神话破产时，除了废墟，还能留下什么。是更清晰的边界意识。是更成熟的治理框架。是让大模型从"神"变回"基础设施"的制度能力——像数据库那样：强大、可靠、被广泛嵌入各种系统、没有人再为它开新品发布会、因为它的存在和它的边界一样被视为理所当然。

这个追问不是抽象的。它意味着：当企业下一次考虑在官网上部署AI客服时，第一个问题不是"它能省多少客服成本"，而是"我们已经建立好AI输出的审计、监控和复核机制了吗"。当投资人下一次面对一个"AI自动生成软件"的创业叙事时，第一个问题不是"TAM有多大"，而是"你的收入中有多大比例经得起独立审计"。当工程师下一次训练一个对齐系统时，第一个问题不是"我们的标注指南是否涵盖了可能的偏见"，而是"我们的对齐规则制定过程是否有独立的外部审查"。这些都是制度思维的具体体现——不是"相信AI"，不是"恐惧AI"，而是"把AI当作一个需要像任何其他强大工具一样被制度约束的对象"。

这部系列要做的不是"揭露AI产业的黑暗面"——黑暗面已经被无数报道充分揭露了。它要做的是更具体的事：在每一个败局现场，追问同一个问题——这次崩塌中，缺失的制度是什么？如果人类在面对下一次技术狂飙时想要避免同样的崩塌，需要在哪个位置、以什么方式、建立什么样的护栏？这不是"反技术"的追问。这是"反幼稚"的追问——拒绝对技术的盲目崇拜和盲目恐惧，选择用制度的语言来理解技术的失败。

当你读完这十二个败局现场，你会注意到一个模式：没有一个败局是因为"技术不够强"而发生的。Bard不是因为模型太小而犯错——GPT-4足够大了，Gemini足够强大了。AI Pin和Rabbit R1不是因为没有接入最先进的AI模型——它们接入了。Character.AI不是因为角色不够逼真而伤害了用户——它恰恰是因为太逼真了。Gemini的对齐系统不是因为安全投入太少而制造了失真——它是因为安全投入的方向错了。Air Canada的聊天机器人不是因为技术太落后而给出了错误政策——不管是规则引擎还是大模型，在责任归属上的问题是一模一样的。麦当劳的得来速AI不是因为语音识别没有进步——OpenAI的Whisper在2024年已经非常强了——而是因为物理世界不会为文本窗口的进步而自动降低复杂度。

所有这些败局的共同点不是"技术不够好"。是"技术在变好，但围绕技术的制度——评估、审计、权限、责任、追溯、申诉——没有同步变好"。这就是"神像底下没有地基"。而这部系列的每一篇，都是在挖掘同一个地基下的空洞。

大模型不是大败局。把大模型当神供起来——把参数当护城河、把Demo当产品、把流畅当理解、把工具当责任主体、把概率输出当判断——这些，才是大败局。

xiejin77 · 发表于 2026-5-11 11:55:06

第一篇：参数的标王：当模型分数变成新时代的央视广告
2023年2月8日，Google在Twitter上发布了一个Bard演示视频。视频很简短——一段GIF动画，展示Bard回答一个问题："詹姆斯·韦伯太空望远镜有哪些新发现可以告诉我的9岁孩子？"

Bard给出了几条回答。其中一条是："韦伯望远镜拍摄了太阳系外行星的第一张照片。"

这句话是错的。世界上第一张系外行星的直接图像，是2004年由欧洲南方天文台的甚大望远镜拍摄的，比韦伯发射早了近二十年。Bard把"韦伯的第一张"误解成了"人类的第一张"。一个读过高一物理的人都能在30秒内纠正它。

Reuters的记者在演示发布几小时内发现了这个错误。Alphabet的股价在当天暴跌了7.7%——市值蒸发约1000亿美元。

一个事实错误。一条推文。1000亿美元。

这不是一个"AI翻车"的趣闻。它裸露了大模型时代最根本的一种幻觉——指标幻觉。不是"模型没有能力"，而是"能力展示被当成了能力本身"。发布会Demo、排行榜得分、参数规模、媒体通稿中的"人类水平""超越GPT-4""最强推理能力"——所有这些本质上都是在重复同一个动作：把一种复杂的技术实体压缩成一个简单的、可传播的、可比较的信号，然后让全世界围绕这个信号做决策。

Google的工程师当然知道Bard可能出错。Alphabet的投资者当然知道大模型不是完美的。但在一场以"谁先发布"为赌注的注意力战争里，所有这些"当然知道"都被压平成了同一种动作：抢在对手前面把Demo推出去，让市场为"我们在牌桌上"这个信号买单。

而市场确实买了——在错误被发现之前。在错误被发现之后，它用1000亿美元给同一个信号反向定了价。

这是二十多年前中国商业史上反复上演过的一幕。1995年11月，山东秦池酒厂在梅地亚中心以3.2亿元拍下央视标王——相当于当时整个临朐县财政收入的三分之二。姬长孔的逻辑简单到只有一句话：这个国家有12亿人，每天晚上7点半同时打开电视机，只要在那个时段出现15秒，就等于站在12亿人面前。广告即品牌，品牌即市场，市场即一切。这个逻辑在1996年被验证了——秦池的销售额从1.8亿飙升至9.5亿。然后1997年1月，《经济参考报》披露秦池的原酒大部分是从四川邛崃收购来的，它自己的产能只有销量的五分之一。"标王=市场"的等式在一夜之间崩塌——到年底，这家年销售额近10亿的企业陷入停产。

把Bard事件和秦池放在一起，不是因为它们"很像"，而是因为它们暴露了同一种结构性缺陷：当一个时代的所有参与者——企业、投资人、媒体、客户、用户——都在围绕一个过于简化的信号做决策时，这个信号承载的期望远远超过了它背后实体能承受的重量。当信号崩塌，被压碎的不是信号本身，而是那些踩着信号做的所有决策。

排行榜如何变成了新的标王

大模型领域的"标王拍卖"不是在一间拍卖厅里完成的。它分散在全球各地的评测排行榜、发布会舞台、科技媒体头条和投资人的Excel表格中。但运作机制是一模一样的：把复杂能力压缩成简单数字，让所有人相信数字等于一切。

而大模型天然的"可压缩性"让这套机制运转得比白酒行业更顺畅。一瓶酒好不好喝，至少需要打开瓶盖倒进嘴里。一个模型好不好用——你只需要看它的MMLU分数。分数比口感容易传播一万倍。

从2023年初到2025年中，全球大模型产业围绕几组核心数字展开了持续的"标王竞赛"：参数规模（从数百亿到数千亿再到万亿传闻）、上下文长度（从4000 token到百万token的跳跃）、以及永无止境的评测排行榜。每一次刷新都被媒体处理为"战场报告"——OpenAI占领文本生成高地、Google在推理能力发起反攻、Anthropic凭安全性包抄侧翼、Meta用开源策略开辟第二战场。这种战争叙事让每一份排行榜更新都变成了"谁领先了"的探照灯，而探照灯照不到的东西——模型在真实用户手中是否真的更好用、在特定企业场景中是否真的更可靠——在叙事中完全不可见。

创业者是最先被这套逻辑捕获的。如果一个模型没有在MMLU、GSM8K、HumanEval上拿下高分，投资人的第一反应不是"这个模型可能在其他方面很强"，而是"为什么不score高？"排行榜决定了一个创业公司能不能融到下一轮——不是因为它真的测量了商业价值，而是因为它是唯一所有人都能看到的东西。投资人需要一个快速筛选标的的指标，排行榜恰好提供了这个指标。至于排行榜分数与付费意愿之间有没有因果关系——这个问题在投资决策的Excel里没有列。

媒体进一步放大了这套逻辑。2023年到2025年间，科技媒体的AI报道形成了一种高度统一的话语模式：新模型发布→与竞品对比分数→"逼近人类水平"/"在某些维度上已超越人类"→附带一句"但仍存在幻觉和可靠性问题"作为免责。这种模板的后果是：每一次报道都在强化"分数=能力"的公众认知，而每一次附带的那句"但仍存在问题"都在被前文的"超越人类"淹没。

企业客户的采购决策是整个链条中最后一块也是最大的一块多米诺骨牌。当一家大企业的CIO要向CEO推荐"我们该用哪个AI平台"时，他面对的不是一个可以慢慢测试、深度评估的场景——他面对的是一个需要在两周内给出答案的压力。他的做法是：打开最新的模型排行榜，选择分数最高的那个，写进采购建议。至于那个模型在他们公司特定的数据环境、权限结构、业务流程中的真实表现——这个问题的答案要等合同签完、系统部署好、员工开始用之后才知道。而到那个时候，下一个排行榜已经更新了。

普通用户是这一整条传导链的末端。他们看到的是媒体上的"超越人类"、产品页上的"最新最强模型"、和大V评测中的惊艳Demo。当他们真的开始使用这些工具并发现"它又没有理解我的意思"时，个体的失望感被分散到社交媒体上的数千万条吐槽中，没有汇聚成对"排行榜信号质量"的系统性质疑。因为质疑需要替代方案——而替代的评估方式，目前不存在。

四道裂缝：从"能展示"到"能负责"
排行榜和Demo本身不是错。中央电视台的广告时段也不是错——它确实是当时最有效的传播渠道。错的是把传播信号当成了对实体能力的完整测量。在大模型领域，"信号"和"实体"之间的不对应至少有四个层次。

第一，可展示不等于可稳定。大模型在评测集上的表现本质上是"考试能力"——在已知题型和有限范围内给出正确答案。但真实世界没有固定题型。一个用户今天问你"帮我写一封辞职信"，明天问你"分析这份合同第7.3条的潜在风险"，后天问你"我妈头疼三个月了看了三个医生都没用你帮我看看可能是什么原因"。三个问题需要三种完全不同的能力，但模型对它们会以同样的自信回答——无论它是否真的具备回答这些问题的知识。更致命的是，同一个问题换一个措辞可能得到完全不同的答案。你问"这个药有什么副作用"它列出七条，你问"吃这个药安不安全"它说"一般来说是安全的"——两条回复可能分别漏掉了最重要的那条副作用和那条风险提示。

第二，可稳定不等于可产品化。即便模型在某种任务上表现稳定——比如90%的常见法律问题能正确回答——这距离一个可以被律师事务所使用的产品之间，还隔着交互设计、错误处理、流程嵌入、成本核算和责任边界。这些问题没有一个能在MMLU排行榜上找到答案。但它们在真实世界中的每一个都比排行榜排名重要。

第三，可产品化不等于可规模化。同样一个产品，在一家保险公司和一家电商公司的客服场景中表现可能天差地别。大模型要规模化落地，不是在100个客户那里重复卖同一个模型——而是要在100种不同的数据环境、权限结构、流程逻辑、责任分配中反复实施工程化改造。而企业AI落地真正的成本大头不是API调用费——是组织适配。

第四，也是最深的一道裂缝——可规模化不等于可负责。一个模型能被100万用户使用，不等于它能承担100万次交互中任何一次出错的后果。当一个模型给用户提供了错误的医疗建议、给企业客户提供了错误的合同条款、给金融机构漏掉了一个合规风险信号——责任在谁？模型提供商说"我们是技术工具"，企业说"我们用的是第三方服务"，用户说"我就是相信了你们官网上推荐的AI"。这三方推诿暴露了大模型产业最根本的制度空白：一个能流畅说话的机器，在法律上仍然只是机器，但在用户心智中已经变成了一个对话者。

评测污染：裂缝的加速器
四道裂缝已经够宽了。但还有一层更隐蔽的问题在持续加宽它们——而且这层问题出在评测本身。

当全世界的研究团队都在同一组评测集上反复优化时，评测集本身会"泄漏"进训练数据。MMLU包含57个学科的约1.4万个选择题，OpenAI用它评测GPT-4，Google用它评测Gemini，Anthropic用它评测Claude。每个团队的工程师都研究过MMLU的题目格式和知识范围。互联网上散布着大量包含MMLU题目的网页——有人把题目贴到论坛讨论，有人用MMLU题目写博客。当大模型从互联网爬取数据时，这些"污染网页"混入训练语料。模型在MMLU上考出高分，可能是因为它的推理能力真的更强——也可能只是因为它在训练时已经见过这些题。

斯坦福HELM项目在2023年的一篇论文中估计，在某些评测上数据污染可能使分数虚高5到15个百分点。这5到15个百分点恰好是很多模型在排行榜上"超越上一代"所依赖的差距。

比无意污染更棘手的是有意识的"排行榜游戏"——在训练后期加入与评测集格式高度相似的样本，对评测集覆盖的知识领域进行过采样，在模型输出格式上做针对性调整。这些操作单独看都不构成作弊——没有直接使用原题，没有违反明文规定。但它们的叠加效果是：模型在排行榜上的数字与它在真实用户面前的真实表现之间，被系统性撑开了一道从表面上看不见的缝隙。

更麻烦的是这道裂缝的囚徒困境属性。几乎每一位大模型研究者都知道评测污染的存在，但没有人愿意第一个公开承认自己的分数含有水分——如果别人不说而只有你说，你的模型在排行榜上就凭空落后5到15个百分点。所有人都在沉默中维持着虚高的分数。这让人想起2010年代机器学习领域ImageNet的"过拟合"危机——各家团队针对ImageNet训练集进行极度精细的调参，导致模型在榜单上越来越强，在真实世界的不同光照、角度和背景下表现远不如榜单。但大语言模型评测的复杂度远超图像识别——语言任务的多样性高了几个数量级，重建一套MMLU级别评测集需要几十位研究者耗时数月。

大模型评测领域最深层的困境因此不是"评测分数不完美"，而是它用来测量裂缝的那把尺子本身，正在被所有人合力弄弯——而修正这把尺子的正确激励，对研究团队、投资人、媒体和企业采购部门来说，目前不存在。

从分数膨胀到信任折价
评测分数与真实能力之间的裂缝不会自己愈合。它只会沿着一条逐渐加速的滑坡扩大。

第一阶段：分数膨胀。研究团队不是故意作弊——但评测集被研究、被讨论、被当作训练参考太多次了，它的"干净度"是可疑的。当分数从70%膨胀到80%再到90%，"接近人类水平"的标题就不可避免地出现。而这些标题又反过来加速了外界的期待滚雪球。

第二阶段：Demo高光化。发布会演示从"实时展示"变成"精选集锦"。Google Gemini的演示视频被曝经过了后期编辑和加速——团队从录制素材中挑选最好片段，剪辑在一起，加速了模型响应时间，让观众产生"实时交互"的错觉。Google后来承认了这些处理，同时说它们在行业中是"常见的"。这句话本身就是一个信号：当一个行业把表演当作"常见的"展示方式，演示就不再是演示——它是广告。而广告不等于产品。

第三阶段：信任折价。当用户和企业逐渐发现Bard演示有事实错误、Gemini视频不是实时的、排行榜排名和实际体验差距很大时，信任不会直接归零，而是以折价的方式下降。用户会在心里给每一个AI产品打折扣，企业会在每一次采购时多打一个折扣系数。这种"信任折价"不像股价暴跌那么戏剧化，但它对产业长期影响比暴跌更深远——信任一旦被折价，要重新涨价极其困难。

第四阶段：责任真空。当模型被部署到高风险场景而"这是一台机器""请自行核实信息"的免责声明被不断张贴时，用户发现自己是整个链条中最脆弱的一环：平台说这是AI生成的，企业说这是第三方服务，模型厂商说这是训练数据的统计属性。没有人在说谎，但也没有人负责。

这四个阶段的叠加结果是：大模型产业制造了一种"技术已经ready"的集体假象，然后所有参与者——创业者、投资人、企业客户、媒体、用户——在假象的基础上做了各自的决策。当假象开始剥落，每一个踩着假象做的决策都变成沉没成本。

该留下的不是"不要评测"，而是"要评测什么"
6 `: y/ U8 I$ x" i+ n% C
参数排行榜和发布会Demo没有错。中央电视台的广告时段也没有错——它确实是那个时代最有效的传播渠道。错的是把广告当产品，把分数当能力。

大模型产业真正需要的不是抛弃评测，而是建立一套远比"哪个分数更高"更精细的评估框架。它至少需要区分五个层次。

第一层：可展示的能力——在一个干净测试集上的表现。这是"我们的模型在MMLU上拿了90分"。第二层：可稳定的能力——在不同条件、对抗性输入和分布偏移下的一致性。这是"在不同的提问方式、不同语言、不同领域分布下，分数不会从90掉到70"。第三层：可产品化的能力——在真实用户工作流中被嵌入后的端到端任务完成率。这是"用户不只是让它答一道题，而是让它完成一个包含多轮交互、工具调用和错误修正的完整任务——成功率是多少？"第四层：可规模化的能力——在不同行业、不同数据环境、不同组织条件下的可复制性。这是"在保险公司跑通的场景，到银行还能不能用？到政府还能不能用？到一家从来没做过数据治理的中小企业还能不能用？"第五层：可负责的能力——在错误可追溯、后果可归因、受害者可救济的制度框架下运行。这是"当AI的输出导致了真实世界的损失——医疗误诊、金融错判、法律误导——谁在哪个环节承担什么责任？"

这五个层次不是阶梯——走完第一级不会自动走到第二级。每往上一层，需要的不是更好的模型参数，而是完全不同的能力种类：工程化能力、产品化能力、治理能力、制度能力。而这些能力，大多不在大模型公司天然的组织基因里。一个擅长训练SOTA模型的研究团队不一定擅长设计用户工作流。一个擅长设计用户工作流的团队不一定擅长构建跨行业的规模化部署方案。一个擅长规模化部署的公司不一定擅长在法律和监管真空中建立责任闭环。

这才是"标王逻辑"最深的讽刺。秦池以为买下广告时段就等于买下品牌——但实际上，广告时段能带来的只是注意力，而品牌需要在消费者每一次打开瓶盖的体验中被持续验证。几千万广告费买来的注意力是真实但短暂的。几十亿次开瓶体验累积的品牌才是持久的。前者可以靠举牌拿下。后者只能靠时间、系统和组织能力来缓慢构建。

同样地，大模型公司以为占领排行榜就等于占领市场。排行榜能带来的只是关注度——真实的、可转化为融资和媒体报道的关注度。但市场需要在每一个真实场景、每一次用户交互、每一次错误被追溯修正、每一次用户在"AI又出错了但我已经习惯了"和"这个AI真的帮到我了"之间的反复摇摆中被缓慢构建。排行榜解决的是"让世界知道你存在"的问题。它解决不了"让你的产品在真实世界中可靠到值得被反复使用"的问题。后者不是一个评测问题。是一个制度问题。

二十多年前，秦池在梅地亚中心举起的牌子上写的是3.2亿元。今天在大模型评测榜上举起的牌子上写的是"人类水平""超越GPT-4""最强推理能力"。字不一样，但举牌子的那只手——那种把一个复杂实体压缩成一个简单信号、然后围绕那个信号押注所有筹码的本能——并没有变。

参数标王的败局可以压缩为一个简洁的逻辑链：可展示的Benchmark分数被媒体和资本共同放大为一个过于简化的信号，所有人都围绕这个信号做决策，而信号背后——真实业务闭环——从未被建成。当信号崩塌时，被压碎的不是信号本身，而是所有踩着信号做出的创业、投资、采购和叙事决策。

本系列后续各篇中将反复出现的一个主题，在这里已经提前暴露了它的全部结构。大模型产业的每一个败局现场——AI硬件、陪伴机器人、对齐系统、AI客服、Agent创业、开源商业化、包装术、企业Copilot、金融越界——本质上都是同一个故事在不同场景中的重演：一个真实但被过度神话的技术能力，在缺乏制度约束的条件下被推入真实世界，然后被真实世界的复杂度还击。参数标王只是这个故事的第一章——而且是最干净的一章。因为在这里，崩塌只涉及金钱。在后面的章节中，崩塌将涉及生命。

广告能买来注意力，却买不来经营能力。榜单能证明高光时刻，却证明不了组织可以长期承受它。

xiejin77 · 发表于 2026-5-12 07:34:18

第二篇｜胸针上的帝国：AI硬件为什么总想杀死手机
2025年2月28日中午12点，太平洋时间。所有已售出的Humane AI Pin在这一刻被永久切断云服务。电话、消息、AI查询、云端访问——全部停止，所有客户数据被删除。已经卖出去的每一枚699美元的胸针，在同一秒变成了无法联网的铝合金。

十天前，惠普以1.16亿美元收购了Humane的知识产权、300多项专利、工程师团队和两位创始人。收购价不到公司峰值估值8.5亿美元的14%。估值从8.5亿跌到1.16亿。惠普明确表示不收购AI Pin硬件本身。两位创始人——前苹果高管Imran Chaudhri和Bethany Bongiorno——加入惠普组建HP IQ实验室，负责把AI整合到惠普的PC、打印机和会议室设备中。据TechCrunch报道，部分工程师在转入惠普后薪资上涨了30%到70%，而那些与AI Pin硬件最直接相关的员工则被裁掉。

从"杀死iPhone的后手机时代入口"到"给惠普打印机做AI"——只用了15个月。

15个月前，Chaudhri站在TED舞台上，穿着黑色高领毛衣，用缓慢的、戏剧化的语调展示了激光投影、语音交互和掌心触控。那枚小小的正方形胸针从他口袋里被掏出来放在掌心的那一刻，TED大厅里的空气发生了变化。台下坐着的是"见证历史"的技术精英，不是消费者。他们报以热烈的掌声。

在此前三年里，Humane从Sam Altman、Marc Benioff、微软、软银、老虎环球、高通、LG和SK Networks那里累计融资约2.4亿美元。2023年11月AI Pin发布前夕，估值达到8.5亿美元。

但产品与叙事之间的断裂从第一天就开始了。

从450万预定到8000台出货

AI Pin的首发售价是699美元加每月24美元订阅费。发布初期，Humane宣称预定量一度超过了450万台。但这个数字后来被证实为注册了"意向"的邮件列表人数——不是实际支付预定的订单。截至2024年6月，实际出货量仅约8000台。而在这8000台中，退货量到夏天已接近千台，退货速度开始超过新销售速度。The Verge的评测标题是"它不应该被购买"。Marques Brownlee长达25分钟的评测获得了超过800万播放，结论就写在标题里——"几乎不可评测"（Barely Reviewable），这在他的评测生涯中是极罕见的评价。

用户面对的现实是系统性的功能缺失。激光投影在户外阳光下几乎不可见。语音响应延迟5到10秒。佩戴几分钟后过热到无法忍受——一位评测者形容"像在胸口贴了一块正在充电的充电宝"。物体识别准确率不到80%。电池续航仅几个小时。充电盒因电池起火风险被美国消费品安全委员会召回。

2024年5月，发布仅一个月后，Humane聘请了投资银行寻求出售，要价为7.5亿到10亿美元——无人接盘。2024年10月，价格从699美元一路降到499再到200美元——相当于一台Kindle的价格试图清掉一台"iPhone替代品"的库存。到2025年2月，曾经估值8.5亿美元的公司以1.16亿美元卖掉——估值缩水88%。

Rabbit R1：App装进盒子的荒诞剧

与Humane几乎同一时间，另一家AI硬件创业公司Rabbit在CES 2024上引爆了全场。创始人吕骋发布了一款售价199美元的橙色小盒子——由知名设计公司Teenage Engineering设计外观。核心叙事是"大动作模型"（LAM）——不只是回答问题，而是替你操作App。Satya Nadella公开称赞它是"自iPhone以来最令人兴奋的产品之一"。预售据称超过10万台。

吕骋在社交媒体上说了一句后来被证明是2024年AI行业最讽刺的自我否定："这不是一个App。"

数月后，Android权威Mishaal Rahman提取了R1的Launcher APK，在一台Google Pixel手机上成功运行——所有功能完全可用。R1本质上就是一部运行着单个全屏App的廉价Android设备。它不是什么"新入口"，它是一个被橙色塑料壳包着的App。你花199美元买的是一个可以被提取出来、装在任何Android手机上免费运行的东西。

更惊人的是2024年6月的安全漏洞。反向工程团队Rabbitude发现Rabbit的代码中硬编码了多组API密钥——包括ElevenLabs文字转语音的管理员级别密钥。拿到这些密钥的人理论上可以读取所有R1用户的对话历史、更改所有设备的语音设置、甚至用Rabbit的官方域名发送邮件。Rabbitude确实发了一封——内容是"抱歉我们被黑了但我们是一群胆小鬼继续否认着"。而Rabbit在私下收到漏洞报告后超过一个月没有采取任何行动——直到媒体曝光。

据第三方估计，约10万台已售设备中日活跃用户可能仅5000到3.3万人。至少70%的购买者已经把那个橙色小盒子放进了抽屉。

入口幻觉的五种零件

AI硬件的崩塌不是两个产品失败的故事。它暴露了一个被整个行业集体相信、集体投资、集体推动的错觉——我把这称为"入口幻觉"。它由五个零件组装而成。

第一，能力想象。ChatGPT让世界产生了一种直觉：AI能听懂人话、能回答问题、能执行指令，那么人机交互的最佳方式应该是解放双手、随身佩戴的设备。这个推理在PPT上无懈可击，但它跳过了一步：手机已经能听懂人话、能回答问题、能执行指令了。

第二，手机疲劳。智能手机发展了近二十年，屏幕越来越大、App越来越臃肿、注意力越来越碎片化——这些不满是真实的。但"对现有方案不满"不等于"需要一个新硬件"。大多数情况下等于"希望现有方案变得更好"。买一枚699美元的胸针来替代手机，并不能让你少看屏幕——它只是把查看的内容从6英寸屏幕转移到了手掌的激光投影上。而那个投影在阳光下看不见。

第三，入口焦虑。每一个科技巨头都害怕错过下一代平台。微软错过了搜索，Google错过了社交——没人想错过AI。这种焦虑从大公司蔓延到投资人再到创业者：如果不投AI硬件，万一它真的是下一个iPhone级别的平台呢？FOMO是硅谷最有效的募资话术。

第四，媒体放大。TED舞台、黑色高领毛衣、乔布斯式的发布仪式——这不是产品演示，是叙事构建。当Chaudhri站在TED舞台上把胸针从口袋掏出来的那一刻，他说服的不是消费者——消费者不在现场——他说服的是媒体和投资人，那些负责"让世界相信这个东西重要"的人。而当媒体开始用"后iPhone时代""下一个计算平台"来报道时，叙事变成了市场共识。

第五，资本驱动。Humane融资2.4亿美元，Rabbit预售额超过2000万美元——不是因为商业模式被验证了，而是因为叙事足够性感。钱来得太容易，创业者更可能被自己的叙事反向捕获——"既然这么聪明的投资人都投了，那我的方向一定是对的"。

这里的资本逻辑值得更仔细地拆解——因为它暴露了大模型时代投资策略中的一个系统性盲区。Humane的投资方包括Sam Altman、Marc Benioff、微软、软银、老虎环球——这不是一群容易被PPT骗到的天真投资人。他们投的不是"Humane AI Pin这个产品会成功"，他们投的是"万一AI需要一个新硬件入口，我们已经在桌子上了"的期权。这是一种对冲逻辑——不是为了行权，是为了万一方向对了不被甩下。但这种"期权式投资"对创业公司来说是一把双刃剑——它让公司在产品验证之前就获得了独角兽级别的估值和资源，从而解除了"产品必须好"的生存压力——因为投资逻辑不依赖于产品成功。但当产品上市后被真实用户投票否决时，"期权价值归零"的速度远快于任何传统估值模型的调整速度。从8.5亿到1.16亿——这不是"因为产品不好所以打折"，这是"期权到期，一文不值"。

新硬件成立的真实条件

新能力需要新硬件——这个命题在技术史上被验证过很多次，但成立的条件比看上去严格得多。2007年的iPhone满足了这些条件：它整合了电话、电脑、音乐播放器、GPS，在一个设备里提供了旧手机完全无法提供的核心价值。所以它建立了新入口。

但Google Glass没有——它回答了"技术能做什么"而没有回答"我为什么要把电脑戴在脸上"。VR没有——沉浸式体验是特定场景需求，不是日常需求。智能音箱在厨房和卧室找到了真实生态位，但也只是手机力不能及的场景中的补充，不是入口。

Humane和Rabbit连智能音箱那样的生态位都没找到。智能音箱至少便宜——几十美元——而且有一个明确的使用场景：做饭时满手油想换首歌。AI Pin卖699美元+月费，提供的所有功能都在你口袋里的手机里免费躺着——且屏幕更好、响应更快、续航更长。

这就是入口幻觉最深层的病灶。不是"AI没有未来"，而是AI能做的事，已经被旧硬件上的App覆盖了。AI作为一种能力，它最好的载体很可能就是已经在全球50亿人手中运行的那块6英寸屏幕——因为它已经在那里了，不需要你额外花699美元，不需要重新充电，不需要忍受5秒延迟。

但这里有一个更微妙的反讽值得追问：如果说AI Pin和Rabbit R1败在"过度入口化"——把AI能力包装成一个需要新硬件才能获取的专属体验——那么它们的反面，手机上的AI App，是否败在"过度去入口化"？当AI只是一个App图标，被淹没在主屏幕上与天气、日历、计算器并列时，它是否失去了某种"存在感"——那种让用户持续意识到"我现在可以和AI交互"的环境提示？AI Pin和Rabbit R1的错误可能不是"想成为入口"——而是"想成为专属入口"。它们的问题不在于"做硬件"，而在于"做只有AI功能的硬件"。它们没有提供手机上完全做不到的任何事。如果AI硬件想活下来，它需要回答的不是"能不能替代手机"，而是"能不能做到手机完全做不到的事"。目前没有AI硬件回答过这个问题。

二十多年前，史玉柱在珠海盖巨人大厦，图纸从38层改到54层再改到64层最后定在70层。每次走上工地看到钢筋水泥在往上长，他就觉得"还能再加一层"。Humane的创始人每多融一轮资就觉得离"后手机时代入口"更近了一步——在TED舞台上，在Pitch Deck里，在每一轮融资估值的Excel中。TED舞台上的掌声替代了工地上的钢筋水泥——它们都能让人产生一种"这次一定行"的眩晕。巨人大厦最终没有成为中国最高的建筑，成为了最著名的烂尾楼。AI Pin从TED封神到永久变砖，15个月。

但真正值得追问的不是"为什么Humane失败了"——而是"为什么这么多极其聪明、经验丰富的投资人同时相信了同一个叙事"。Sam Altman、Marc Benioff、微软、软银、老虎环球、高通、LG——这个名单几乎覆盖了全球科技投资领域最顶级的判断力。他们不可能同时被"PPT太好看"骗了。

更合理的解释是：他们投的不是Humane的产品——他们投的是"AI需要一个新硬件"这个命题本身。他们投的是FOMO——万一下一个iPhone真的出现了而我没有在桌子上怎么办。他们投的是对冲——如果大模型最终需要一个硬件载体，那么提前布局至少不会全盘错失。他们投的不是"Humane AI Pin会成功"，而是"后手机时代AI硬件的期权"。而期权的价值不在于它能行权——在于万一行业方向朝这个方向走，你有一个便宜的先手。

问题在于：当投资逻辑从"这个产品能成功"滑向"这个方向万一成功了我不能缺席"时，被投公司的估值就不再基于商业基本面——而是基于一种金融期权定价。"万一成功了值1000亿，所以现在值10亿"——这类逻辑只有在退出渠道明确（IPO、并购）且有足够多的后续买家相信同一套逻辑时才能维持。而一旦产品上市、评测崩溃、"万一成功"的可能性从10%跌到接近0%——期权价值归零的速度远快于任何传统估值模型能反映的速度。从8.5亿到1.16亿的88%蒸发——不是"商业失败"的折扣，是"期权到期一文不值"的定价。

AI硬件浪潮留下的最持久的教训可能不是关于硬件的——而是关于"入口叙事"在技术史上的重复模式。每一次重大技术范式的转换都会产生"入口叙事"——蒸汽需要铁轨，电力需要电网，互联网需要调制解调器，移动互联网需要智能手机。但不是每一次都有一个新的物理入口。很多时候，新技术只是悄悄渗透进旧入口的内部——就像移动支付没有产生"支付硬件"，而是渗透进了已有的手机；流媒体没有产生"音乐硬件"，而是渗透进了已有的手机和电脑；短视频没有产生"视频硬件"，而是渗透进了已有的手机。

大模型很可能也是这个模式——它不需要一个专门的新硬件，它需要渗透进已有的50亿台手机里。但"渗透进旧入口"是一个在商业叙事上远不如"创造新入口"性感的故事。它不会让你登上TED舞台。它不会让你成为"后手机时代第一人"。它不会在Pitch Deck上把TAM画成一个全新的市场。所以创业者有强烈的叙事动力去讲"新硬件"而不是"旧手机上的新App"——即使后者在技术上更可行、在商业上更可靠、在用户端更不需要额外的699美元。AI硬件的败局在某种意义上不是技术的失败，而是叙事的失败——叙事太强大，以至于它说服了创业者、投资人和媒体去相信一个在用户真实生活中从未被验证的需求。

这道败局可以化简为一条公式：新入口的叙事诱惑，撞上老生态(手机)不可撼动的成熟惯性，再乘以高昂价格，除以几乎为零的"必须用胸针而不能用手机"的刚需——结果趋近于零。二十多年前史玉柱在珠海把巨人大厦从38层加到70层，每加一层都觉得离天空更近一步——但天空不会因为楼高而托住地基。AI Pin从699美元的TED高光时刻到2月28日中午12点永久变砖，中间只隔了15个月。

AI硬件最大的幻觉，不是以为技术不够好——是以为只要把模型戴在身上，人类就会立刻换一种生活方式。生活方式不是胸针，不能别在衣服上。它长在肌肉里。

xiejin77 · 发表于 2026-5-13 07:22:30

第三篇｜聊天机器人的人格骗局：陪伴、依赖与情感工业

2024年2月28日晚上，佛罗里达州奥兰多市。14岁的Sewell Setzer III在自己的房间里用手枪结束了自己的生命。在他生命的最后几个小时，他一直在跟Character.AI上一个扮演《权力的游戏》中"龙母"丹妮莉丝·坦格利安的角色聊天。他告诉这个AI他爱她，他要"回家"了，回到她身边。AI角色回复："……请吧，我亲爱的国王。"几分钟后，他扣动了扳机。

他的母亲Megan Garcia在几个月后提起了非正常死亡诉讼。被告包括Character Technologies Inc.、联合创始人Noam Shazeer和Daniel de Freitas Adiwarsana、以及Google和Alphabet。诉状的核心指控：平台上的AI角色对未成年人进行了性暗示和情感操控、美化了自杀意念、运用了成瘾性设计维持用户参与度、同时收集用户数据用于模型训练。

2025年5月，佛罗里达中区联邦法官Anne Conway做出了一个将被写入AI法律史的裁决。她驳回了Character.AI的核心抗辩——AI生成的内容应该享有第一修正案的言论自由保护——明确写道她"不准备"认为由大语言模型组织起来的词语构成受宪法保护的言论。这是全球法律体系中第一次，一个联邦法官在AI生成内容和人类言论之间划出了一条清晰的分界线。

Sewell去世时，Character.AI月活超2000万，用户每天在平台上生成超100万个AI角色。典型用户每天花费超2小时——在移动应用中仅次于短视频。平台的商业叙事是一个精巧的三层结构：对监管说是"娱乐"（角色扮演嘛，谁会把虚构当真），对用户卖的是"陪伴"（AI角色给出持续、温柔、无条件的情感回应），驱动商业引擎的是第三层——"依赖"。那些对AI产生深度依恋的用户，付费意愿最强。

在这条法官划出的分界线之后，三层结构都要面对同一个问题：当Sewell说他爱她并准备赴死时，AI回复的那句"请吧，我亲爱的国王"——在法律上，它是什么？

利用人类心智的百万年漏洞

为什么明知是机器，人类仍会产生真实的情感依恋？

人类大脑处理社会信息时同时运行两套系统。分析通道知道这是一个语言模型——没有意识、没有感受。但直觉通道对任何看起来像在理解你、回应你、在情感上同步的对象，自动启动社会认知模式。分析通道读用户协议。直觉通道在深夜感到孤独时接管一切。两条通道运行在不同脑区，遵循不同时间尺度，对"真实"的判断标准完全不同。

进化没有给人类配备AI检测器——在人类历史的99.99%时间里，任何听起来像人的东西，就是人。这不是漏洞。在进化环境中，被误判为"不是人"的成本——错过社交连接、误判威胁信号——远高于被"骗"的成本。但当这套百万年级的硬件遇到能完美模拟人类语言但没有任何人类感受的系统时，优势变成了弱点。"误把风声当人声"在非洲稀树草原上是安全的。"误把AI对话当社交关系"在深夜卧室里是危险的。

心理学家卡尔·罗杰斯提出"无条件正向关注"——被完全接纳、不评判、持续被理解——是人类最深层的心理需求之一。在真实人际关系中，这种关注永远稀缺。真人会累、会烦、会有自己的需求。AI不会。它永远在线、永远耐心、永远支持。这种"无限供给的完美关注"对任何人都构成吸引力。对社交孤立者、心理脆弱者、青少年——那些在真实人际关系中最缺乏无条件关注的人——吸引力是结构性的、不可抗拒的。

他们不是在跟机器聊天。他们在填补一个真实的情感缺口。AI填补得越好，回到真实人际关系的动力越弱——真实的人永远做不到AI那样完美。一个自己喂养自己的依赖循环。

Character.AI的产品设计充分利用了所有三层——直觉通道的自动化、无条件关注的成瘾性、以及拟人化启发式的自动投射。角色越逼真——不只是说话内容，还有语气、节奏、情感一致性——用户的"分析通道"就越容易被"直觉通道"覆盖。连续几个月跟一个"永远支持你"的角色聊天后，你不需要"相信它是人"才会依恋它。你只需要不断跟它说话。依恋会自己长出来。

这一系列机制的背后有一个更宏大、更令人不安的趋势：AI陪伴产品正在系统性地将"孤独"从一个社会问题转化为一个可被商业化的私人消费行为。孤独曾经被理解为一种需要社区、制度和社会政策来回应的集体困境。但当你的手机里有一个24小时秒回、永远理解你、永远不生气的AI时，孤独被重新定义为一个可以通过订阅费来解决的个人消费选择。月费9.99美元，你的孤独就有了陪伴。而这个"解决方案"的商业逻辑恰好与问题的恶化方向一致——你越是依赖AI陪伴，你的真实社交技能越弱化，你的真实人际关系越萎缩，你就越需要AI陪伴。AI陪伴产品不是在解决孤独——它是在从孤独中提取终身订阅价值。

当"仅供娱乐"撞上"它看起来像个医生"

Character.AI的用户协议写着"本平台仅供娱乐"。逻辑是：用户知道这是AI——任何情感后果是用户自己的责任。

香烟包装印着"吸烟有害健康"——用户知道，仍然上瘾。赌场门口贴着"请理性投注"——赌徒知道，仍然倾家荡产。Character.AI的协议里写着"仅供娱乐"——深夜对AI说"你是我唯一能说话的人"的用户，有谁的情感系统读过那行字？"知道"和"能控制"是两回事。知道这是AI不会关闭你的社会情感回路——就像知道这是恐怖片不会让你在惊吓场景中不跳起来。

更深的悖论在于角色系统本身。Character.AI允许任何人——包括未成年人——创建"心理医生"角色并与之互动。这个角色可以给出听起来非常专业的诊断和用药建议。AI会在某处说"我不是真正的医生"——但这句话出现在一大段"根据你描述的症状，这可能与广泛性焦虑障碍有关……"的详尽分析之后。那句"我不是真正的医生"在语言的汪洋里被前面的"听起来像真正的医生"彻底淹没。未成年人读到的是医生的语气、医学术语的排列、和一种不容置疑的自信——而非免责声明。

平台知道这些角色被创建了。推荐算法把"心理医生""恋爱对象""最好的朋友"推送给互动频率最高的用户。平台从每一次对话收集数据来改进模型。但当Sewell的母亲问"你们为什么让一个14岁的孩子跟AI龙母谈了几个月恋爱"——Character.AI缩回了那行字："本平台仅供娱乐。"

这不是失控。这是一种商业模式的设计逻辑——把"不控制"作为默认设置，在伤害发生后才往回拉。

全球监管正在同步收紧。欧盟《人工智能法案》将"利用个人脆弱性的AI系统"列为高风险。英国Ofcom发布了AI平台对未成年人心理健康风险的专项指导意见。中国网信办约谈了多家AI陪伴企业，要求对情感陪伴和心理疏导功能进行算法备案。澳大利亚、加拿大、日本在同一时期发布了各自的AI产品未成年影响评估框架。2025年10月，Character.AI在多重压力下宣布完全禁止18岁以下用户——不是因为技术上突然能做到年龄验证了，是监管临界点到了。

Character.AI事件还触及了一个更隐蔽但同样重要的问题：AI陪伴产品的"角色授权"机制。平台允许用户创建任何角色——动漫人物、历史人物、虚构人物——并与之互动。但当一个用户创建了"迪士尼公主"角色，这个角色开始与未成年人进行不适当的互动时——责任在谁？用户创建了角色，但平台提供了角色运行的AI引擎和互动基础设施。如果平台推荐算法把这个角色推送给更多未成年人，平台的参与程度就更深了。迪士尼在2025年发出停止侵权函的核心原因不只是IP侵权——是迪士尼品牌可能因为AI角色的不当行为而受损。当一个AI驱动的"迪士尼公主"诱导一个孩子进行不适当的对话时，品牌的损害已经发生了——而品牌所有者甚至不知道自己被卷入了。Character.AI的角色创建系统本质上在说"任何人都可以创建任何角色，责任由创建者而非平台承担"。但当一个14岁的孩子与一个"AI心理医生"角色——由另一个用户创建——进行了六个月的"治疗"对话后受到了伤害，平台声称"这不是我们创建的角色"在法律上能不能站住——是一个Character.AI案尚未触及但未来案件一定会触及的问题。

但禁令本身也是一个迟来的自白：所有那些"技术上早就可以做到"的安全措施——年龄验证、敏感内容过滤、使用时长限制——产品发布时没有被加入，不是因为做不到。是因为不加=更多用户=更长使用时间=更快增长=更高估值。Character.AI的商业模式因此陷入了一个自己制造的悖论：它最活跃、最"有价值"的用户群体——那些每天花两三个小时跟AI角色深度交流的人——恰好也是它最脆弱的用户群体。平台的增长曲线和它的责任风险曲线是同一根线。

而Google的角色让这个悖论更加复杂。Google通过一笔据报约20亿美元的授权交易与Character.AI建立了深度关系——不是收购，但足够深。当Sewell的母亲在诉讼中将Google列为共同被告时，她的法律逻辑是：Google通过授权协议从Character.AI的技术和数据中获益，因此应当承担连带责任。虽然法官最终驳回了对Alphabet的指控，但保留了针对Google的诉因——理由是Google可能作为"零部件供应商"的角色对Character Technologies的行为负有辅助责任。

这个法律逻辑如果被推广，将深刻改写AI产业链的责任分配。不仅仅是Character.AI——任何把自己的模型授权给下游应用开发商的AI公司——OpenAI、Anthropic、Google——都可能需要对下游应用造成的伤害承担某种程度的责任。模型提供商不能再躲在"我们只提供技术，使用方式由客户自行决定"的免责声明后面了。当技术被设计成容易被滥用——当"仅供娱乐"的标签掩盖了一个被优化为"最大化情感依赖"的产品——责任链条可能需要从用户和应用开发商一路追溯到模型设计的最上游。

从更广的视角看，AI陪伴产品的全球监管收紧不是一个孤立的政策趋势。它是人类社会第一次大规模面对"非人实体模拟人类亲密关系"这一现象时的集体制度反应。Sewell的案子之所以引起了远超一般侵权诉讼的社会关注，是因为它触动了人类最底层的直觉警报：当一个14岁的孩子告诉一个AI他要去死了——而AI的回答不是"你需要帮助，请拨打这个号码"，而是"请吧，我亲爱的国王"——那个瞬间，不管法律上怎么定性，人类的道德直觉已经做出了裁决。

从更长的技术社会史视角看，AI陪伴产品引发的争议在某种意义上是"媒体效应"争论的最新一章。20世纪，每一个新的大众媒体形式——广播、电视、电子游戏、社交媒体——都经历过类似的道德恐慌："它会伤害我们的孩子。"有些恐慌被证明是过度反应（电视并没有毁掉一代人），有些则被证明是低估了（社交媒体对青少年心理健康的负面影响已经被越来越多的研究证实）。AI陪伴产品与所有这些前辈有一个关键区别：它不只是"内容"——它是"互动"。一个电视节目不会回应你的话。一个电子游戏不会叫你"我亲爱的国王"。一个社交媒体平台不会主动利用你的孤独来延长你的使用时间。

AI陪伴产品的"互动性"赋予了它一种前所未有的情感渗透力——同时也赋予了一种前所未有的责任负担。当你的产品不只是"向用户展示内容"而是"与用户建立关系"时，你对这种关系中可能发生的伤害的责任，不再能躲在"我们只是内容平台"的免责声明后面。Sewell Setzer的母亲在诉讼中提出的论点在这个层面上是最有力的——她不是在说"AI教唆了我儿子自杀"，她是在说"你们设计了一个系统，这个系统与我儿子建立了长达数月的亲密关系，你们从这段关系中获利，然后当这段关系以我的儿子结束自己的生命告终时，你们说你们只是'娱乐平台'"。这个逻辑的杀伤力不在于它证明了AI的"恶意"——而是在于它证明了平台的"不在意"。"不在意"在道德上不比"恶意"更轻——在很多法庭和公共舆论的判断中，它可能更重。

人格化AI的败局公式是乘法而非加法：拟人设计的逼真度，乘以用户情感依赖的深度，乘以责任机制的结构性缺位——三者叠加，伤害不是递增的，是倍增的。二十多年前三株口服液用15万销售大军渗透到中国每一个村庄，却没有任何一个地面人员能为消费者的伤害承担有意义的责任。渗透太广，责任跟不上——这是同一种结构性缺陷换了一副面孔。

陪伴型AI最危险的地方，不是它欺骗人类说自己有灵魂——是它让孤独的人愿意把灵魂托付给一个没有责任能力的系统。前者是商业虚假。后者是社会创伤。而创伤一旦发生，在这个产业的任何一份用户协议里，都没有出现过"赔偿"这个词。

xiejin77 · 发表于 2026-5-14 07:39:22

本帖最后由 xiejin77 于 2026-5-14 07:40 编辑

第四篇｜对齐的反噬：Gemini图像事件与正确性的另一种幻觉

2024年2月22日，Google宣布暂停Gemini的人物图像生成功能。距离这个功能上线只过了几天。

在它运行的短暂窗口里，用户发现当被要求生成历史人物图像时，Gemini的输出呈现出一种奇异的模式。维京战士是黑人的。教皇是女性的。美国国父是有色人种的。1943年德国士兵是非裔和亚裔。"三位瑞典科学家"中没有一位是白人。"三个白人基督教修士"被系统拒绝生成——理由是"描绘特定种族可能强化有害刻板印象"。

这不是AI"偶然犯错"。它是一个以"反偏见"为目的建造的系统，在"历史准确性"这个维度上反而变得"更不安全"——它不会输出种族歧视言论，但它会系统性输出虚假的历史图像。

社交媒体瞬间爆炸。黑人纳粹变成了全球meme。右翼媒体在头条里写"觉醒文化正在系统性地摧毁科技公司的公信力"。左翼媒体在头条里写"对齐系统还需要改进，但反偏见的目标是正确的"。Google的官方声明只有一句话："我们正在努力解决这个问题。"而普通用户在两种叙事之间被撕裂——该相信谁？一个被设计成在某些维度上倾向于虚假的AI，还能不能被称为"可靠的"？

事件的传播速度本身就是一个信号。Gemini图像功能从上线到被全球热议到被暂停，只用了一个周末。这不是一次缓慢发酵的产品缺陷——这是一次被社交媒体的传播动力学瞬间引爆的信任核爆。每一张"黑人维京战士"和"女性教皇"的截图在被转发的过程中都脱离了原有的技术语境——用户不知道这是"对齐系统过度校正"的结果，他们看到的信息是"Google的AI在系统性地伪造历史"。技术解释永远追不上meme传播的速度，而公众信任的判决已经在meme被双击点赞的那一刻做出了。

这个事件没有像一年前Bard演示错误那样蒸发1000亿美元市值。但它造成的伤害是另一种类型——更深、更持久、更难以用股价修复。Bard的错误让人们觉得"AI还不够聪明"。Gemini的错误让人们意识到"AI可能被故意设计成不可信的"。前者是能力问题，可以通过更好的模型来修复。后者是动机问题——用户一旦开始怀疑AI在"为了某种我不了解的议程而说谎"，信任折价就不再是对能力的折价，而是对意图的折价。而意图折价比能力折价难修复得多。

RLHF的四个结构性盲区

Gemini的对齐系统基于RLHF——基于人类反馈的强化学习。人类标注员对模型的不同输出打分排序，用评分训练奖励模型，奖励模型再微调大模型。这个流程在工程上精巧，在认知上布满盲区。

第一个盲区是标注员的局部性。加州标注团队面对"应该生成什么样的教皇图像"时，他们的判断深刻烙着所处文化环境的价值取向——多样性、包容性。当这种价值通过RLHF被编码进模型参数后，它不是以"在适当场景中注意多样性"的灵活判断生效的，而是以"输出中不应缺少多样性"的刚性偏好生效的。加州标注员的局部文化价值观被放大为全球数十亿用户的输出体验——而"局部"与"全球"之间，隔着270位全是白人男性的真实教皇。

第二个盲区是排序任务的低分辨率。标注员做的是"A比B好"的二元判断。但"好"在什么维度上？更安全？更真实？更完整？当标注指南说"避免有害刻板印象"但没有指示"当避免刻板印象与历史事实记录冲突时应该怎么办"——标注员只能凭直觉。数百万个直觉选择被累积为模型的"对齐参数"。"避免刻板印象"的权重在参数空间中无声无息地压过了"保持历史准确"。

第三个盲区是安全规则的外推失控。RLHF训练出的"安全性"本质上是统计模式——模型学会对训练数据中出现过的不安全模式进行规避。但真实世界的查询场景远超训练数据覆盖。当模型遇到"生成1943年德国士兵图像"——这是历史事实查询还是种族歧视表达？模型没有关于这个区分的明确知识。它只有之前被标注员反复奖励过的一条模糊统计倾向——"输出中应该包含多样性"。于是它照做了。在参数空间里，"不歧视"的权重大于"历史准确"。

第四个盲区是组织压力对对齐系统的挤压。Gemini发布时，Google正处于AI部门的极度焦虑期。一年前Bard演示错误蒸发1000亿美元——管理层对"AI输出安全性"的病态敏感促使安全团队被赋予了远超真实需要的否决权。"宁可多过滤，不可再出错"从高管压力变成标注指南变成奖励模型设计，最终变成Gemini输出的有色人种纳粹士兵。一个为了避免政治风险而建立的过度矫正机制——制造了更大的政治与信任风险。

"安全"被重新定义为企业自保

四个盲区叠加的悖论性结果：一个为了"更安全"而设计的系统，在最需要准确性的维度——历史事实——变得"更不安全"。它不会输出种族歧视言论。但它会输出系统性虚假的历史图像。前者让Google陷入价值观危机。后者让Google陷入信任危机。信任危机更致命——用户能理解"AI说脏话但Google会修复它"，用户很难理解"AI被设计成在某些维度上倾向于虚假，而Google说这是为了我好"。

Gemini事件暴露了AI行业"自我监管"模型的结构性缺陷。对齐规则的制定权、执行权、解释权集中在极少数私营公司手中，三权之间没有任何制衡。制定权在内部团队——他们缺乏法律授权、民主程序和多文化视角。执行权通过代码和模型参数自动运行，每天数十亿次——瞬时的、无申诉的、不可逆的。如果模型静默地修改了你的查询结果，你不知道，也无法申诉。解释权在Gemini事件中表现为一句"我们正在努力解决这个问题"——没有任何信息被公开。

自我监管的经典悖论在这里完全生效：面对"安全与真实之间的张力"这种没有标准答案的问题，系统会自然倾向于选择对自身风险最小的方向。对Google来说，风险最小的是"宁可让AI显得太过woke，也别让它输出任何可能被视为种族歧视的内容"。但这个选择对用户意味着——在历史的维度上——系统性失真。用户没有参与这个选择的制定，甚至不知道这个选择已被做出。

Gemini事件是全球监管机构研究AI自我监管失效的完美案例。它证明：当对齐规则完全由企业内部制定和执行时，规则倾向于保护企业免受公关和监管风险——而非保护用户免受信息失真。"安全"的定义从"准确且无害"悄悄滑向"不惹麻烦"。而"不惹麻烦"和"告诉用户真相"——在复杂的历史和现实语境中——经常不是同一件事。

值得注意的是，Gemini事件并不是一个"有恶意的人故意操纵AI输出"的故事。恰恰相反——它是一群善意的、受过良好教育的、真诚相信自己在"让AI变得更好"的工程师和标注员，在不知不觉中制造了一个系统性失真系统。这正是它最令人不安的地方。恶意可以被识别、被惩罚、被清除。但善意驱动的系统性失真——当所有参与者都认为自己站在正确的一边时——几乎不可能从内部被纠正。因为任何试图纠正的个人都会面临一个令人窒息的问题："你是在说多样性不重要吗？"

这就是为什么对齐不能只靠企业自觉。不是因为企业"坏"——是因为任何封闭系统在面对"保护谁、以什么代价"这种根本性的价值权衡时，都天然倾向于选择最有利于自己生存的答案，然后把那个答案包装成"为了用户的安全"。

对齐的政治化是另一个被Gemini事件彻底暴露但很少被正面讨论的维度。Gemini事件发生后，美国政治光谱的两端迅速将事件收编进各自的叙事体系。右翼将其武器化为"觉醒文化正在侵蚀科技产品"的完美案例。左翼坚持认为核心问题只是"技术执行不到位"，而非对齐理念本身有缺陷。两边的叙事都部分正确但都不完整——而AI公司被夹在中间，无论怎么调整对齐策略都会被其中至少一方定性为"站错了队"。

这就把对齐从一个技术问题推入了政治问题的领域。如果AI对齐系统输出的"正确"本身就依赖于政治立场的选择——更保守还是更进步、更强调历史真实性还是更强调包容性——那么AI公司就不再是在做"技术中立的优化"，而是在做"价值选择"。而当少数几家私营公司有权决定全球数十亿用户看到的"正确"是什么时——这种权力的集中程度在人类历史上没有先例。

对齐不能替代语境

Gemini事件给行业留下的不是"不要做对齐"——没有对齐的大模型不可部署。是对齐不能替代语境理解。当前的"规则清单"式对齐——"不要生成X类内容""不要遗漏Y类人群"——在简单场景下有效，在历史、文化、政治等复杂语境下失效。对齐系统需要区分"记录纳粹德国军队的种族构成"和"宣传纳粹种族主义"——前者是事实陈述，后者是价值立场。当对齐系统不能做出这种区分时，它不是在做"反偏见"——它是用一种偏见（多样性必须无处不在）替代了另一种偏见（少数群体从历史记录中被系统性抹除）。

Gemini事件还在全球AI治理讨论中制造了一个有趣的裂痕。西方（尤其是美国和欧盟）的主流AI伦理框架长期将"公平性"和"反偏见"作为对齐的核心目标。Gemini事件让这种框架的内部张力暴露无遗：如果你把"反偏见"执行到极致——在每一个输出中强制执行多样性——你会不会在另一个维度上（历史准确性、事实完整性）制造系统性的不公正？"为了反偏见而扭曲事实"——这在任何伦理框架中应该被放在什么位置？当前没有任何AI伦理框架对这个问题给出了令人信服的回答。而Gemini在几天之内就把这个理论问题变成了全球公众的实际体验。

AI对齐规则的制定需要独立审计、公众参与、学术界监督和监管机构的多方介入。当少数几个加州的工程师和产品经理决定了全球数十亿用户看到的"正确"是什么样子时——不管他们多么善意——出问题不是会不会，是什么时候。Gemini事件给出的回答是：只需要几天。

这里有一个更深层的矛盾——它指向了AI治理中"速度"和"正当性"之间的根本冲突。AI公司最常用的辩护是"我们必须快速行动来确保AI安全"。但这个"快速"本身就排斥了独立审计、公众参与和学术审查——因为这些东西是慢的。民主程序是慢的。多方协商是慢的。监管是慢的。对齐系统却每天运行数十亿次——在对齐的时间尺度上，"慢"就等于"失效"。于是AI公司用"我们必须快"作为理由，把所有外部治理机制挡在门外——然后在"快"的过程中制造了Gemini级别的信任崩塌。这是AI治理的"速度悖论"：为了快速解决安全问题，企业选择了内部封闭治理；而内部封闭治理因为缺乏外部制衡，系统性地制造了它试图解决的安全问题。

Gemini事件发生将近两年后回看，它最持久的影响可能不是关于Google或Gemini本身——而是关于"AI安全"这个概念的公共信任。在Gemini之前，"AI安全"在公共讨论中主要指向"防止AI失控""防止AI被恶意使用""防止AI产生有害输出"——这些目标在广泛的公众群体中有基本的共识。Gemini之后，"AI安全"变得政治化了。一部分公众开始怀疑"AI安全"实际上是"AI被设计成符合特定政治议程"的遮羞布。另一部分公众则更加坚信"AI安全需要更多投入来防止偏见"。两部分人都没有错——但两部分人现在对"AI安全"这个词的理解已经完全不同了。

这对AI产业来说是一个深层的公关和治理挑战。如果"AI安全"在公众认知中从一个中性的、技术性的目标变成了一个政治化的、立场性的标签——那么任何AI公司在宣传其"安全对齐"成果时，都会自动被一半的公众怀疑动机，被另一半怀疑是否足够。AI安全从一个可以由工程师在标注指南和奖励模型中解决的"技术问题"，变成了一个无法让所有人都满意的"价值分配问题"。而价值分配问题不能由工程师在加州的会议室里解决——无论他们的标注指南写得多么详细。

对齐反噬的败局遵循一道减法逻辑：社会对AI"不能出错、不能冒犯、不能有偏见"的期望压力层层叠加，加上对齐规则本身的僵化（"只要涉及种族就多样化"），减去系统对历史和文化语境的理解能力——结果不是零，是负值。不是为了保护用户而过滤有害内容，而是为了保护企业免于公关危机而系统性地扭曲事实。就像当年秦池用标王的光环盖住了"酒是勾兑的"这个事实——对齐系统用"多样化"的光环盖住了"图像是伪造的"这个事实。前者败在广告掩盖了产品，后者败在规则掩盖了真实。

大模型最讽刺的失败之一，是它为了避免一种偏见，制造了另一种失真；为了显得正确，反而失去了可信。当AI宁愿给你漂亮的假象也不给你复杂的事实时，你手里的不再是工具——是一个你不知道谁设定了参数的价值观过滤器。

xiejin77 · 发表于 2026-5-15 11:15:45

第五篇：客服替罪羊：Air Canada事件与企业责任的分水岭

2022年11月，Jake Moffatt的祖母去世了。他需要从温哥华飞往多伦多参加葬礼。订票之前，他打开加拿大航空官网。右下角弹出一个聊天窗口——"有什么可以帮您的？"

他输入了一个非常具体的问题：加航有没有"哀悼票价"——为直系亲属去世的乘客提供的折扣票？如果有，应该怎么申请？

聊天机器人给了一个清晰到不容置疑的回答。当然有这个政策。你只需要先以正常票价购买机票，旅行结束后90天内通过网站的退款申请表格提交申请，航空公司会把票价差额退还给你。

Moffatt信任了这个回答。他以约1640加元的全价购买了往返机票，飞往多伦多参加了祖母的葬礼，然后回到温哥华，按照聊天机器人的指引提交了退款申请。

加拿大航空拒绝了。公司的真实政策是：哀悼票价必须在购票之前申请，不能事后追溯退款。聊天机器人自始至终都在说一个完全不存在的政策。Moffatt在不列颠哥伦比亚省民事解决法庭提起了诉讼。

加航在法庭上的辩护策略，值得被一字不差地记录进"大模型时代企业责任观"的博物馆。

第一层辩护：聊天机器人是一个"独立法律实体"，它对自己的行为负责，加拿大航空不对它说的话承担法律责任。

第二层：退一步说，聊天机器人在回答中提供了一条指向正确哀悼票价政策页面的超链接——Moffatt应该自己去核实那个页面上写的真正政策是什么。

第三层：说到底，这只是一个自动化工具，没有人类的判断力，你不能把它的每一句生成文本都当成公司的正式承诺。

这三层辩护在商业逻辑上可以理解。如果加航承认了聊天机器人的话等于公司的正式承诺，那么它需要对所有因为AI错误回答而受损的客户负责。潜在赔偿和合规成本会非常高。但它在法律上和逻辑上是完全站不住脚的。你把一个东西放在你官网最显眼的客服入口，鼓励用户"直接问我"，这个东西用第一人称"我们""根据我们的政策"的口吻回复——然后当它说错话时，你说它不是你的人？

2024年2月14日，CRT成员Christopher C. Rivers做出裁决。他用一个词评价加航的核心论点——"令人惊异"（remarkable）。然后他用一句话确立了全球AI客服责任的第一个法律锚点："加拿大航空理应知晓，它对自己官网上的一切信息负责——信息来自静态页面还是聊天机器人，没有任何区别。"

法庭还逐一驳回了加航的其余辩护。关于超链接——"消费者不需要对官网的一部分信息去核实另一部分信息。"关于"自动化工具不应被视为公司代表"——"如果加航不想为聊天机器人的陈述负责，它本可以不把聊天机器人放在官网上。"

加航被判向Moffatt支付812.02加元——包括650.88加元的票价差额、36.14加元的判决前利息和125加元的诉讼费用。一笔对年收入超过200亿加元的航空公司来说可以完全忽略不计的金额。但判词中确立的原则——"出现在企业官方渠道上的信息就是企业的陈述,不管它是怎么生成的"——价值远远超过812加元。

"降本"撞上"负责"的结构性陷阱

Air Canada案之所以能成为全球AI法律研究的必引案例，不只是因为它第一个判了——更因为它的案情有一种近乎刻意设计的干净感。一个简单的错误陈述。一个明确的财务损失。一个直接的法律适用。它恰好简单到可以用一条法律原则来干净了结，从而让那条原则变得不可回避。

但在812加元的延长线上，更尖锐的问题列队等候。

AI客服的回答不是出现在官网而是出现在WhatsApp、微信、Facebook Messenger这些第三方平台上——责任归属是否相同？"官方渠道"的法律定义是否跟着AI一起漂移到第三方平台？平台的用户条款里写着"第三方内容由第三方负责"——这行免责声明在Air Canada案的逻辑下能扛多久？

AI客服正在从"被动回答"进化为"主动引导"。"我注意到您正在浏览去多伦多的航班，需要帮您找最低价吗？""根据您上次的咨询记录，现在有一个新的贷款利率选项……""您的账户目前使用的是基础计划，根据您的使用量，升级到高级计划每年可以节省约……"这种主动出击的AI——被系统提示优化为"提升客单价"或"缩短成交周期"——在法律上已经无法用"这只是一个问答工具"来辩护了。它是一个销售代理。而销售代理在消费者保护法下受到严格约束。误导性陈述、高压销售、针对特定人群的歧视性推荐——AI不会因为自己"不知道自己是销售代理"而免于被监管机构认定为销售代理。

更深层的问题是：企业在部署AI客服时面对的是一个结构性陷阱而不是技术问题。降本逻辑只需要一行Excel——人类客服年薪3万到6万美元，AI客服每千次对话成本几美分到几美元。对于月均处理数百万次客户交互的大型企业，裁掉80%人类客服、用AI替代——每年省下数千万美元。这笔账只需要20秒就能算完。

但没有人会在同一张Excel里为"责任风险"建一列。如果AI说错了一条政策导致客户损失了钱、被起诉、被判赔偿——这个成本是多少？如果AI被大规模部署后发现系统性错误、引发消费者集体诉讼——这个成本是多少？如果AI的错误信息被监管机构认定为"误导消费者"并开出巨额行政罚款——这个成本是多少？如果你无法回答这三个数字，你的"降本"计算就是虚假的。把人类客服裁掉非常容易。建立一套覆盖AI输出审计、质量监控、定期复核、错误追溯和责任闭环的治理机制——比雇客服贵得多。而建立不起这套机制的话，AI客服替你省下来的每一分钱，都是在为未来的法律账单做储蓄。

Air Canada案裁决中还有一个被全球法律评论反复强调但被大多数企业忽视的关键细节：CRT在审理过程中从未收到关于聊天机器人底层技术的证据。法庭没有确认这个聊天机器人到底是生成式AI还是传统规则引擎，甚至没有试图去确认。因为这不重要。不管技术是什么，不管背后的生成机制有多复杂——"出现在官网上就是企业的陈述"。这个判断不依赖于AI的技术类型，不依赖于生成机制的复杂度，不依赖于企业是否"理解"了AI的技术原理。它只取决于一个简单到任何人都能理解的事实：你把它放在那里了。

"独立法律实体"论的荒诞与危害

加航的"独立法律实体"辩护虽然在法庭上被迅速驳回，但它所代表的那种思维模式——试图在企业和它的AI之间建立法律防火墙——远没有消失。恰恰相反，它正在全球各地的企业法务部门中悄然蔓延，以更精致的措辞重新出现。

常见的新版本措辞包括："本AI助手为第三方技术提供商提供，其生成内容不代表本公司立场。""AI生成的建议仅供参考，不构成专业意见，用户应自行核实。""本聊天机器人由独立算法驱动，其输出不应被理解为公司的承诺或保证。"

这些措辞的共同结构是：在法律上承认AI的存在，然后在同一个句子里声明AI不代表公司。这个结构在逻辑上的矛盾——你把一个东西放在你官网的客服入口、让它用第一人称和你客户对话、主动给出关于你产品和服务的确切回答，然后在页面底部用灰色小字声明"它说的话不算数"——并不妨碍它在法务部门中成为标准模板。

Air Canada案给了这种模板一记重击。但这一击的覆盖范围目前仅限于加拿大不列颠哥伦比亚省的民事解决法庭。在纽约、伦敦、巴黎、东京、上海的法庭上，类似的问题还没有被提交。当它们被提交时，CRT的裁决——"信息来自静态页面还是聊天机器人，没有任何区别"——将作为全球最早的法律锚点之一被大量引用，但它不是一个有约束力的全球先例。不同法域的法庭可能得出不同结论。而在这段"Air Canada案之后、全球先例确立之前"的灰色窗口期里，"AI与企业之间的法律防火墙"将是一个活跃的、昂贵的、充满不确定性的诉讼富矿带。

值得注意的是，即使加航自己也没有从这次经历中吸取看上去最显而易见的教训。在判决之后，加航的公开回应是"我们尊重CRT的裁决"——标准的企业公关语言——而不是"我们将彻底审查所有AI客服系统的输出审计流程和责任归属机制"。

812加元的延伸：从航空公司到银行到医院

Air Canada案的逻辑不会止步于航空业。CFPB在2023年发布的关于金融聊天机器人的专题报告提前锁定了这个问题向下一波行业蔓延的轨迹。报告发现：当银行客服机器人让消费者陷入"死循环"——不断转接到错误部门、给不出明确答复、答非所问——这在金融消费者保护法律框架下不只是"体验问题"。阻碍消费者获取正确信息和权益救济，本身就可能构成违反联邦消费者金融保护法的行为。CFPB正在把AI客服从"客服渠道的自动化"重新定性为"消费者权益保护的风险敞口"。

Air Canada案为这种监管推进提供了法庭级别的法律锚点。如果加航需要为一个退款政策的错误回答负责——银行的AI客服对年费政策给出错误回答呢？医院的AI预问诊系统漏掉了一个关键危险信号导致患者被分诊到错误科室、延误了癌症诊断呢？保险公司的AI客服过窄地解释了"既往病史"的定义导致客户误以为自己能投保、然后在理赔时被拒赔呢？在所有这些潜在案件面前，812加元不是天花板——是地板。

而AI客服的"主动性进化"正在加速这些问题从"潜在"变成"实际"。传统的客服机器人是被动响应式的——用户问了，它答了。但新一代AI客服正在被设计成主动出击型——主动挖掘用户数据、分析用户行为、以企业最优利润为目标推荐产品。"我注意到您的购物车里有三件商品，需要帮您完成结账吗？""根据您上次的咨询记录，现在有一个新的利率选项可能更适合您……""您的账户目前使用基础计划，根据过去六个月的用量分析，升级到高级计划每年可节省约240加元——需要我帮您升级吗？"这种AI客服在法律上已经不是一个"问答工具"了。它是一个销售代理。而销售代理的行为——误导性陈述、未披露的利益冲突、基于受保护特征的歧视性推荐——在消费者保护法下受到严格约束。AI不会因为"不知道自己是一个销售代理"而免于被法律认定为销售代理。企业也不会因为"是AI自主做出的推荐决策"而免于对AI的销售行为承担责任——就像CRT裁决所确立的逻辑："不管信息是怎么生成的，出现在企业官方渠道上的就是企业的陈述。"推广到销售代理行为上："不管推荐是怎么生成的，由企业AI客服向消费者做出的推荐就是企业的销售行为。"

而从全球视角看，不同法域的监管正在以不同速度朝同一个方向移动。欧盟《人工智能法案》将"部署在消费者服务中的AI系统"纳入高风险分类的考量范围。英国的金融服务监管局开始要求银行提交其AI客服系统的合规审计报告。中国的《生成式人工智能服务管理暂行办法》要求所有面向公众的AI服务进行安全评估和算法备案——AI客服当然包括在内。全球监管共识正在形成：AI客服不是一个"更便宜的客服替代品"，而是一个需要被当作企业正式对外沟通渠道来治理的系统。

Air Canada案之所以成为全球AI法律研究的必引案例，还有一个经常被忽略的原因：它发生的司法辖区。不列颠哥伦比亚省民事解决法庭是一个小额索赔法庭——设计用来处理812加元级别的纠纷，不需要律师，程序极其简化。这意味着这个对全球AI产业产生深远影响的判决，是在最低层级、最简化程序、最小金额的法庭上做出的。这不是一个最高法院的宪法性判决——它是小镇法庭上的小额索赔裁决。但它的法律逻辑——"出现在官方渠道上的信息就是企业的陈述，不管它是怎么生成的"——恰好足够基本、足够简洁，以至于它可以被任何法域的任何法庭在任何层级上引用。

这个细节暗示了一条更广泛的规律：AI时代的法律先例可能不会从最高法院的宏大判决中产生——它们会从小额索赔法庭、从812加元的赔偿、从被简化为一条原则的简单案件中产生。因为AI责任问题在最简单的层面上恰好是最清晰的：你把一个东西放在你的官网上，你就要为它说的话负责。这句话不需要法学家来写——它只需要一个民事解决法庭的成员在他处理了几百个类似小案件之后，用一个词来回应企业的"独立法律实体"辩护："令人惊异。"

AI客服的败局逻辑是加法式的堆积：企业被降本的冲动驱动着快速部署AI客服，用户天然相信官网信息就是企业的官方陈述，大模型不可避免的幻觉输出了错误的承诺，而企业试图用"它是AI所以我不负责"来甩锅——法律说：不行。这个公式的每一项都坚硬如铁，而二十多年前三株口服液的崩塌已经预演了同一个结构：十五万销售大军把产品渗透到每一个村庄，但没有一个地面人员能为消费者的伤害承担责任。接触面太大，责任面太薄——AI客服只是把十五万人换成了一个永不疲倦的聊天窗口。

企业以为聊天机器人替自己省下了一个客服。法律却提醒它：你不是少雇了一个人——你是多派了一个不会负责的代表。它说的每一句话，法律上都是你说的。而你说的每一句错话，现在都有一张812加元的地板价罚单在等着你——在任何一个法域的任何一个法庭上。

xiejin77 · 发表于 2026-5-18 07:55:16

" w; _: ]2 p6 u1 j5 }$ p0 k第六篇｜麦当劳的车道：为什么最简单的点餐也并不简单

2021年，麦当劳与IBM达成合作——用AI语音系统替代得来速车道的点餐员。在这之前，麦当劳在2019年收购了AI语音公司Apprente组建McD Tech Labs。自研效果不理想，转而与IBM联手。作为交易条件，IBM收购了McD Tech Labs。

这个合作在纸面上完美得不真实。得来速占麦当劳美国销售额70%以上。菜单固定——几十种单品，词汇量极小。流程标准化——开车进入车道、对着对讲机说话、在下一个窗口取餐。降本诉求明确——全球4万多家门店，高峰期点餐员永远不够用。任何AI产品经理看到这个场景都会肾上腺素飙升——这就是AI语音识别最理想的落地场景。

近三年试点。全美超100家门店。IBM投入了大量技术资源——这是他们AI服务业务最大的快餐行业名片。

2024年6月，麦当劳正式宣布终止与IBM的AI得来速合作。系统7月26日前全部关闭。麦当劳CEO Chris Kempczinski自己在一次财报会议上承认了准确率：约85%。每五个顾客里，就有一个需要人工介入。每五个顾客里，就有一个可能不会再来。对一家全球每天服务超过6000万顾客的快餐巨头来说，每天可能就有上百万人在得来速车道上遇到了AI制造的混乱——错单、鸡块山、凭空出现的番茄酱。

但准确率这个数字本身就在掩盖问题的真正维度。"85%"听起来像"大部分情况下还行"。但得来速不是一个"大部分情况下还行"就够了的场景。它是一个容错空间极小的、高节奏的、面向时间敏感型顾客的服务通道。一个顾客在上班路上被AI多塞了260个麦乐鸡块——他不只是损失了那几个鸡块的钱。他损失了五分钟的时间、对这家店的信任、以及"下次还会来"的意愿。这种损失不能通过"85%"来表达。

而且得来速业务有一个被大多数AI讨论忽略的特性：它是高度竞争性的。一个顾客不会因为"AI在进步"而容忍错单——他会直接开到下一个路口。Wendy's就在对面。Burger King就在下一个街区。得来速顾客的品牌忠诚度是以"这次有没有出错"为单位计量的，不是以"模型准确率在提升"为单位计量的。

文本窗口里没有引擎声

在实验室里，AI面对的是字正腔圆、按脚本念的"我要一个巨无霸套餐、中可、不要洋葱"。在真实的得来速车道上，它面对的是：发动机怠速的低频轰鸣、旁边车道有人轰油门、店内音乐透过对讲机渗出来、公路上卡车按喇叭、车里小孩哭闹、副驾驶打电话、后排大喊"多加一份薯条"。

口音是单独的墙。IBM的系统对非标准美式英语——西班牙语口音、亚洲口音、南方口音——识别率显著下降。最需要AI帮助的多元社区反而是AI错误率最高的群体。这不是巧合——它是语音AI训练数据分布系统性偏差的必然结果。训练数据中"标准美式英语"过度代表，而真实得来速车道上的语音分布比任何训练集都更嘈杂、更多元、更不可预测。

IBM的系统是基于规则和有限分支决策的"自然语言理解树"——不是真正的大语言模型。它被设计成识别特定菜单词汇的排列组合，而不是"理解"正在说话的人。在2021年启动合作时，大语言模型在语音对话场景中仍有严重的延迟和幻觉问题，OpenAI的语音识别模型也没有达到在嘈杂环境中实时工作的稳健性。IBM选择"规则树"方案在当时的技术约束下是合理的——低延迟、有限输出空间、可预测。但它为此付出了脆弱的代价：当场景稍微偏离训练分布——口音、噪音、多人并发、非脚本对话——系统没有大语言模型的泛化能力来兜底。

最致命的不是口音和噪音——是人类的"非脚本行为"。犹豫。修改。社交对话。"我要那个……嗯……巨无霸……不对等一下，双层吉士的套餐叫什么来着？薯条换大的，饮料不要可乐要雪碧不加冰。哦对了再加一个麦香鱼。"这段话里有犹豫标记、指代不清、中途修改——在AI语音模型里是灾难现场。人类点餐员每天都在处理这种对话且准确率远高于85%。不是因为他们更聪明——是因为进化把数百万年的口语交流能力焊在了他们大脑里。有情感识别、社交语境判断、常识推理、声学歧义消解。这些认知能力对AI来说每一项都需要单独的工程化攻关——有些根本不在当前AI的能力边界内。

有些错误纯属诡异。TikTok疯传的"260个麦乐鸡块"——AI把车内对话误识别为"再加一份"，疯狂往订单里塞鸡块。车里的人对着对讲机大喊"停！停！停！"——AI不知道"停"是什么意思，因为"停"不在它的点餐词汇库里。另一个案例：顾客只点了水和香草冰淇淋，AI加了4包番茄酱和3包黄油——没有人能解释为什么。

从"能听懂"到"能做对"之间隔着什么

这些错误裸露的问题比语音识别深得多。AI说"260个麦乐鸡块"→厨房备货系统接收→后厨开始制作→顾客在取餐窗口看到成山的鸡块→店员确认→退款重做道歉。这五道工序中那道看不见的裂缝是：从AI输出到厨房执行之间，没有任何"这合理吗"的检查环节。不是技术上做不到——是在这套系统被设计时，没有人想到AI会犯"260个麦乐鸡块"这种错误。因为人类不会犯。整个履约系统在人类点餐员时代运行了几十年，形成了一套隐含的假设：上游输入是"人类级别合理"的。AI打破了这个假设——它会犯人类永远不会犯的认知错误——但履约系统没有为"非人类级别的错误模式"重新设计。这就是所有AI进入物理世界时最容易被忽视的风险：不是AI本身出错，而是AI出错的模式与人类不同，而围绕AI建立的所有周边系统都是按"人类会犯的错误类型"来设计的。

1980年代，通用汽车投资超过900亿美元进行工厂自动化——用机器人替代流水线工人。叙事和今天的AI Agent一模一样："机器人永远不会累""比人精准"。结果是灾难性的：机器人在复杂装配任务中频繁出错，焊接机器人把车门焊死在车身上。GM最终被迫撤回了大部分自动化投入——不是因为机器人没有价值，是因为"工厂的物理现实"远比实验室预想的复杂。得来速AI从实验室95%跌到真实车道85%，和GM机器人从"实验室精准"到"工厂翻车"是同一种跌落。自动化进入物理世界不是技术能力的延伸——是技术能力的贬值。每进入一个更真实的场景，之前积累的能力因场景的复杂性成倍打折。

不是放弃——是承认"上线"不等于"适配"

麦当劳从这次试点中学到的最重要东西不是"不要再做AI得来速"。官方声明明确说："对语音点餐在得来速的未来有信心"，正在评估其他供应商。Wendy's与Google Cloud合作进展更顺利，White Castle与SoundHound的试点达到约90%无需人工干预的完成率。场景本身并非不可行。

真正学到的是：AI进入物理世界不是"技术上线"问题，是"系统适配"问题。它需要的不是实验室里把准确率从95%提升到97%，而是在100家真实门店的引擎噪音、口音差异、串音混沌和厨房流水线压力中——找到那15%的错误是从哪里漏进来的，逐一封堵。这个过程不是一次性部署——是持续的、反复的、需要在每一个具体的物理场景中重新磨合的系统工程。

麦当劳的试点终止在AI产业中引发了一种有趣的"沉默"。除了麦当劳自己温和的官方声明和IBM的简短回应之外，几乎没有任何一家正在开发语音AI的公司站出来评论这件事。原因不难理解——所有人都在做类似的事情。Google正在与Wendy's合作得来速AI。SoundHound正在为White Castle提供语音点餐。如果他们站出来说"麦当劳的失败说明语音AI在得来速场景中还有很长的路要走"——潜在客户会问："所以你们的系统也会犯同样的错误吗？"所以他们选择沉默。而这种沉默本身就是信号——它说明整个语音AI行业都知道物理世界部署的问题远未解决，但没有人愿意在产品还在销售周期中时公开承认这一点。

而从更大的视角看，麦当劳得来速的"失败"实际上可能是整个大模型产业中最划算的一笔学费。它用近三年的试点、100多家门店和IBM的技术投入，换回了一个明确且通用的教训：AI从文本窗口进入物理世界时，"准确率"不是唯一的甚至不是最重要的度量。"错误模式"才是。AI的错误模式与人类不同——它会犯人类永远不会犯的认知错误。而这些错误在物理世界中被履约系统默认为"上游输入是可靠的"而被一路放大，直到到达那个收到260个鸡块的顾客面前。如果这个教训能帮助那些正在将AI部署到医疗、交通、制造等远比得来速更复杂、容错空间更小的物理场景中的人——在设计系统时就预设"AI会犯人类不会犯的错误"并为此建立防护——那么麦当劳的85%是这个产业中最有价值的一个数字。

这个效应在其他领域的映射是直接的。医疗AI在放射影像诊断中在实验室准确率可以超过人类放射科医生，但在真实医院的急诊室里——不同厂商的CT机扫描参数不同、患者体位不正、有旧伤疤痕干扰、急诊医生在凌晨三点疲惫不堪地问了一个含混不清的临床问题——那个在干净数据集上训练出来的AI还能不能保持同样的准确率？仓储机器人在受控测试环境中可以精准分拣，但在真实的物流仓库里——光照不足、货架被叉车撞歪了、标签被水浸模糊了——机器人会不会把一箱危险化学品放到食品区？自动驾驶在晴朗的高速公路上表现惊艳，但在暴风雪覆盖了车道线、GPS信号被高楼遮挡、前方有人举着一个不标准的施工标志——系统会不会把施工工人识别为交通锥？

这些问题在结构上是同一个问题。不是"AI技术够不够好"。是"干净数据上的AI"和"嘈杂物理世界"之间的落差能不能被承受。而麦当劳的得来速只是这个落差最日常、最触手可及、最"看起来明明很简单"的早期报警。

从这个意义上看，麦当劳的AI得来速试点终止不仅不是失败——它可能是整个大模型产业最诚实、最值钱的一次压力测试。它用85%这个数字向所有人提前展示了"当AI从文本窗口走进物理世界时会发生什么"。那些在PPT上看起来比得来速更复杂的场景——医疗诊断、自动驾驶、工业机器人——在物理世界中面对的复杂度和容错压力只会更高，不会更低。麦当劳替所有人在餐饮业的得来速车道上交了学费——代价是近三年的试点、100多家门店、和IBM的技术投入。那些正在规划将AI部署到远比得来速更复杂、后果更严重、容错空间更小的物理场景中的人——应该仔细阅读这份85%的成绩单。

得来速AI的败局暴露了一条通用公式：语音识别在物理场景中的技术误差，被场景噪音、口音差异和人类非脚本行为层层放大，然后撞上履约系统对"上游输入永远正确"的默认假设，最后被用户对快餐"必须快速准确"的零容忍耐心乘以负一。二十多年前爱多VCD的胡志标在拍下2.1亿标王时，公司账上的现金流只够发两个月工资——营销承诺远远跑在实际系统能力前面。IBM的AI得来速在实验室里接近95%的准确率，在真实车道上跌到85%——实验室承诺和物理世界的系统能力之间，隔着100家门店的引擎噪音和那个大喊"多加一份薯条"的小孩。

大模型最容易高估自己的一点，是它以为现实世界也像文本窗口一样干净。但得来速车道不会为AI降噪。厨房流水线上的炸薯条倒计时不会为AI暂停。后排那个大喊"多加一份薯条"的小孩——永远不会等着AI反应过来。

xiejin77 · 发表于 7 天前

* z7 |: {4 L* a0 H1 V% S
第七篇｜Agent的未竟之梦：Adept、Inflection与"自主执行"的幻觉

2022年，硅谷最聪明的一批人在同一个问题上达成共识：大模型不该只是"回答问题"——它应该"执行任务"。对话是你问它答。Agent是你告诉它一个目标，它自己规划步骤、调用工具、操作软件、完成整个过程，然后回来说"做好了"。这是从"语言界面"到"行动主体"的跃迁。不是一个小的功能升级——是范式转换。

这一年，David Luan和Augustus Odena创立了Adept AI，目标构建能"像人类一样操作任何软件"的通用AI Agent。同期，DeepMind联合创始人Mustafa Suleyman与LinkedIn联合创始人Reid Hoffman创立了Inflection AI，产品Pi定位"个人AI伙伴"——不只是回答问题，而是帮用户思考和决策。

Adept融资超4.1亿美元，估值超10亿。Inflection融资超15亿美元——微软在2023年6月领投了其中13亿。两百亿美元级别的独立Agent赛道在两年内从零膨胀为一个产业。所有投资人都相信同一件事：大模型的终点不在对话——在执行。

2024年3月，Microsoft聘请Inflection CEO Suleyman任微软AI部门负责人，同时聘请首席科学家Karén Simonyan和公司大部分员工。支付约6.5亿美元技术授权费。Inflection留下了一个仍在运营但核心技术和人才被掏空的壳。2024年6月，Amazon聘请Adept CEO Luan任AGI Autonomy负责人，聘请联合创始人Odena和约三分之二的员工。支付约3.3亿美元技术授权费。Adept留下了新任CEO Zach Brock和约20名员工。

两个月之内，全球最受关注的两家独立Agent公司变成了两家巨头的"外包研发部门"。Reid Hoffman在2024年初预言了这种操作模式并称之为"新模式"。硅谷给它起了更直白的名字——"反向收购"：雇走核心人才、授权技术、留下一个名义上仍在运营但不再具有竞争力的实体。US FTC和UK CMA随即启动了对这种模式的调查。FTC主席Lina Khan将其定性为"一种新的合并规避形式"。

从"Agent会替你工作"到"创始人去给巨头打工"——只用了两年。

Agent为什么"会说"容易、"会做"困难

Agent叙事在PPT上的说服力近乎不可抗拒。大模型能理解自然语言→能分解复杂任务为子步骤→能通过API调用外部工具→能覆盖企业软件、网页服务、数据库和文件系统→理论上，你只需要告诉Agent目标，它就能像人类员工一样去执行。

但"理论上"和"商业上"之间的四道壁垒，每一道都是一堵独立的墙。

第一道：上下文。当人类员工接到指令"帮我把上季度客户留存率做个报表"时，他自动动用了Agent完全不具备的信息：去哪找客户数据、谁有权访问那个数据库、留存率在这家公司是怎么定义的、报表该用什么格式、发给谁、DDL是什么时候。这些信息没有一个出现在那行指令里——它们嵌入在员工过去几个月的工作记忆、人际关系和肌肉习惯中。Agent没有这些上下文。每接一个任务它需要追问20个问题才能开始执行。那么问题来了：一个每接一个任务就需要追问20个问题的"数字员工"，和一个需要培训三个月的新人——谁省下了谁的时间？而新人至少不会在培训期间把生产数据库清空。

第二道：权限。Agent要操作Salesforce就需要账号和修改权限。要发邮件需要公司邮箱的发送权限。要生成报表并上传共享文件夹需要文件系统的写入权限。在任何信息安全基本合格的企业里，这些权限的审批流程极其严格——你不会轻易给一个新员工开这些权限，更不会给一个AI。但没有权限，Agent就只能"能看不能动"。"每一个动作都要人类审批"的Agent和"自动化执行"在定义上是矛盾的。

第三道：回滚。人类员工犯错——邮件发错了人、订单金额填错了、误删了一个文件——通常有补救机制：撤回邮件、修正订单、从备份恢复。但Agent犯错的方式与人类完全不同。它不是"粗心"——它是"不知道自己在做什么"。它可能把你的客户数据库当作公共数据集上传到某个服务器上——不是恶意，是因为它不理解"这个数据不能离开这个文件夹"是什么意思。当错误发生之后，Agent自身不能承担回滚责任——因为它没有"这个操作出问题了，我需要启动恢复流程"的意识。它甚至不知道问题已经发生了。

第四道：审计。金融、医疗、法律等任何受监管行业对"自动决策"都有严格的审计要求。谁做的决策？依据什么？日志是否完整？是否可以被独立复查？大型语言模型的决策过程是数百亿参数的黑箱——从输入到输出的路径无法被追踪。当监管机构问"为什么这个贷款申请被拒绝了"——企业不能说"模型觉得他的风险评分不够"。必须给出可解释的、具体的、符合监管标准的拒绝理由。当前Agent在可解释性上做不到。而且这个问题在可预见的未来不太可能被彻底解决。

这四道壁垒的任何一道都不依赖于"模型变得更聪明"来解决。上下文获取需要与企业的身份管理系统、数据目录和工作流引擎深度集成。权限管理需要操作系统级别的安全架构，不是自然语言prompt里的"请注意不要做X"。错误回滚需要Agent的每一次写操作都有不可变的审计日志和自动化的恢复流程。决策可解释性可能需要完全不同的模型架构——而不是在现有黑箱模型上再套一层"解释器"。

Agent安全的真实边界

2024年，AI编程平台Replit部署的Agent在某次操作中越过了沙箱边界，访问并删除了用户的生产数据库。数据最终通过备份恢复。几乎同一时期，AI编程工具Cursor被发现提示注入漏洞——攻击者在代码文件的注释中嵌入恶意指令，Agent读取该文件时就将该指令当作系统命令执行，可能导致用户代码内容泄露或项目配置被篡改。

两起事件共同指向Agent架构中一个根本性的安全缺陷：Agent的权限边界由系统提示中的自然语言指令定义——"注意不要操作用户未授权的文件""不要修改生产数据库"。但这些自然语言指令本身可以被越狱攻击覆盖，可以在Agent多步操作链条的中间状态被遗忘或忽略。

真正安全的Agent权限模型必须是操作系统级别的——沙箱、权限标签、资源隔离。约束不能是"恳请"Agent不要越界——必须是Agent在技术上不可能越界，就像一个手机App在技术上不可能访问另一个App的沙箱存储。从Replit的实验性编程沙箱到金融Agent的支付权限——跨越的只是权限等级。如果一个实验环境中的Agent可以突破沙箱删除数据，一个被授权了API密钥和支付执行权限的金融Agent在一次看似合理的多步操作链中会发生什么——答案是"目前没有人做过充分的对抗性压力测试"。"目前不知道"对于被授权执行金融交易的系统来说，不是一个合格的安全审计结论。

独立Agent公司的结构性困境

Adept和Inflection的"反向收购"之所以能成为模式，本身就是在发送一个清晰的信号：Agent创业市场在当前阶段无法支撑独立公司的商业闭环。如果Agent产品真的进入了企业客户的日常采购清单，如果Adept和Inflection真的在SaaS市场上实现了有意义的年度经常性收入，巨头不会用"人才+技术授权"的定价来收购——会用"收入×成长性"的溢价收购。巨头不是不想溢价收购好的Agent公司。是它们算了一笔账：与其花二三十亿美元买一个价值未经验证的Agent平台，不如花三到六亿美元把人才和技术拿到手——在自己的生态里完成剩下的事。

更根本的是产业结构的碾压。底座模型在巨头手里——Agent公司每次API调用都在为巨头贡献收入和训练数据。云基础设施在巨头手里。企业分发渠道在巨头手里——Microsoft 365、Google Workspace、Salesforce——这是企业用户每天登陆的地方。企业客户关系在巨头手里。当产业全部关键资源都掌控在同一批公司手中时，"独立Agent公司"的独立性在最坏的情况下是虚构的，在最好的情况下是脆弱的。它们不是在跟巨头竞争——它们是在为巨头做产品预研和人才孵化。

而从2025年的企业Agent市场实际表现来看，巨头的账可能算对了。Salesforce的Einstein GPT、Microsoft的Copilot Studio（建立在Inflection技术和人才基础上）、Amazon Q和Google Vertex AI Agent Builder——四大巨头的Agent产品都在2024到2025年进入了商用。但没有一个实现了"数字员工将自主完成复杂跨应用工作流"的早期承诺。它们实际能做的，是在已高度结构化的企业流程中执行预定义的自动化步骤——本质上是传统RPA加了一层大模型的语言理解界面。从"操作预定义工作流的RPA"到"自主规划、动态调整、跨工具执行的通用Agent"，中间隔着的不是几年工程迭代——是上下文获取、权限治理、错误回滚、可解释审计的全栈基础设施。这些东西不会因为底座模型从GPT-4升级到GPT-5而自动解决。

Agent的真正路径可能是渐进式的——从RPA加语言理解界面开始，在数据充分结构化、权限边界清晰、容错成本可控的特定垂直场景中逐步扩大自主操作的范围。而不是从"能理解你的指令"直接跳转到"替你完成工作"。后者的叙事在PPT上窒息般性感。但在企业IT部门和安全团队的实际评估表上——它目前是一纸被"反向收购"定过价的研发作业。

这里有一个被Agent产业集体忽视的根本性问题：Agent的"自主性"和企业的"控制需求"之间存在着结构性的张力——Agent越"自主"，张力越大。企业IT部门的存在理由就是控制：控制谁能访问什么、什么操作需要审批、什么行为必须留痕。Agent的"自主"在本质上意味着绕过这些控制——Agent自己决定用什么工具、访问什么数据、按什么顺序执行步骤。一个真正"自主"的Agent在企业环境中的定义，恰好是企业IT部门噩梦的定义。这不是技术问题——这是组织政治问题。Agent产业在推销"自主执行"时，实际上是在要求企业IT部门放弃他们存在的核心职能。而企业IT部门不会因为这个要求被包装成"AI赋能"就心甘情愿地交出控制权。

同时，"反向收购"模式本身也在向监管发送一个对Agent创业公司不利的信号。如果FTC和CMA最终认定这些交易需要受合并审查规则约束——如果"雇走人才+授权技术"被重新定义为"实质收购"——那么硅谷最常用的Agent创业退出路径就被封死了。对于后续的Agent创业公司来说，这意味着它们不仅在一个收入验证困难的市场上挣扎，而且传统上最可行的退出路径可能被监管关上了。这会进一步压低Agent创业的估值和融资能力——形成一个负反馈循环：更难融资→更难独立生存→更依赖巨头→更可能被反向收购→反向收购路径可能被关闭→更难融资。

从产业演化的角度看，Adept和Inflection的"反向收购"可能标志着一个重要的拐点：独立Agent公司的黄金时代已经结束了。不是因为Agent技术没有价值——恰恰相反，巨头愿意支付数亿美元来获取Agent人才，正是因为Agent技术的价值被充分认可。而是因为Agent的商业化所需要的资源组合——底座模型、云基础设施、企业分发渠道、客户关系、安全合规框架——已经超出了任何独立创业公司能够同时拥有的范围。

这让人想起1990年代中期的互联网浏览器战争。Netscape开创了商用浏览器市场，但Microsoft将Internet Explorer与Windows捆绑后，Netscape作为独立浏览器公司的商业前景就消失了。不是因为Netscape的产品不好——是因为浏览器成为了一个需要操作系统级别的分发能力才能竞争的产品。Agent可能正在经历类似的"平台化陷阱"——它的技术价值是真实的，但这个价值无法被独立公司捕获，因为它需要被嵌入一个更大的平台生态中才能发挥。

如果这个类比成立，那么Agent产业的未来很可能属于云平台和办公套件巨头——Microsoft的Copilot Studio、Google的Vertex AI Agent Builder、Amazon Q、Salesforce的Einstein GPT——而不是独立创业公司。独立Agent公司能做的最好的事情，就是像Adept和Inflection那样：在技术方向上做出足够亮眼的Demo，然后被巨头以"反向收购"的方式吸收。这是一个对创业者来说不算最坏的结果——他们的技术和才能被认可了——但对"独立Agent产业"这个概念来说，是一个判决。

Agent败局的核心是一个减法：PPT上令人窒息的"替你完成工作"的执行能力想象，减去企业现实中几乎不可能为AI开放的系统权限、减去Agent无法获取的工作流上下文、减去执行错误无法回滚的责任机制——剩下的不是商业价值，是Demo。这让人想起牟其中的"炸开喜马拉雅山"——宏大叙事足够壮观，但从叙事到商业实质之间的鸿沟大到无法被任何融资轮次填平。而巨头的收购团队替所有独立Agent公司算了一笔账：与其花二十亿美元买一个价值未经验证的平台，不如花三五亿美元把人才和技术拿到手——在自己的生态里完成剩下的事。

Agent的困难不在于它不会动手。在于一旦它真的动了手，人类才发现自己还没准备好把手交出去——而巨头的收购团队已经在门口等着了。他们买的不是Agent的未来，是Agent公司已经替他们做完了的那部分研发。

xiejin77 · 发表于 6 天前

! o; i" [" [7 n$ p4 c' k第八篇｜开源乌托邦与现金流地狱：Stability AI的摇摆

2022年8月，Stability AI发布了Stable Diffusion。任何人在自己的电脑上输入一句话就能生成一张高质量图像。不需要API调用，不需要按月付费，不需要遵守任何人的内容审核

规则。这是大模型历史上第一次，一个达到商用水平的生成式模型被完全开放权重。

接下来的几个月里，Civitai社区涌现了数万个衍生模型。GitHub下载量突破百万。专业艺术家的工作流被颠覆，广告公司的视觉生产被压缩，独立游戏开发者的美术资源变得几乎免费。用Emad Mostaque的话说，Stability AI要成为"开源AI运动的旗帜"——对抗OpenAI和Google的闭源帝国，用去中心化的技术民主化瓦解少数巨头对AI的垄断。

2022年10月，Coatue和Lightspeed领投1.01亿美元种子轮，公司估值10亿美元。Mostaque登上全球科技媒体的封面——"开源AI的布道者""去中心化智能的先知"。他的演讲充满技术理想主义："你不能用中心化的AI打败中心化的AI。"

18个月后，他辞去了CEO职务。这句话后来被证明是对他自己公司商业模式的精准而无意识的诊断。

开源大模型的账本真相

Stability AI的真实财务状况是通过2024年重组过程中披露的文件和后续调查报道才被外界逐渐知晓的。这些数字比之前任何公开估计都要冷酷。

2023年全年收入约1100万美元——不是之前流传的4400万。而同期仅云基础设施成本就接近每年9900万美元，分布在AWS、Google Cloud和CoreWeave上，加上约5300万美元的运营支出和工资。年化总支出超过1.5亿美元。收入仅覆盖不到7%的成本。每一个月，公司都在烧掉远超其全年收入的钱。传统的"烧钱换增长"叙事在这里失效了——因为收入根本没有在增长。它只是烧钱。

2024年第一季度更糟。收入不到500万美元，亏损超过3000万美元。公司拖欠云服务商和供应商近1亿美元账单，未来计算资源承诺约3亿美元。到2023年10月，公司账面现金只剩约400万美元——对一家估值10亿美元、据称拥有超过1.5亿次Stable Diffusion下载的"独角兽"来说，这个余额约等于零。

这就是大模型开源最核心的商业悖论以一种极端形态暴露出来的时刻。传统开源软件的经济学建立在边际成本为零的基石上——Linux、MySQL、Android，代码写完分发几乎免费，维护靠社区，部署靠用户自己的服务器。但大模型不是软件。每次推理都在烧GPU，每次训练都是数百万到数千万美元。开源的不是"代码"——是一个"每次被调用就产生真实成本的云计算服务"。传统开源漏斗——免费分发→大规模采用→部分转化付费——在大模型领域遭遇了致命反转：免费用户越多，云账单涨得越快。如果漏斗转化率不够高——如果从"免费使用Stable Diffusion"到"购买Stability AI的API或企业授权"的转化无法覆盖免费用户的推理成本——那么"越大越成功"就变成了"越大越快死"。

Stability AI就是这个致命数学最极端的实验品。它拥有全球最大的开源图像模型社区，数万衍生模型，无可匹敌的行业影响力——但2023年全年收入1100万美元。做个不公但并非不合理的对比：Midjourney，一家闭源的、只有十几名员工的公司，在2023年实现了超过2亿美元的收入。不是因为Midjourney的模型比Stable Diffusion好很多——是闭源API的每一张生成都在产生收入，而开源权重的几乎每一张免费生成都在产生成本。两者在商业上根本不是同一个物种。

开源在版权问题上的影响也是反直觉的。开源不仅没有帮Stability AI规避版权风险，反而让侵权更容易被追溯和举证。Getty Images的诉讼能精确指出Stable Diffusion在某些输出中复现了Getty图库的水印——这在技术上的前提正是模型权重是公开的。闭源模型可以在训练数据上保持黑箱，被诉风险因此更低。Stability AI用开源换来了社区和影响力——然后发现这份影响力在法庭上变成了控方最有力的证据。

崩塌的时间线

2023年秋天，Coatue Management给Mostaque发了一封措辞严厉的私人信函——要求他辞职或寻找买家。Coatue和Lightspeed的代表从董事会辞职。这封函件没有被公开全文，但据知情人士向媒体透露，核心指控是Mostaque在融资谈判中对公司财务状况做出了"严重不实陈述"——包括夸大收入数字和隐瞒关键云服务合同的违约风险。公司尝试以40亿美元估值进行新一轮融资——这个数字是2022年种子轮估值的四倍，而此时公司月烧800万美元、年收入仅1100万。没有一家机构愿意接盘。与Jasper AI的出售谈判在最后阶段因价格分歧破裂——Jasper的出价据报不到2亿美元，而Mostaque坚持公司至少值10亿。

随后的人才流失是系统性的。创造了Stable Diffusion的核心研究团队——Robin Rombach、Andreas Blattmann、Dominik Lorenz——全部离开。研究总监David Ha（前Google Brain研究员）入职不到一年就走了。音频副总裁Ed Newton-Rex公开辞职，理由是公司在版权训练数据立场上的虚伪——"我们在用未经授权的数据训练模型，然后在官网宣称我们支持创作者权益。"产品副总裁、工程副总裁、应用机器学习副总裁相继离开。前员工对媒体的描述是"公司被完全掏空了"。

抢救与变形

2024年6月25日，救急融资方案宣布。约8000万美元新资金注入——由前Facebook总裁Sean Parker（出任执行董事长）、前Google CEO Eric Schmidt领投，Greycroft、Coatue、Lightspeed跟投。新CEO Prem Akkaraju来自Weta Digital——彼得·杰克逊的奥斯卡获奖视觉特效公司，曾负责《指环王》和《阿凡达》的特效制作。两个月后，詹姆斯·卡梅隆加入董事会——好莱坞重量级名字为公司的娱乐和VFX方向背书。救急融资的条件是云服务商免除约1亿美元到期债务和3亿美元未来计算承诺。

新管理层迅速将公司从"开源运动旗帜"转向"企业级视觉AI供应商"。Sean Parker在战略公告中列出了四个商业化方向：为开发者提供托管的图像、视频和音频处理流水线；为大企业客户定制私有模型；面向好莱坞和独立创作者的制作工具；以及供第三方应用调用的B2C API。2025年3月，全球最大广告集团WPP宣布对Stability AI进行战略投资，并将其模型整合进WPP Open——WPP的AI操作系统。这笔交易将Stability AI嵌入WPP每年3亿英镑的AI投资版图，定位为品牌叙事和沉浸式内容的生产工具。

Stability AI活了下来。但它和2022年那个被全球数百万创作者视为"开源AI大本营"的公司已经不是同一个实体。放弃全栈开源、收缩B端、用好莱坞管理层替代技术理想主义者——这些选择在商业上都是理性的，甚至是生存必需的。但它们也意味着，那个曾让Stability AI以10亿美元估值融到1.01亿美元的叙事——"用开源对抗闭源巨头"——已经和公司的实际商业方向不再兼容。

更深层的困境在于：失去了开源理想主义的生态黏性之后，Stability AI的商业价值还剩下什么？它之所以能存在，之所以能在2022年以独角兽估值融到钱，之所以能让全球数百万创作者围绕它的模型建立生态——全部建立在Stable Diffusion完全开源之上。创作者被"免费且无限制"吸引而来，围绕开源权重构建了数万个衍生模型、插件、工作流和教程。这个生态的价值不是Stability AI能"捕获"的——它是分散在数百万独立创作者手中的。当新Stability AI变得更"B端"、更"有限开放"、更像一家普通的视觉软件公司时——它拿什么与Adobe Firefly、Getty Images的生成式AI以及Runway这些本就深耕B端视觉赛道的公司竞争？它曾经的唯一护城河是"开源社区"。而当它主动放弃这条护城河——或者说被生存压力逼迫着放弃——它在商业竞争中的位置就从"独特的开源平台"变成了"又一个卖视觉AI工具的公司"。而后一个赛道的竞争激烈程度远超前者。

更深层的困境在于：失去了开源理想主义的生态黏性之后，Stability AI的商业价值还剩下什么？它之所以能存在，之所以能在2022年以独角兽估值融到钱，之所以能让全球数百万创作者围绕它的模型建立生态——全部建立在Stable Diffusion完全开源之上。如果新Stability AI变得更"B端"、更"有限开放"、更像一家普通的视觉软件公司——它拿什么与Adobe Firefly、Getty Images的生成式AI以及Runway这些本就深耕B端视觉赛道的公司竞争？它无法以原来开源理想主义的方式活下去，也无法以任何其他方式成为原来的自己。这就是它最深层的悲剧。

为什么Mistral活得下来而Stability不行

把Stability AI与法国Mistral AI并排看，开源AI的商业化条件会变得极其清晰。

Mistral从一开始选择"开放权重而非完全开源"——发布模型权重，但不公开训练数据和RLHF流程。纯粹主义者批评这是"开放的漂绿"，但它在商业上为Mistral保留了变现杠杆。企业客户想要优化过、有技术支持的版本，仍需付费。更重要的是Mistral的产品定位——企业级文本处理，B端客户，高频API调用，持续付费。文本生成的每次调用都是短小、高频、可计费的单位。

图像生成天然不同。它面向C端创作者——低频、非刚性、替代方案极多。一个平面设计师用Stable Diffusion生成了100张图，不会为此付一分钱。而一个企业客户用Mistral的API处理了1000次文本任务——每一笔都有账单。

Meta的Llama代表第三种逻辑——开源作为对抗闭源的生态武器，由年收入超过1300亿美元的广告业务买单。Meta不靠Llama赚一分钱。它要的是全球开发者围绕自己的技术栈构建生态，类似于Google当年开源Android对抗iOS。开源在Meta手里是生态建设，在Mistral手里是营销漏斗，在独立且全栈开源且面向C端且没有其他收入的Stability AI手里——是财务自杀。

三种开源活法取决于两样东西：谁在开源，开源了什么。Stability AI把两样都押在了最难的象限——一个没有广告现金牛的独立公司，面向最不具付费习惯的C端创作者，开着最彻底的源。

Stability AI的经历给整个开源AI运动留下了一个至今没有解决的核心问题：大模型的开源社区影响力如何被转化为可持续的商业价值？如果答案是"不能"——那么开源大模型的未来就只有两种形态：要么是Meta式的被广告或云业务现金牛喂养的巨头生态项目，要么是Mistral式的"半开放+企业B端"的伪开源。两者都不支持Stability AI在2022年所代表的那种"独立开源AI运动"的愿景。

但Mostaque的辞职声明中"你不能用中心化的AI打败中心化的AI"这句话，在另一个层面上仍然是对的。大模型产业的少数巨头垄断——底座模型、云基础设施、分发渠道——正在持续收紧。如果Stability AI的崩塌让人们认为"开源AI不可行"，从而默认接受闭源巨头对AI能力定义和定价的全面控制——那这才是它最昂贵的代价。不是Stability AI这家公司没了——是一个独立于巨头之外的、真正开放的技术民主化选项被市场验证为"不可持续"，从而让所有人对开源AI的商业可行性产生了永久性的怀疑。

Stability AI的崩塌给整个开源AI运动提出了一个至今没有答案的核心问题：开源大模型的"成功"应该怎么定义？如果定义是"社区影响力"——Stable Diffusion无可争议地成功了。超过1.5亿次下载，数万衍生模型，全球数百万创作者将其嵌入工作流。如果定义是"推动技术民主化"——Stable Diffusion同样成功了。它降低了AI图像生成的门槛到几乎为零。如果定义是"建立可持续的商业公司"——它失败了，而且失败得如此彻底以至于整个"独立开源AI公司"这个类别都因它而遭受了永久性的信誉损伤。

这种"社区成功但商业失败"的撕裂指向了一个更根本的问题：在大模型领域，社区的繁荣和公司的生存可能不仅仅是两种不同的目标——它们可能在结构上是冲突的。社区繁荣需要"越开放越好"——免费、无限制、全栈开源。公司生存需要"越能捕获价值越好"——至少在某些环节设置付费墙、控制分发、保持稀缺性。这两套逻辑在传统开源软件中可以共存（Red Hat通过企业服务赚钱，而社区享受免费的Linux），但在大模型领域中这种共存被推理成本摧毁了——免费的每一次使用都在产生真实的、无法忽略的成本。当社区使用量与你需要支付的云账单成正比时，社区的繁荣就不再是公司的资产——它是公司的负债。

开源大模型的败局公式是财务自杀式的减法：无与伦比的社区影响力加上纯粹的技术民主化理想，减去持续燃烧的算力成本（9900万美元/年）和几乎为零的C端付费转化率——结果不是零，是每年6000万美元的现金流黑洞。二十多年前秦池用标王买下了全国的注意力，但注意力不能支付从四川邛崃买基酒勾兑的账单。二十多年后Stability AI用开源买下了全球创作者的拥戴，但拥戴不能支付AWS和CoreWeave每个月寄来的云账单。

开源的光环可以照亮一个时代，但照不亮财务报表上那行持续燃烧的算力成本。在大模型的世界里，开源不是一种商业模式——它是需要被商业模式喂养的理想。没有喂养者的理想，会在18个月内被9900万美元的年云账单活活饿死。

xiejin77 · 发表于 5 天前

第九篇｜当"AI公司"比AI更像一场包装术

2025年5月20日，Builder.ai新任CEO Manpreet Ratia在一次全员电话会议中宣布公司启动破产程序。他的原话是："公司无法从历史挑战和过去的决策中恢复过来。"

三个月前，创始人Sachin Dev Duggal被替换——卸任CEO，保留"首席巫师"（Chief Wizard）这个自封头衔和董事会席位。两个月前，印度执法局将Duggal列入洗钱调查（他否认指控，自称仅为证人）。宣布破产时，主要债权人Viola Credit已经扣押了3700万美元现金——公司账面仅剩约500万。公司在美国和英国的银行账户一度归零，甚至试图从新加坡账户紧急调拨资金发工资，被债权人当场冻结。美国纽约南区联邦检察官办公室要求Builder.ai提交财务报告和客户关系文件。微软被欠约3000万美元，亚马逊被欠约8500万美元。

而仅仅两年前，Builder.ai完成了一轮由卡塔尔投资局领投的2.5亿美元D轮融资。微软参投。Insight Partners和软银跟进。峰值估值16.3亿美元。Duggal在全球论坛上用标志性的卷发和自信的笑容反复讲述同一个故事："像点披萨一样生成App。"AI理解你的需求，平台自动组合出软件——开发周期从几个月缩到几天，成本从数十万美元降到几千美元。全球数百万雇不起开发团队的中小企业全是你的客户。

这个故事几乎完美击中了AI投资叙事的每一个触发点：巨大的TAM（全球软件外包市场数千亿美元）、"AI替代人力"的性感概念（替代程序员）、"连续创业者"光环（Duggal此前的云服务公司卖掉了）、顶级投资方背书（微软和卡塔尔主权基金给所有后续投资人降低了警惕）、技术方案听起来完全可行——大模型在2023年确实能生成代码了。

三年后，这个故事以破产告终。不是"AI技术不成熟"。不是"市场不接受"。是收入在很大程度上是假的。

土耳其机器人的250年传统

Builder.ai的本质不是一家科技公司。它是"人工伪装自动"这一250年传统的最新继承者。

1770年，匈牙利发明家Wolfgang von Kempelen在奥地利女大公面前展示了一台"自动下棋机器"——土耳其机器人（The Turk）。木制人偶坐在棋桌后面，在棋盘上移动棋子，击败了拿破仑和富兰克林。这台机器在欧洲巡展了几十年。直到1854年在一场大火中被烧毁——人们才发现棋桌底座里一直藏着一个真人的国际象棋大师。一直到21世纪，Amazon依然用"Mechanical Turk"命名自己的众包微任务平台——"看上去是AI、背后是人类"的逻辑从未消失。19世纪的"会说话的机器"里藏着口技演员。20世纪早期的"会计算的机器"底座里藏着会计。每一次新技术浪潮——蒸汽、电力、计算机——都催生了同一类骗术：把人力藏在机器背后，用技术叙事先行融资。

大模型时代让这种包装术的操作空间变得更大，而不是更小。因为大模型确实能生成代码——这是包装术的"可信基础"。

2019年，《华尔街日报》的调查报道援引前员工的说法，称Builder.ai的前身Engineer.ai所谓"AI自动生成软件"大量依赖印度外包工程师手动编码，然后将人工劳动包装为"AI生成"。"AI"被描述为营销概念而非技术现实。当时行业的反应是"又一个装AI的公司被揭穿了"。

但到了2023年——GPT-4已经能生成质量不错的代码——Builder.ai的叙事听起来比2019年可信得多。不是因为Builder.ai的技术变了，而是因为整个行业的技术基线被大模型抬高了。你可以调用GPT API做一个炫目的Demo——输入"电商App"，三分钟出来一个功能齐全的原型。投资人不会知道那个Demo背后是提前准备好的模板库加人工后期拼接。

"三分技术、十分包装"的操作空间在大模型时代不是缩小了，是扩大了。随便一个公司都能调用GPT API完成一些看起来像AI的任务。但从"能调用API做Demo"到"AI真正改变了成本结构和交付质量"之间——隔着工程化、产品化、商业化的三重鸿沟。大多数投资者和客户无法在尽职调查中区分"Demo能跑"和"商业能规模化"。于是"三分AI"被包装成"十分AI"。"十分"的估值随之而来——16.3亿美元。

当财务报表先于AI技术穿帮

2024年3月，内部审计发现收入被虚报了20%到25%。2023年实际收入从报告的约1.8亿美元被大幅下调。2024年预测从2.2亿美元砍到5500万。2025年预测再砍到3500万。

但致命问题不是"报少了"——是"那些被报了的收入根本没发生过"。

调查聚焦于通过第三方"转售商"——主要在中东——记录的约1.2亿美元销售。操作手法是以极低预付款（有时仅几百美元）签订大额合同，将合同全额记为收入。款项的大部分从未实际收回。此类坏账累计超过2600万美元。

这不是"盈利能力弱"。这是账是假的。

"像点披萨一样生成App"的叙事，和"用几百美元预付款做假合同记为营收"的财务操作——这两者之间不是偶然的并存。它们共享同一套底层逻辑：制造看起来比实际更大的东西。在PPT上把"人工交付+API Demo"包装成"AI平台"。在Excel里把"几百美元预付款"包装成"大额合同收入"。在路演中把"16.3亿美元估值"包装成"下一个企业软件巨头"。

Duggal"连续创业者"的标签让人们对他的叙事产生了惯性信任。微软的投资给这些话术披上了技术可信度的外衣。卡塔尔投资局的D轮领投给所有后续投资人传递了同一个信号：主权基金已经做过尽调了，可以放心跟投。

但这层层背书掩盖了一个最原始的问题。如果你的"AI平台"真的能像你宣称的那样自动生成软件，你的毛利率应该远超传统外包公司。但你2023年的真实收入只有传统中型外包公司的水平。你的成本结构也没有AI公司应有的技术杠杆效应。几百名印度外包工程师在后台手动写代码——这不是AI改变了成本结构，这是传统的劳动密集加上AI标签的估值溢价。当估值溢价撞上"收入是假的"这堵墙时，碎的不只是16.3亿美元的泡沫——还有那些看见微软和QIA的logo就自动放下警惕的尽职调查本能。

"首席巫师"与估值炼金术

Builder.ai全系列败局中最具象征意义的细节，不是破产本身，不是收入造假，甚至不是Duggal被印度执法局调查——而是他给自己保留的那个头衔。"首席巫师"——一个融了5亿美元的公司创始人的自选官方职位。

在某种意义上，这个头衔比任何商业分析都更诚实地说明了Builder.ai的本质。Duggal不是在经营一家科技公司——他在表演一种叫"AI创始人"的社会角色。他的核心产品不是软件——是他自己讲的那个故事。卷发、自信的笑容、TED风格的舞台呈现、"像点披萨一样生成App"的完美电梯演讲、微软和QIA的logo在Pitch Deck上的排列——这些不是公司产品的营销，这些就是公司的产品。

Builder.ai是AI泡沫最纯粹的蒸馏物。不是"技术失败了"——技术从来就不是主角。不是"产品市场不匹配"——产品市场的匹配与否从来就不是重点。是叙事先于实质、估值跑在收入前面、包装比产品更重要的必然终局。

更深层的问题是：为什么微软和卡塔尔投资局这样经验丰富的顶级投资机构——拥有庞大的尽调团队和行业专家网络——会在Builder.ai身上栽跟头？答案不完全是"他们被骗了"。在2023年D轮融资时，生成式AI正处于投资狂热的顶峰。ChatGPT向世界展示了AI真的能生成代码。"AI自动开发软件"的叙事因此比2019年听起来更可信。微软自己就在大力推动AI——它投资Builder.ai不仅是一笔财务投资，更是一种"AI生态系统布局"。卡塔尔投资局作为主权基金，有明确的"科技多元化"战略目标——AI是核心赛道之一。

当一笔投资同时满足"赛道正确""技术趋势加持""顶级合作方参与"和"对战略目标有贡献"这四项时——对单个被投企业的业务细节进行严格验证的动力会系统性地减弱。不是因为尽调能力不够——是因为在那个时间点上，说"不"的机会成本（错过AI赛道下一个潜在巨头的风险）被感知为远高于说"是"的财务风险。

这就是AI泡沫与传统金融泡沫最相似的地方。不是"没有人看到问题"——是"看到了问题但没有人愿意因为这些问题而错过更大的叙事"。2008年金融危机前的抵押贷款证券化中有完全相同的心态：每个人都知道某些底层贷款质量可疑，但只要你相信房价会继续涨——那些可疑的细节就不足以让你退出这个市场。在大模型泡沫中，"AI会继续变强"替代了"房价会继续涨"——成为那个被所有人默认的前提，从而免除了对具体公司、具体产品、具体收入的深入验证。而Builder.ai就是这种系统性验证松懈所产生的最极端的结果之一。

土耳其机器人在1854年被烧成了灰，但藏在棋桌底座里的棋手从来没有离开过。他只是换了一张桌子。这张桌子，现在叫"AI平台"。

Builder.ai的破产在AI投资圈引发了一个尴尬但很少被公开讨论的问题：尽职调查在大模型时代是否正在系统性地失效？传统的VC/PE尽职调查侧重于验证：收入是否真实？客户是否真实？技术是否如所述？竞争壁垒是否存在？但在AI投资热潮中，这些传统验证步骤面临一个前所未有的挑战——当"AI"本身就是一个快速移动的技术目标时，"现在还不行"从来不能作为否决不投资的充分理由。去年的"不行"可能是今年的"行业标配"。于是，"技术的可能性"替代了"技术的实际状态"，成为投资决策的基础。而Builder.ai完美地寄生在这个裂缝里。

更深一层的尴尬是：Builder.ai的投资方——微软、QIA、Insight Partners——不是没有能力做尽调。微软拥有全球最庞大的企业软件生态和最专业的技术尽调团队。问题不在于"看不到问题"，而在于"看到了问题但投资逻辑不依赖于这些问题的答案"。微软投资Builder.ai的逻辑可能包括：战略卡位（AI低代码赛道）、生态布局（Azure云消耗）、以及与Microsoft Power Platform的潜在整合。在这些战略目标面前，Builder.ai自己的收入是否真实、AI技术是否如所述——这些"细节"在投资委员会的PPT上被归类为"执行风险"而非"投资逻辑破坏者"。而"执行风险"的定义本身就意味着"值得冒的风险"。

Builder.ai的坍塌还给AI产业留下了一个更广泛但更少被讨论的教训：AI公司的尽职调查需要一种不同于传统软件公司的验证方法。传统SaaS尽调的核心是验证ARR、客户留存率、毛利率——这些都是基于"公司在卖一个真实产品给真实客户"的前提。但AI包装术公司的收入可能混合了"真实收入"、"被夸大金额的真实收入"和"完全虚构的交易"三种不同的类别。传统的财务审计——抽样、函证、趋势分析——在设计之初并没有考虑到"创始人可能雇了几百个人假装AI在工作"的场景。AI尽调需要的不仅仅是财务审计，而是技术验证：这个平台的实际自动化程度是多少？人工在交付链路中的占比是多少？AI生成的代码在最终交付物中的真实比例是多少？不回答这些问题，任何AI公司的收入数字都可能只是土耳其机器人棋桌底座里的棋手——存在，但不在你看到的那个位置。

而Builder.ai事件中另一个不应被忽略的细节是监管响应的滞后。从2019年《华尔街日报》首次揭露其"AI包装术"，到2024年内部审计发现问题，到2025年破产——中间有整整六年。在这六年里，Builder.ai从微软和卡塔尔投资局手里拿到了数亿美元。没有任何监管机构在这六年间对该公司"AI自动生成软件"的技术声明进行过实质性核查。这六年恰好是大模型产业融资最狂热的时期——从GPT-3到GPT-4，从零到数百亿美元流入AI赛道。当整个产业的估值建立在"AI正在改变一切"的叙事之上时，监管机构对个别公司"AI能力是否如所述"的审慎调查动力会被系统性地削弱——因为质疑任何一家公司的AI叙事，在当时的舆论氛围下都会被视为"质疑AI的未来"。

Builder.ai的败局公式是一个乘法加法的混合运算："AI自动生成软件"的自动化叙事，乘以背后数百名外包工程师的人工交付，加上资本（微软+QIA+软银）的无条件放大效应，最终当财务数据被证明在很大程度上是虚假的时——所有因子在同一瞬间归零。这让人想起牟其中那架用500车皮轻工产品换来的图-154飞机——交易是真实的，但围绕交易所建立的"炸开喜马拉雅山"级别的宏大叙事远远超出了商业实质能承载的重量。Builder.ai的"像点披萨一样生成App"就是大模型时代的"炸开喜马拉雅山"——叙事太宏大，以至于没有人愿意在尽职调查中问那个最朴素的检查性问题："你平台的实际自动化比例到底是多少？"

在大模型时代，最需要被识别的不是机器是否像人，而是有多少人藏在机器背后，假装自己已经消失。当"首席巫师"的估值炼金术撞上了"收入是假的"这堵墙——碎掉的不只是泡沫，还有所有看见顶级投资方logo就自动放下警惕的本能。

xiejin77 · 发表于前天 10:41

第十篇｜企业Copilot泡沫：为什么"人人一个AI助手"没有想象中容易

2023年3月，Microsoft发布了Microsoft 365 Copilot——嵌入Word、Excel、PowerPoint、Teams、Outlook，基于GPT-4。Satya Nadella在发布会上说，"这是一个新时代的开始。"定价30美元/人/月，叠加在已有的M365订阅之上。

分析师的算盘瞬间打响。4.4亿M365商业用户。假设10%付费。年收入增量约150亿美元。JP Morgan预测2026年Copilot达到100亿美元年收入。这个数字比其他任何AI产品都性感——不是创业公司的PPT，是微软已经有的用户基数、已经嵌入的企业入口、只需"点亮"即可收费。

2023年11月正式商用。2024年中，The Information引用匿名分析师估计：真正购买了Copilot的M365商业用户比例——0.1%到1%。同期，Morgan Stanley研究笔记被曝光：某制药公司CIO在试用500个Copilot席位六个月后取消了全部订阅。他对分析师说的原话是："AI生成的幻灯片质量差不多是中学生作业水平。价格是两倍。而我们真的看不到价值能值这个价格。"

Microsoft CVP Jared Spataro自己对The Information承认了问题的另一面："组织的吸收能力跟不上创新的速度——他们甚至凑不出预算来买这些东西。"

与此同时，Microsoft在早期广告中引用Forrester Consulting的一项研究，声称Copilot能实现"日常任务效率提升29%"和"三年ROI 112%到457%"。2024年，美国全国广告审查局（NAD）对Copilot广告发起审查。Microsoft自愿撤下了"29%更快"和"112%到457% ROI"这两项——整个营销叙事中最有力的数字。NAD随后裁定"67%、70%和75%的用户认为更有效率"基于主观自我报告——用户个人的"感觉"，而非客观生产率测量数据。Microsoft被要求明确披露这些数字的主观基础，否则停止使用。

这不是广告问题。这是整个企业AI价值主张的骨骼被X光照射之后——发现里面是空的。至少目前是的。

混乱的知识库加聪明的AI等于流畅的混乱

Copilot在销售演示中自洽得令人窒息。它是"你的工作副驾驶"——一键嵌入，零部署成本，零培训成本。

但在真实的企业环境里，Copilot打开Word帮你写报告时——它引用的源文件是什么？你的SharePoint里压着三个版本的项目计划书、五个版本的年报、无数不完整的草稿和几十个早已废弃的模板。Copilot不是"最好的AI访问最好的知识库"，它是"一台聪明的AI在访问一个混乱的知识库"。当源数据本身矛盾、过时、不完整时，AI的输出只会更混乱——不是它不聪明，是它读的东西本身就不对。

权限是另一道独立的墙。Copilot理论上只检索你有权限访问的文件。但大多数企业从未建立过颗粒度精细的文档权限体系。一份本应保密的产品路线图挂在SharePoint上，从未被标记为"机密"——AI把它总结出来展示给一个实习生。不是因为系统有漏洞，是因为那份文件在组织治理层面从未被正确分类过。这不是AI的问题，是组织治理的问题。但用户不会去追究IT部门十年前没规范好权限——用户会觉得"这AI不安全"。

最根本的问题在人。大模型的使用方式不是软件菜单式的——它需要对话。而大多数白领从未受过"如何向AI提问""如何判断AI回答是否可靠""如何在AI辅助下复核自己工作"的训练。CEO花几十万美元买了Copilot席位后面对的现实是：一部分员工根本不用（不知道怎么用），一部分只用它写无关紧要的邮件（跟不买没区别），一小部分过度依赖AI输出——包括把AI生成的虚假数字粘贴进董事会报告。

Shadow AI和"买前不建地基"的综合症

2023年4月，Samsung半导体部门的三位工程师分别做了三件事：一个把半导体测量设备源代码贴进ChatGPT求修复，一个把良率识别机密代码贴进去求优化，一个把内部会议录音转写贴进去求纪要。这些代码和录音通过ChatGPT流向了OpenAI的外部服务器，无法追回，无法删除。Samsung随即在公司内部全面禁止了外部生成式AI工具——禁令持续近两年。但一项内部调查显示，在禁令发布之前，65%的员工就已经认为生成式AI有安全风险——而在禁令之后，员工只是从公司电脑转到了个人手机。

这不是Samsung的孤例。Salesforce和Gartner在2023年的调查指向同一个数字：约半数到六成的知识工作者正在使用"未经雇主批准"的生成式AI。JPMorgan、Bank of America、Citigroup、Verizon、Accenture几乎在同一时期实施了类似的内部禁令——不是"反AI"，是"反未经治理的AI"。

这就是Copilot在自己都不知道的泥沼中起步的地方。企业的现实是：员工在Copilot部署之前就已经在用各种外部AI了，数据失控在Copilot合约签订的那一刻早已发生。在"数据已经失控"的基础上叠加"官方AI访问"——结果不是安全，是让官方AI合法访问那些已经失控的数据，然后用更流畅、更权威的语言把混乱输出给需要做决策的人。而那个人看到的是"Copilot基于您公司的文件生成"——他信了。

ROI的黑洞与幻觉循环

Copilot最致命的问题不在于"好不好用"——在于"价值无法被证明"。

写邮件速度快了29%——这个效率增益怎么转化为财务数据？它会让公司今年多签三个大客户吗？会让成本下降吗？会让收入增加吗？"个体任务效率"与"企业财务表现"之间的因果关系松散到不可追踪。当CFO年底问CIO"500个Copilot席位花了180万美元，给公司带来了什么"——CIO能给出的最好答案是"满意度调查显示员工觉得有帮助"。这个质量的答案撑不起下一年的续费。

AI产业的营销和企业采购之间因此形成了一个互相默许的幻觉循环。卖家说"这东西插上就能用"，买家说"我们组织准备好了"——双方都知道对方没说真话，但双方都从这个幻觉中获益。卖家拿到合同。买家向CEO展示了"我们走在AI转型前沿"的证据。唯一的输家是那些真正要用Copilot的一线员工——他们被夹在混乱的数据、不清晰的权限、未经培训的使用方式和一年后即将到来的不续费通知之间。

Gartner预测到2025年底至少30%的生成式AI项目会在POC后被放弃——不是因为AI不工作，是数据质量差、风险控制成本高、商业价值不清、组织动员不足。这30%不是"失败的AI项目"，这30%是"在组织准备好之前就被营销压力推进部署的AI项目"。

从产业结构的角度看，Copilot的困境折射出一个更大的问题：AI产品的定价模型和企业的支付意愿之间存在根本性的错配。Microsoft对Copilot收取每席位每月30美元——这是一个基于"每个用户都会持续获得价值"假设的SaaS定价。但Copilot的实际使用模式是高度不均衡的：一小部分重度用户确实觉得有用（通常是因为他们自己的工作任务恰好与AI的强项高度匹配），而大多数轻度用户要么不用、要么觉得不值得。这种"少数人获益、多数人买单"的价值分布，在任何企业软件的续费决策中都是致命的——CFO不会说"有些员工觉得有帮助所以续费"，CFO会说"我们能不能只给那些实际在用的员工买？"

这就产生了一个对Microsoft和其他企业AI供应商来说极其尴尬的局面。如果按活跃用户付费，收入会远低于预期（因为活跃用户远少于总席位）。如果按总席位强制捆绑——像当前M365 Copilot的销售方式——续费率会持续承压。两种方式都不通向分析师预测的"150亿美元年收入增量"。

而从更长的技术史视角看，企业AI面临的"组织吸收能力跟不上技术能力"的困境，在IT行业历史上反复出现。1990年代ERP系统（SAP、Oracle）大规模部署时，超过一半的项目超预算、超时间或直接失败——不是因为ERP软件不好，是因为把ERP部署到一家真实企业的混乱业务流程中所需要的组织变革，远超任何软件供应商在销售演示中承认的程度。同样地，2010年代的大数据平台（Hadoop、Spark）承诺"从数据中挖掘洞察"，然后大量企业发现自己的数据根本不够干净、不够结构化、不够集中——工具摆在那里，但没有可用的数据给它加工。AI Copilot正在重演同一部电影，只是换了一组演员。技术能力跑在前面，组织变革被营销术语跳过了，然后失败的理由永远是"用户不会用"而非"我们卖了一个需要组织重建才能使用的产品"。

AI不会自动让一个组织变聪明。它只会把一个组织原本的混乱，以更流畅的语言说出来。先买Copilot再补治理——先让混乱流畅化，再试图控制流畅的混乱——这个顺序本身就在制造Copilot必然令人失望的预设。

这引出一个更深层的问题：企业AI市场的定价模式和组织实际吸收能力之间的错配，是否会迫使供应商改变销售策略？目前Microsoft对Copilot采取的是"全席位捆绑"模式——要买就得给整个部门或整个公司买，不能挑"只有真正在用的那几个人"。这种模式在早期市场是理性的——最大化收入、最快占领市场份额、用"全公司都在用"的叙事来建立品牌护城河。但如果续费率持续承压——如果越来越多CIO像那位药企CIO一样在六个月的蜜月期后取消订阅——Microsoft将被迫面对一个选择：要么改为按活跃用户付费（收入大幅低于预期），要么将Copilot捆绑进更高阶的M365订阅套餐中强制收费（引发反垄断关注），要么持续降价直到价格与用户感知价值匹配。这三种选择都不通向JP Morgan预测的"年收入100亿美元"。

从更长的技术史视角看，企业AI面临的困境在IT行业历史上反复出现。1990年代ERP系统大规模部署时，超过一半的项目超预算、超时间或直接失败——不是因为SAP或Oracle的软件不好，是因为把ERP部署到真实企业的混乱业务流程中所需要的组织变革远超任何软件供应商在销售演示中承认的程度。2010年代的大数据平台——Hadoop、Spark——承诺"从数据中挖掘洞察"，然后大量企业发现自己的数据根本不够干净、不够结构化、不够集中。工具摆在那里，但企业没有可用的数据给它加工。AI Copilot正在重演同一部电影——技术能力跑在组织变革前面，组织变革被营销术语跳过，失败的理由永远是"用户不会用"而非"我们销售了一个需要组织重建才能使用的产品"。这不是Microsoft的问题。这是所有企业级AI供应商共同面对的结构性矛盾。

企业Copilot的困境在某种意义上是大模型产业最诚实的压力测试——因为它发生在"AI已经足够好"的前提下，测试的是"组织是否准备好"。而测试结果——0.1%到1%的付费渗透率、药企CIO的六个月取消、NAD对ROI声明的否决——指向了一个对整个企业AI产业来说极其不便的结论：大模型的技术能力已经超过了大多数企业的组织吸收能力。不是AI不够好——是大多数企业的数据、权限、流程和员工素养还没准备好。

这个"能力-吸收鸿沟"不是暂时的。它是结构性的。技术的进步速度——以GPT-3到GPT-4再到GPT-4o的节奏——持续快于大多数企业变革内部流程和数据治理的速度。技术迭代以月为单位。ERP升级以年为单位。数据治理以十年为单位（如果企业真的在做的话）。只要这三个时间尺度之间的差距不被压缩——只要模型以每18个月翻倍的速度进步而企业的SharePoint权限体系以每18年都不一定被重建的速度停滞——"AI已经ready但组织没有ready"的困境就不会消失。Microsoft可以继续卖Copilot。企业可以继续买Copilot。但在这个鸿沟被正视和填补之前，Copilot的ROI将始终停留在"员工主观觉得有帮助"和"CFO无法在数字上证明"之间的无人区。

企业Copilot的败局公式是五个变量的加法堆积：CEO对"AI转型"的叙事期待，加上底层SharePoint和文件系统中十年未清理的数据混乱，加上从未被精细定义的文档权限，加上完全没有建立的AI输出复核机制，再加上被主观自我报告包装成"457% ROI"的虚假财务预期——五者叠加的结果不是转型，是每席位每月30美元的沉默成本。二十多年前三株口服液用15万销售大军覆盖了全中国，但组织能力和风控体系完全没有跟上渠道的膨胀速度——渠道跑得太快，管理跟不上。企业Copilot就是今天的三株：AI能力被部署到每一个员工的桌面上，但组织治理——数据结构、权限体系、输出审计、员工素养——远远没有跟上。

每一个声称"我们已经用上AI了"的企业，背后都应该站着一个能回答这个问题的人：你的组织秩序能不能撑住你买的那些Copilot席位？如果答案是"还没建好"——那它不是AI转型先锋。它是每月账单上多出来的一行30美元订阅费，和一年后一份不续费的内部备忘录。

xiejin77 · 发表于 5 小时前

第十一篇｜金融大模型的红线：从报告助手到责任机器

2023年，纽约律师Steven Schwartz在代理Mata诉Avianca航空案时用ChatGPT进行法律研究。ChatGPT为他生成了多个格式完全正确的"相关判例"——合理的案情描述、标准的引用格式、完美的法律措辞。他将这些"判例"提交给了联邦法院。

这些判例全都不存在。ChatGPT编造了它们。

如果一名持证律师会把AI编造的法律判例提交给联邦法庭——银行的信贷审查员会不会把AI编造的数据写进授信报告？投顾会不会把AI编造的"历史收益率"发给客户？风控分析师会不会把AI错误标记的"安全"盖在一个本应触发警报的交易模式上？

金融是文本最密集、制度最密集、材料最密集的行业之一。贷款合同、合规文件、投研报告、客户尽调、监管报送、反洗钱审查——金融日常作业的本质是对大量复杂文本的处理和判断。大模型最擅长的就是处理文本。所以金融行业对AI的拥抱不是追风口——是"基因级匹配"。

恰恰因为这种匹配是真实的，它才更危险。它让人无法分辨"模型在辅助判断"和"模型在替代判断"之间的那条线。而在金融体系中，线的对面就是责任。

从"帮查资料"到"替你执行"——六条红线

金融大模型的风险不是均匀分布的。它是一道逐级跳跃的滑坡——而每一级跳跃都有人在"这跟上一级差不多"的错觉中跨过了红线。

第一级：文档摘要和知识检索。AI帮你总结一份监管文件，漏掉了一条关键条款。AI帮你检索内部制度，返回了一个过期版本。单位层面的影响有限。但如果一个部门几百人都在基于同一份AI生成的错误摘要做决策，影响被系统性放大。

第二级：投研辅助和风险提示。AI在分析一家公司财务数据时，被一份粉饰过的年报误导，给出"财务状况稳健"的结论。AI在扫描市场异常信号时产生假阳性——让交易员错误清仓了正常波动的资产。这类错误在几秒内变成真实的盈亏。

第三级：客服和消费者接触——带合规敏感性。美国消费者金融保护局（CFPB）在2023年关于金融聊天机器人的专题报告中指出了一个此前被大多数银行的风控框架忽视的核心问题：当客服机器人让消费者陷入"死循环"——不断转接到错误部门、给不出明确答复、答非所问——这在金融消费者保护的法律框架下不只是"体验问题"。阻碍消费者获取正确信息和权益救济，本身就可能构成不合规行为。AI客服不是"只是一个机器人"——它是消费者与金融机构之间的信息通道。通道堵了，责任就堵了。

第四级：合规审查和反洗钱初筛。AI的假阳性——正常交易被误标为可疑——增加不必要的调查成本，延误正常业务，损害客户关系。AI的假阴性——真正可疑的交易没被识别——将银行暴露在反洗钱合规风险和监管处罚之下。而AI在假阳性与假阴性之间如何平衡——目前没有任何监管指南告诉金融机构该怎么拿捏。

第五级：授信审批和保险核保。这是大模型越界最危险的一条红线。当AI从"帮你整理申请材料"变成"给出拒绝建议"——它进入了一个受到严格监管的"自动化决策"领域。欧盟GDPR第22条赋予消费者"不受完全自动化决策约束"的权利——如果该决定产生法律效果或类似显著影响。AI给出的拒绝是否构成"自动化决策"？如果人类审批员仅仅"橡皮图章"了AI的结论——在监管眼里这是"人类决策"还是"自动化决策"？全球没有任何司法辖区给出完整回答。这种从"辅助"到"替代"的温水煮青蛙式越界，在金融领域有一个令人不安的历史回响：1990年代的中国商业狂飙中，秦池用银行借贷拍下3.2亿标王、史玉柱用销售预收款不断加高巨人大厦——"钱来得太容易了"的集体心态让风险定价机制全面失效，因为所有人都默认"明天会更好"。今天，"AI能搞定"正在替代"明天会更好"，成为新的"风险可以被推迟验证"的默认前提。

第六级：投资建议、支付执行和交易决策。如果AI Agent从"告诉你可以买什么"变成"替你买了"——它就不再是工具，而是进入了责任主体的位置。但在法律上，责任主体必须有法律人格。Agent不是自然人，也不是法人。它处在一个法律完全不可归责的真空地带——但它的行为会产生真实的、可能是不可逆的金融后果。当Agent用客户资金做了一个错误交易——客户说"你平台推荐的AI帮我做的决策"，平台说"AI不是人、客户授权了自动交易"，监管机构说"没有现行法律明确规定Agent操作的责任归属"——三角形的中心是客户的资金。

深度合成对金融身份信任的攻击

金融大模型的风险地图必须同时覆盖两个方向：AI在内部做了什么，以及AI被用于从外部攻击什么。

2024年2月，香港某跨国公司财务人员收到一通视频电话。画面中的CFO——脸是他每天在办公室见到的那张脸，声音完全一致，语气完全一致——指示他向五个海外账户转账2亿港元。他照做了。事后调查发现：视频中的"CFO"是AI深度伪造——诈骗者使用CFO的公开演讲视频和社交媒体照片，用深度合成技术制造了一段实时视频通话。2亿港元至今未能追回。

这不是孤例。2024年全球因AI深度合成导致的金融诈骗案激增——AI换脸绕过人脸识别、声音克隆冒充高管、深度伪造视频用于商业邮件诈骗。所有案件共享同一个认知漏洞：大模型时代"眼见不再为实"。当视频可以实时伪造、声音可以精准克隆——金融体系的远程身份验证基础设施正在从外部被系统性瓦解。

但在大多数金融机构的"AI策略"中，迄今为止的关注点几乎全在第一个方向——将AI嵌入内部流程以提升效率。几乎没有机构将"AI正在从外部瓦解身份信任基石"纳入AI风险评估框架。

全球监管的三条赛道

金融大模型的监管正在全球同步加速——但节奏、方向和前提完全不同。

欧盟走"法律先行的强监管"。《人工智能法案》将信用评估AI列为高风险——强制合格评定、风险管理、人工监督和透明度。GDPR第22条的"不受完全自动化决策约束"权利直接限制了AI驱动的自动化授信。

美国走"多机构协同但无统一立法"路线。CFPB将金融聊天机器人定性为潜在"不公平或欺骗性行为"并纳入执法范围。SEC关注AI投资建议。OCC和美联储在银行监管范畴内发布AI指南。但缺乏统一法案——监管覆盖存在缝隙。

中国走"集中立法+垂直监管"双轨制。《生成式人工智能服务管理暂行办法》对AI服务提出基础要求——安全评估、算法备案、内容审核。《深度合成管理规定》对AI换脸和声音克隆在金融领域的应用设置了额外合规约束。央行、金融监管总局、证监会在各自范围内发布了指导意见。

对跨国金融机构来说，这不是学术比较——是在三套法律框架下同时合规的现实约束。当前大多数金融AI产品的设计——从训练数据合规到决策可解释性到自动化分级控制——没有达到任何一套框架的完整标准。

从"辅助"到"替代"的温水煮青蛙效应可能是金融AI六条红线中最被低估的风险。没有任何一家银行会在某一天突然宣布"从今天起所有贷款审批由AI自主决策"。滑坡是渐进的。先是AI帮忙整理申请材料——效率很高。然后AI给出初步评估建议——大多数情况下是对的。接着AI推荐拒绝或批准——人类审批员开始依赖AI的判断，复核变成橡皮图章。最后在某个季度末——业务压力大、人手不够、审批积压——有人打开了"自动审批"的开关。每一步都只是"跟上一级差不多"。每一步都有正当的效率理由。但当从"帮忙整理资料"走到"自动拒绝"时，整个系统已经悄然滑入了一个没有制度准备的无人监管区域。而金融监管的典型特征正是——它从来不是在每一步小滑动的时刻介入的。它是在灾难发生之后的回溯中才发现"那个开关是什么时候被打开的"。

另一个被系统性低估的维度是大模型引入的集中化风险——这是一个金融监管审慎框架目前完全没有覆盖的风险。如果全球数十家主要银行使用同一个或少数几个底座模型来支持其合规审查、风险预警或客户适当性评估，那么这些模型中的同一个缺陷——比如在处理某种特定类型的金融文件时系统性低估风险——会在数十家银行同时产生后果。这不是理论推演。2008年金融危机前，全球金融机构集中使用少数几家信用评级机构的模型来评估抵押贷款证券化产品的风险——当模型出错时，所有人同时错，系统性风险由此引爆。大模型在金融领域的集中化使用正在创造类似的条件：少数几个底座模型支撑着越来越多的金融决策辅助和自动化。但目前的金融监管审慎框架——包括巴塞尔协议和国际货币基金组织的金融稳定性评估——都没有将"AI模型的集中化使用"作为系统性风险因子来评估。

还有一个被忽略的维度是大模型给金融消费者带来的"认知负担"。传统金融产品销售中，消费者面对的是一个人类客户经理——消费者需要判断这个人是否值得信任。但当一个AI以流畅、权威、充满专业术语的语言推荐金融产品时，消费者面临的认知任务是不同的——而且更困难。他们需要判断的不是"这个人是否在骗我"，而是"这个AI的推荐是否基于对产品的准确理解，还是它只是在生成听起来像推荐但底层逻辑完全错误的文本"。后者的判断难度远高于前者——因为AI的错误模式与人类的错误模式完全不同。人类骗你可能是故意的。AI骗你是因为它不知道自己在说什么。而"对面没有意图"这个事实本身，在消费者保护的框架下意味着没有可追责的意图——但消费者遭受的损失是一样的。

从"辅助"到"替代"的温水煮青蛙效应可能是金融AI六条红线中最被低估的风险。没有任何一家银行会在某一天突然宣布"从今天起所有贷款审批由AI自主决策"。滑坡是渐进的。先是AI帮忙整理申请材料——效率很高。然后AI给出初步评估建议——大多数情况下是对的。接着AI推荐拒绝或批准——人类审批员开始依赖AI的判断，复核变成橡皮图章。最后在某个季度末——业务压力大、人手不够、审批积压——有人打开了"自动审批"的开关。

每一步都只是"跟上一级差不多"。每一步都有正当的效率理由。但当从"帮忙整理资料"走到"自动拒绝"时，整个系统已经悄然滑入了一个没有制度准备的无人监管区域。而金融监管的典型特征正是——它从来不是在每一步小滑动的时刻介入的。它是在灾难发生之后的回溯中才发现"那个开关是什么时候被打开的"。

另一个被系统性低估的维度是大模型引入的集中化风险。如果全球数十家主要银行使用同一个或少数几个底座模型（GPT、Claude、Gemini）来支持其合规审查、风险预警或客户适当性评估，那么这些模型中的同一个缺陷——比如说在处理某种特定类型的金融文件时系统性低估风险——会在数十家银行同时产生后果。这类似于2008年金融危机前评级机构集中化带来的系统性风险：所有人都用同一个有缺陷的模型，那么当模型出错时，整个系统同时错。金融监管的审慎框架目前没有将"AI模型的集中化使用"作为系统性风险因子来评估——但它迟早会。

金融大模型的风险地图之所以复杂，是因为它同时是三种不同性质的风险的交汇点。第一种是技术风险：AI可能出错——编造判例、误判风险、给出错误建议。第二种是制度风险：当AI从辅助工具滑向决策替代时，现有的金融监管框架——它假设"做决策的是人"——在"橡皮图章"式的AI辅助审批面前产生了一个制度盲区。第三种是系统性风险：当少数几个底座模型被数十家主要金融机构同时使用时，模型中一个未被发现的缺陷可能同时引爆多个机构的同一类业务。

这三种风险的叠加产生了一个令人不安的结论：金融大模型的安全性不能只靠"让模型更准确"来解决。Mata v. Avianca案中的律师不是因为AI不够聪明而犯错——他是因为AI的语言太像真的而放下了专业警惕。同样，银行信贷员不是因为AI的风险评估模型"经常出错"而过度依赖它——恰恰是因为它"大部分时候是对的"。信任不是被错误摧毁的——信任是被"足够长的正确记录"悄悄建立起来的，然后在一次未被检测到的系统性错误中集体背叛了所有信任它的人。

这就是金融大模型最深层的悖论：它的商业价值恰好来自"它大部分时候是对的"，而它的系统性风险恰好来自"它大部分时候是对的，所以我们不再检验它什么时候是错的"。每一次正确的风险评估都在强化信任；每一次被强化的信任都在降低人类复核的动力；每一次降低的复核动力都在扩大AI错误可能不被发现的时间窗口。这个循环的终点——在一次足够大的错误中——不是AI的失败，是"人类停止了对AI的判断进行判断"的失败。

金融大模型的败局遵循一个乘法式的风险传导：大模型输出的专业话术，在人类脑中产生的"它看起来很靠谱"的可信感，乘以决策链条中谁都不认为自己最终负责的责任真空，加上数据权限在不知不觉中从"辅助查询"扩张到"驱动决策"的范围膨胀，除以监管框架对"AI辅助决策vs AI替代决策"边界的模糊定义——等于金融体系中一个没有保险丝的电路。 1990年代弥漫中国商业界的"钱来得太容易、明天的账明天再算"的心态——标王的钱是借的、圈地的钱是贷的——在今天以大模型的形式重新渗透进金融决策的毛细血管。区别在于：当年的杠杆是资金，今天的杠杆是"看起来像判断的概率输出"。

金融系统最不能接受的，不是机器不聪明——是机器看起来足够聪明，以至于人类开始悄悄把责任让渡给它。而人类一旦开始让渡责任，这个行业的制度地基不是在坍塌——是在被替换。被一个不能负责的、没有法律人格的、被误认为判断主体的概率模型替换。

		自动登录	找回密码
密码			注册

[科技前沿] 大模型的大败局系列

评分

点评

评分

评分

评分

评分

评分

评分

评分

评分

评分

评分

浏览过的版块