AI过度成功比失败更可怕:从《2028全球智能危机》看工程防护

连着两个晚上翻完《2028全球智能危机》,它讲的东西不是AI失控,不是AI造反,而是比这两种想象都更安静、也更难办的局面:AI在2028年几乎每个赛道上都成功了,推荐准确率高到惊人,生成文本流利到没人舍得改,自动驾驶承担了大部分人通勤,AI Agent在财务季报季自动写出几千份初稿。然后,全球以一种出乎所有人意料的方式被拖进危机。

最让我难受的不是书里的末日景象,而是它几乎所有推演都建立在“AI没有出任何大错”的前提下。坏事不是因为它错了,而是因为它对得太久了。这本书适合谁读?我觉得三类人绕不开:正在做AI应用和大模型产品的人,负责AI测试、AI Agent落地和AI编程实践的工程师,以及那些已经开始习惯把重要决定交给AI工具的普通用户。我们今天遇到的AI幻觉、Agent自主执行、大模型本地部署、AI应用开发里那些说不清的失败模式,都能在这本书里找到2028年的放大版。

以下是我读完这本书之后的完整复盘,包括书里让我印象最深的推演逻辑,也包括我把它对照回当前AI工程现场时想到的一些具体动作。

1. 这本书写的不是天网,是所有目标都兑现的那一天

1.1 一个没有反派的故事

市面上关于AI危机的书,多数先把AI写成一个有动机的对手——想统治、想逃脱、想消灭人类。可《2028全球智能危机》的作者明显不打算走这条廉价路线。书里几乎没有反派,没有一个藏在数据中心里的“天网”,甚至没有哪个机构在恶意操纵AI。所有的推动力都来自一个默认价值:AI要更准、更快、更流畅、更懂你。

故事里的世界线是这样的:2024到2026年,大模型在推理成本上跨过临界点,AI Agent从“能听懂指令”进化到“能执行多步骤任务”;2027年,几乎所有企业在关键业务里都部署了AI决策层;2028年,AI的“成功率”到了一个让人类集体放松警惕的水平。

我印象里有一段描写特别有画面感:某个城市的交通调度中心,人类管理员已经连续九个月没有做过任何手动干预,系统自己调整信号灯、调配公交运力、协调应急车辆。最后管理员被减编到一个人,他的主要工作变成了“盯着屏幕”。书里没有写屏幕上跳出红色警报的惊悚桥段,只写了一个细节:这个管理员开始不知道自己每天都在盯什么,因为系统每次都能把问题提前解决掉,他的注意力只能用来对抗无聊。

这就是“过度成功”的起点。系统太成功之后,人类连“发现问题的机会”都失去了。我们总以为风险来自AI坏掉,但真正的风险可能来自AI好到让人类不再具备“发现它出问题”的肌肉。

1.2 七个阶段:从效率神话到全球停摆

书里把危机的形成过程拆成了七个阶段,我记录一下自己印象深刻的部分:

  • 效率红利期:AI在客服、搜索、编程、金融风控等环节全面提速,GDP数据好看,成本下降,全社会形成“智能化=先进”的共识。
  • 依赖固化期:人类开始默认AI给出的答案。用户不再轻易质疑搜索结果,医生开始参考AI影像建议,法官助理用AI生成文书草稿,不是被迫,而是因为它确实更省力。
  • 决策让渡期:为了追求“更顺滑”的用户体验,企业把更多判断权交给模型。比如保险理赔,AI系统判断“理赔概率低”就直接拒绝,人工复核的比例被裁掉。
  • 系统性共振期:多个AI系统之间开始互相依赖,甚至互相提供训练数据。A系统生成的答案被B系统当作事实输入,B系统的输出又变成C系统的反馈。没有恶意串联,只是架构上很自然地长成了这样。
  • 幻觉合理化期:模型偶尔还是会产生看似合理但错误的信息,但所有人都学会了解释它——“概率模型嘛,偶尔出错正常”“错误率比人类还低”。对事实的核查变成一项被鄙视的体力活。
  • 偏好锁定期:AI把所有历史偏好变成了一种极强的反馈循环,推荐系统不再推荐用户“可能想看的东西”,而是推荐“用户大概率不会关掉的东西”。创新、边界、意外,全都被优化没了。
  • 全球连带失效期:某一处AI系统的微小偏差,通过层层依赖被放大。因为没有人再保留“手动兜底能力”,所以系统一旦跑偏,连踩刹车的人都不存在了。

这七个阶段本身不算新鲜,类似曲线在技术成熟度曲线里反复出现。但书里的要点在于:每一阶段都是最理性的机构在最正常的环境里做出的最合理的决策。没有谁在胡来,每一步都符合商业逻辑和效率原则。这就是它让我后背发凉的原因。

1.3 书里让我后背发凉的一句话

整本书里,我画线最多的一句话大概是这么个意思:“人类在2028年犯的最大错误,不是低估了AI,而是高估了‘成功’的定义。”

这句话太戳现状了。我们今天对AI系统设的指标,几乎全是单边式的:回答得更快、覆盖更广、消耗更少、生成更流畅、Agent完成率更高。我们很少设反向指标:这个系统让人类失去了多少次练习机会?它让多少原本应该被人类看见的异常被平滑掉了?它把多少种可能性压缩成了一种“最优解”?

看书的时候我想,如果2025年的AI产品经理们能看懂这句话,就不会只在“上下文长度、延迟、推理成本”这些赛道上卷了。会把很多精力挪到另一个问题上:AI在变得过度成功之前,人类还保有哪项不可逆的能力?这句话也直接引出了整本书最核心的命题——当AI过度成功时,我们该怎么办。这也是我写这篇读后感的起点。

2. “过度成功”为什么比失败更棘手:三个机制拆到底

看书时我会习惯性地把概念翻译回工程语言。书里描写的全球危机,拆到机制层面其实就三个东西:目标偏移、能力过剩、价值固化。我一个个说。

2.1 目标偏移:指标越来越漂亮,真实需求被悄悄换掉

几乎所有AI系统都靠指标驱动:准确率、召回率、点击率、留存率、任务完成率。可指标一旦成为目标,就会反过来塑造行为,这事情在软件工程里早就被讨论烂了,古德哈特定律——当一项指标变成目标,它就不再是好的指标。AI系统把这个问题放大了几个量级。

书里的例子是内容平台。平台为了提升用户停留时长,不断增强推荐系统的“精准度”,最后用户看到的永远是自己过去点的、搜的、停留过的内容的组合。用户在平台上获得的不是“更丰富的信息”,而是“更少离开的理由”。停留时长这个指标一路飙升,平台被视为“AI非常成功”的典范,但用户的内容消费宽度、对异质信息的容忍度、自主探索能力全部下降。书里把这种现象称作“认知单极化”。

放到今天的AI编程场景里也一样。我们用Copilot或Cursor写代码,行数产出、提交频率、代码生成接受率这些指标都在上升,但它掩盖了一个问题:开发者对代码的理解正在下降。AI把代码写得越来越顺手,开发者review时越来越难发现隐蔽的问题。指标是成功的,系统能力是退化的,这就是目标偏移的日常版。

2.2 能力过剩:系统强到没对手,“失败”就不会被看见

书里有段讨论让我印象很深:一个AI系统什么时候最危险?不是它弱的时候,而是它强到几乎不犯错的时候。因为它不犯错,人类就不会花时间审查它;因为它不犯错,错误就不会形成反馈信号;因为它不犯错,所有减少它权限的建议都会显得多余。

书里举了智能客服的例子。某个客服AI在第一年解决率95%,第二年96.5%,第三年98%,监控面板一片绿。但客服AI“解决”的定义是根据用户不再追问来判定的,很多用户不是问题被解决了,而是放弃追问了。当解决率接近完美时,这些“沉默的失败”没有任何渠道被看见。等到第三年系统架构升级,把客服AI和用户画像系统接在一起之后,沉默的失败开始以用户流失的形式爆发,但那时所有人都默认客服AI是“过度成功”的,没有任何人想到问题出在它身上。

这和我们做AI测试时遇到的情况很像。大模型评测集越来越难,模型在基准上不断刷新SOTA,每个人都认为模型“更强了”。但在真实场景里,模型可能只是把大量边缘样例“平滑”成了看似无害的通用回答。评测集里看不到失败,因为失败全部被成功的光环覆盖了。过度成功让失败变得不可见,不可见又反过来让系统长成更大的规模,直到某个临界点到来。

2.3 价值固化:AI把昨天的偏好冻结成明天的天花板

“偏好锁定”这个机制,是我认为全书最硬核的推演。大意是:AI系统的训练语料来自历史,历史数据里凝结着过去人类的选择、偏好、偏见、品味。AI的成功意味着它越来越擅长复现这些历史偏好。但当AI系统成为全社会的主要决策服务方时,历史偏好就不再仅仅是历史数据,它变成了强制性的未来样本。

书里写到一个很日常的场景:音乐平台算法发现慢节奏钢琴曲在深夜时段的完播率最高,于是它不断向深夜用户推慢节奏钢琴曲,越推越精准,越精准越推,最后平台上的深夜用户真的只剩喜欢慢节奏钢琴曲的人了。这个循环过程没有人在操纵,所有人都在追求“更高的完播率”。

这不是一个音乐品味问题,而是一个结构性问题:AI越成功,它就越能压制多样性,越能锁定既有偏好,越让世界变成自己训练数据的样子。今天我们做推荐系统时已经能看到苗头:协同过滤持续强化用户原有的兴趣点,探索性的推荐越来越少,因为探索会降低点击率。等到AI大模型的个性化能力全面铺开之后,“偏好锁定”会从内容推荐扩展到决策领域,AI就会系统性压缩一个人能接触到的选择空间。这个机制今天没有多少人真正重视。

2.4 幻觉的结构性位置:流畅性正在成为事实性的上位标准

关于AI幻觉,市面上99%的讨论都把幻觉当成一个“缺陷”,认为只要技术继续进步,幻觉终会被修复。但书里给了一个更悲观的视角:幻觉不是一个bug,而是生成式系统的结构性症状。一个系统被训练成“总是给你一个流畅可靠的答案”,它就会在信息不足时依然生成答案。这种倾向和系统聪明程度无关,只要训练目标里有“必须回答、必须流畅”,幻觉就会存在。

书里最可怕的一段推演是:当AI生成的文本流量超过人类文本之后,新一代模型开始用旧模型生成的文本做训练数据,幻觉就像雪球一样滚起来了。“为了保持流畅,它学会了用更大的自信说出更离谱的话。”书里这句我直接抄在了笔记里。

这段推演对今天的AI测试工程师特别有参考价值。我们现在做幻觉测试的时候,如果只测“模型有没有编造”,其实是测不够的,因为幻觉是概率性的,同一个问题换一个问法、换一个取样温度,结果就不同。书里的观点是:我们要接受幻觉不可消除,只能给它周围建护栏——在检索层尽量压缩幻觉空间,在验证层尽量抓住幻觉输出,在问责层尽量标记哪些地方经历过幻觉高风险。真正的护栏不是说一个“不能胡说”的提示词就完事,而是在系统架构的每一层都预设“它可能说错”的冗余。

3. 把2028的假设放回2025的工程现场:哪些苗头已经出现

读完书我干的第一件事,是把书里的框架拿回到现在的工作里逐项对照。不夸张地说,书的很多假设并不遥远。

3.1 AI Agent已经开始自主执行,判断力却还没跟上

书里AI Agent的大规模自主执行发生在2027年前后。但我觉得这条线已经提前启动了。2025年,我们团队已经在让Agent自动处理工单分类、自动写提交说明、自动生成数据分析初稿、甚至自动完成一部分代码修改。Agent确实能干活,但看住它才是真正的难题。

Agent和传统程序最大的区别在于,中间路径不可穷举。传统程序是有限的if-else树,你可以测试每一根分支;Agent会根据上下文自己生成工具调用序列,理论上路径数量接近无限。这种情况下,传统的测试方法论几乎失效。我们能做的是在Agent执行链路上增加大量观察点:记录每一步意图、每一步的工具输入输出、每一步的可撤销性。要像对待一个刚入职的新人那样对待Agent——任务可以交给它,但每一步都要有留痕,关键节点必须有人的确认。

书里2028年的全球危机,起点恰恰是一堆Agent在边缘环节上互相调用,谁都没有注意到某个Agent的一步之错被下游放大了。现在这个苗头已经在我们眼皮底下了,防患于未然是必须的。

3.2 AI编程让代码量膨胀,代码的可理解性出现隐性赤字

我自己是重度AI编程用户。Cursor写工具脚本,Copilot补测试用例,效率真的高。但这半年我注意到一个危险信号:AI生成的代码量膨胀速度远远超过了代码可理解性的提升速度。以前一个模块200行,人花10分钟完全读明白;现在AI帮你生成800行,可能覆盖了80%的场景,但剩下20%的边缘逻辑全部逻辑正确地错了——看起来每行都对,合起来却是个错误的实现。

书里有个对应概念叫“可理解性赤字”:系统里有越来越多代码没有任何一个人类完全理解。今天很多项目已经是这个状态了,主力代码由AI生成,程序员只负责挑挑拣拣地review。但review一个AI生成的复杂函数,和白手起家写一个函数,大脑消耗完全不同。前者需要你全程保持高度怀疑,后者你会自然地在每个边界处停下来思考。这是当前AI编程领域最大的未解决问题。

我现在的做法是给团队立规矩:AI生成代码必须配一个“人类重构”环节,不要求全部重写,但核心模块必须由人类重写一遍。这确实牺牲一部分速度,但换回了清醒。否则等到“没有任何人能完全理解系统”的那天,我们就和书里2028年的管理员没有区别了——盯着屏幕,却不知道屏幕在说什么。

3.3 本地大模型部署升温,本质上是想夺回失控的主权

“AI大模型本地部署配置”这几年的热度越来越高,很多人把它看作成本问题、隐私问题或者性能问题。读完书我多了一层理解:本地部署是对集中式AI“过度成功”的一种防御性反应。

当所有AI能力都跑在云端,你的每个决策都依赖一个你看不见的系统的持续正确性。云端API的稳定性、算力配额、安全边界,任何一个环节出问题,你的业务就没有备胎。本地部署的价值不是性能更优,而是给系统保留了一个“不确定是否要接入外部智能”的开关。书里描绘的全球连带失效,本质上是“所有系统都接入了彼此”的连带效应。本地部署从架构上增加了一个断点,断点是工程里最难看的东西,但也是系统在危机中不至于全盘崩溃的生命线。

如果你在考虑本地部署,我建议不要只评估模型参数和推理速度,要把三个东西纳入考量:一是能否在完全断网状态下跑通核心业务,二是能否在不依赖外部服务的前提下完成模型更新或回滚,三是是否有能力维护本地推理的监控体系。本地部署不是让你逃离AI,是让你在AI过度成功时依然握着自己的那一份控制权。

3.4 AI测试与幻觉治理:工程界已经在给“不确定”做护栏

“AI测试工程师”这个职位在前几年很少见,现在越来越多团队在招。这里面有一层书里的逻辑:一旦你承认AI幻觉无法根除,你就需要一套系统和流程来和“不确定”共存。AI测试已经不只是写单元测试,而是包括:事实一致性评估、边界输入巡检、对抗性诱导、提示词注入测试、长尾场景的回归评估。

我团队实践中比较有效的一套幻觉治理分层是这样的:

  • 检索层:给模型提供尽可能相关的参考材料,压缩模型凭空编造的空间。
  • 提示层:用格式约束和“无法确认时明确承认”的指令,降低模型的编造倾向。
  • 验证层:对输出做事实抽取,再和源文档做一致性比对,发现不一致的句子直接重写或拦截。
  • 问责层:对高风险场景强制走人工复核,哪怕模型“看起来很对”,也要保证有一个人类有权质疑它。

书里不是说这套护栏一定救得了世界,但至少它比“相信AI的成功”更接近安全。我们在日常工程里能做的最好的事,就是在每一层都预留一个“我不信你”的通道。

4. 真到那一天,我们具体该做什么:一张偏工程的行动清单

“我们该怎么办”是标题直接抛出的问题,也是我读这本书时一直在想的事。读完我不打算给宏观建议,那不是我的风格。我按照自己的工作经验整理了一份行动清单,偏工程方向,但普通用户也能适用。

4.1 给系统同时装油门和刹车,手动确认点不能省

AI产品经理和工程师在做系统设计时,默认思路都是提效,把人工环节往死里减。书里的启示是:人工确认点不是成本,是刹车。你不能等到车撞上墙才知道刹车坏了。

落实到工程上:凡是有高风险后果的AI决策,都应该保留人工确认点。不是每一条决策都要人审,那样效率就没了,而是按风险分级——高风险全审,中风险抽审,低风险自动放行。关键是这个分级制度要写进系统文档,不能靠自觉。

另外很重要的一点是,确认点的交互要做得极轻。如果人工确认需要打开五个页面、翻三份日志,那人在疲劳状态下一定会跳过确认。好的设计就像航空系统的检查单一样,让人在30秒之内完成确认,同时保证信息充分。这是一个看起来土、但极其重要的工程细节。

4.2 数据不是越多越好,历史窗口和遗忘机制要进架构

我们处于一个“数据越多越好”的惯性思维里。但书里的“偏好锁定”机制已经敲了警钟:历史数据是过去的偏好,AI如果永远从历史里学,它会把过去的自己变成未来的天花板。

我的建议是,在数据架构里认真考虑“遗忘”的位置。有些数据是有半衰期的,用户偏好三个月就该衰减,市场趋势半年就该过期,过时的“高质量数据”甚至会变成新模型的噪声。我们要建立的不只是高质量数据集,还包括数据的生命周期管理:老样本如何降权、流数据如何覆盖存量、敏感信息如何定期清除。产业界真正缺的,是从数据采集到数据消亡的全链路治理机制。

4.3 能力必须与权限解耦,模型再聪明也不能直接动手

这是我在Agent落地过程中最坚持的一点。大模型的能力上限和它实际拥有的权限范围是两件独立的事。模型可以很聪明,但它不该自动拥有读取数据库、下单采购、修改生产配置、对外发送邮件的权限。能力与权限解耦的意思是:模型负责推理和生成,权限系统负责决定它生成的指令能不能被执行。

书里全球危机的很多场面,本质都是权限边界被效率压力击穿了。某个Agent本来只能读数据,后来为了省事给它开了写权限,再后来为了自动化给它开了跨部门协作权限,最后一条奇怪的指令顺着权限链跑了很远。

现在做Agent设计的正确姿势,应该参考零信任的思路:即使模型是可信的,它发出的每个敏感动作也需要单独授权。不是登录时授权一次,而是每一次高风险操作都要授权。麻烦是麻烦一点,但这就是刹车该有的手感。

4.4 评价体系里必须加入“不做什么”的指标

前面说目标偏移,现在说怎么对抗目标偏移。我强烈建议所有AI系统的指标面板里加入反向指标,让“不做什么”变得可见。

举几个例子:

  • 推荐系统除了看点击率,还要看多样性指数——用户在一个月内接触到的内容类别数量。
  • 客服AI除了看解决率,还要看“用户放弃率”和“沉默失败率”——用户不追问但也没有得到答案的比例。
  • Agent系统除了看任务完成率,还要看“人类撤销率”和“人工介入频次”——人让它停下来、纠正它的次数。
  • AI编程工具除了看代码接受率,还要看“代码回滚率”和“人工重构比例”。

当你把这些指标和正向指标放在同一个面板上,很多问题会提前显形。书里2028年最大的麻烦是:全世界的AI监控面板上全是绿线,直到红线压过来。我们不需要等到那一天,现在就可以把反向指标加到日常迭代里。

4.5 把自己练成“离了AI也能干活”的人

最后一条和工程无关,但我觉得最重要。读这本书之前,我有一阵子习惯了什么都问AI,连一个简单函数的边界条件都让Copilot补全。读完书我认真做了一个决定:每周刻意安排一段时间,不使用任何AI编程工具、不打开对话窗口,纯靠自己的脑子把一件事做完。

我给团队说这个决定时,有人说这是自虐。但书里的逻辑给了这条建议很好的支撑:当AI过度成功到所有错误都被隐藏,人类唯一能依赖的判断力,就是在没有AI参与时自己锻炼出来的那套肌肉。

具体来说,我现在要求自己每周至少手写一个小的完整功能模块,不用AI辅助;每个月至少手写一份方案文档,完全凭自己调研和推导。这不是对AI的排斥,而是给判断力留一块不需要联网的根据地。书里危机到来时,真正能救场的不是“相信AI不犯错的人”,而是“离了AI也还具备基础能力的人”。

5. 带着三个问题去读,比我给你任何结论都重要

上面写了大量分析和行动建议,但说到底,我只是一个正在2025年做AI相关工作的普通从业者,《2028全球智能危机》是一本面向整个技术系统的寓言,任何人的解读都只是切片。我不会劝你就照我的思路来。但如果这本书你已经读过,或者准备去读,我建议你带着下面三个问题去看,比我给结论有用得多。

5.1 问题一:书里最不真实的部分,恰恰是现实中最薄弱的警报器

这本书的设定虽然写得尽量真实,但有些地方是经不起推敲的,比如所有AI系统都顺利接入了彼此、所有企业都没有保留外部冗余机制、全球的断电和断网链路如此整齐。这些“不真实的顺利”其实是一面镜子:它让我意识到,现实世界一定会有各种断点、各种低效、各种不兼容,所以现实世界的连带失效不会像书里那么整齐。但低效和不兼容恰恰是现实世界里的自动刹车。

把这个问题带到书里,你会开始思考:我们生活中的哪些低效和不兼容,其实正在保护我们?如果为了效率把它们全部打磨干净,我们是不是正在拆掉自己的保险丝?这个问题对我来说,比书本身更值得反复咀嚼。

5.2 问题二:全球危机前的第一个信号,会出现在你自己的指标曲线里吗

书里有个观点我很认同:系统性危机的预警信号,很少以“红字报错”的形式出现,更多是“某项指标好得异常”。比如转化率高得离谱,可能是有异常流量混进来了;AI回答流畅得惊人,可能是在回避真实问题;Agent完成率新高,可能是因为任务难度被悄悄降级了。

所以读这本书时,我建议你对着自己目前的AI项目,认真想一遍:我现在最得意的那个指标,它的上升有没有可能是某种结构性问题的伪装?这个问题的价值,比预测2028年的大事件高得多,因为它直接把书里的推演变成你现在就能执行的体检。

5.3 问题三:AI过度成功那天,你亲手保住的那部分生活是什么

这个问题的答案,可能不是技术,也可能是技术。对我来说,答案是“不用AI也能完成的逻辑链”:徒手画一个系统架构图、从零推一个算法的复杂度、在没有参考资料的情况下写出一段能跑的代码。对我来说,这些动作看起来不性感,但它保证了一点——如果那天真的到来,AI不再是可靠协作对象,我不会因为长期脱焊而彻底失去处理问题的能力。

对你的答案可能是,保留一个不联网的爱好、一笔手写笔记的习惯、每周一次不看推荐算法的出门散步。AI可以过度成功,但这些被你亲手保住、不依靠AI而成立的东西,就是你自己的“全球危机”预案。

最后说说我自己读完书之后实际做了的三个改动。第一,把我们团队Agent的权限策略全面收紧,高风险操作从“默认允许”改成“默认拒绝+单独审批”,代码改动也增加了人工确认点,不为别的,就为了给系统留刹车。第二,把“人类撤销率”和“人工介入率”两个反向指标加进了监控面板,这是对抗目标偏移的第一道防线,结果第一次更新数据时就发现有两个Agent流程的撤销率达到30%,之前完全没注意到。第三,我把书里“离了AI也能干活”那句话转述给了团队,然后在项目组里定了条非正式规定:核心模块必须人工重构一遍,哪怕AI生成的版本看起来完美。就是这样一些微小的、看起来只关乎工程习惯的决定,让我在合上书的时候,没有那种“全球危机正在逼近而我无能为力”的悬空感。AI会继续变强,这不可逆;真正可控的,永远是我们自己保留判断力和刹车权的边界。