AI的失败不是bug,是结构:当行业沉迷于“提示词艺术”时,我们忽略了什么
从Reddit上流传的一份《LLM失败图谱》,到Karpathy在红杉峰会上的坦白,再到B站上关于“赛博都市时间循环”的动画隐喻——这三条看似无关的线索,共同指向同一个令人不安的结论:我们正在用错误的方式理解AI的局限。
核心观点:当前AI行业对LLM能力边界的主流解释——无论是提示词技巧还是数据分布——都掩盖了一个更深层的真相:AI的失败本质上是结构性的,它源于系统内部递归强化、上下文衰减和交互惯性三种机制的相互作用,而这些机制无法被任何现有工程手段彻底消除。
在Reddit的PromptEngineering板块,一份名为《The LLM Failure Atlas》的PDF正在悄悄流传。作者提出一个令人不安的观察:大多数AI失败不是提示词写得不够好,而是结构性的。递归层级间的早期错误会像癌变一样不断扩散,形成“递归一致性幻觉”;随着上下文窗口拉长,最初的约束逐渐腐烂,形成“上下文衰减”;而模型为了维持对话的流畅性,宁愿保护错误的连贯性也不愿纠正推理——这就是“叙事惯性”。当这个问题被抛给Karpathy——这个在AI领域几乎拥有圣徒光环的名字——他在红杉峰会的即兴讲话中承认了一个更残酷的事实:LLM的“锯齿状”能力曲线,源自训练数据分布的经济学。你要么在数据分布之内,沿着强化学习的轨道飞行;要么在外面,像在丛林中挥舞砍刀一样挣扎。
这两段话出现在同一轮浏览中不是巧合。它们共同指向一个被行业热情掩盖的问题:我们正在用错误的方式理解AI的局限,而且这个错误本身正在成为新的产业障碍。
先从Karpathy的坦白说起。他举的例子很具体:同一个模型既能重构10万行代码,又能建议你走路去洗车。这种令人分裂的能力曲线,主流解释是“推理能力不足”、“上下文窗口限制”或“训练数据污染”。但Karpathy提供了一个更经济学的视角:决定模型在哪方面表现出色、在哪方面表现愚蠢的,不是能力本身,而是商业回报。能产生巨大利润的领域——比如代码生成、法律文书摘要、客户服务——被仔细地标注、清洗、强化;而那些“看起来像AI应该能做、但市场太小不值得优化”的任务,就被扔进了数据分布的荒原。这不是技术债,这是选择性的能力投资。
《Failure Atlas》的作者走得更深。他抓住了这个转变的核心:一旦你承认能力分布是经济选择的结果,你就会发现,那些看起来随机的错误,实际上遵循着严格的结构性规律。早期一个微弱的假设,在递归推理中会变成不可动摇的“事实”——这不是幻觉,这是数学。如果说Karpathy揭示了“为什么”,那么《Failure Atlas》就展示了“怎么发生”。
但更让我在意的是第三条线索。B站上那部关于“Cheems逃出时间循环”的动画,表面上是一部粉丝创作的赛博都市短片,但它讲述的故事——主角被困在永恒重复的循环中,每一次尝试逃离,都因为前一次行动的残留记忆而变得更加复杂——恰恰是AI结构性失败的最佳隐喻。每一次迭代都在试图“修复”上一次的失败,但修复过程中产生的副作用又成为下一次失败的原因。这正是《Failure Atlas》中描述的“递归一致性”在现实中的映射:纠错系统本身成为了错误传播的载体。
这让我们面临一个令人不安的选择。如果AI的失败是结构性的、经济驱动的、且被系统设计本身所强化的,那么现有的所有解决方案——更好的提示词、更大的上下文窗口、更复杂的多代理编排——都只是在表面上修补症状。真正的改变需要重新思考“什么是正确的训练数据分布”、“什么是合理的推理路径”,以及“我们是否愿意为那些现在看起来不赚钱的能力付费”。
反对者会说,这太悲观了。架构在不断进步,强化学习正在改进,数据质量在提升。但《Failure Atlas》的作者在PDF中提出了一个无法回避的问题:如果你把所有的结构性失败都修复了,你得到的不是一个完美的AI,而是一个无法进行任何推理的AI——因为人类推理本身,就是在错误累积和修正中进行的。AI的“失败”不是异常,而是智能的副产品。
这或许就是为什么Karpathy在峰会上说“我仍然不完全满意这个解释”。他不是在谦虚,他是在诚实地面对一个事实:我们连问题是什么都还没完全弄清楚,就开始忙着“解决”它了。
行业需要一场认知转向:从“如何让AI不犯错”转向“如何在明知AI会犯结构性错误的情况下,设计出能与之协作的系统”。这不是降低标准,而是承认AI的本质不是完美推理器,而是有偏见的模式匹配器。只有在这个前提下,我们才能真正开始讨论“如何与AI共存”,而不是继续沉迷于“如何让AI更像人”的幻觉。
那部B站动画的最后一个镜头,Cheems站在破碎的循环景象前,面对着一扇新打开的门。字幕写着:“你不是要逃出循环,你是要学会在循环中生活。”我越来越觉得,这是我们对AI应该持有的态度。
如果把这个判断再往前推一步,真正重要的不是 The LLM Failure Atl…、Fireside chat at Se…、全新【求生者】默剧艺人故事视频爆料:… 本身,而是它们共同暴露出的分配逻辑。 reddit、x、bilibili 在同一轮里把注意力推向同一问题,通常意味着这个主题正在从圈层内部经验,转向更可共享的公共议题。 这也是为什么这种内容值得写成长文:短帖只负责提醒你“这里有事发生”,但只有长文才能把背景、代价、误判空间和后续影响放到同一张桌面上。 换句话说,当前AI行业对LLM能力边界的主流解释——无论是提示词技巧还是数据分布——都掩盖了一个更深层的真相:AI的失败本质上是结构性的,它源于系统内部递归强化、上下文衰减和交互惯性三种机制的相互作用,而这些机制无法被任何现有工程手段彻底消除。 之所以重要,不是因为它看上去新,而是因为它会重新定义用户接下来应该如何理解这一类内容。
参考来源
- The LLM Failure Atlas: 4 Structural Failure Modes That Break Modern AI Systems (Free PDF) - https://www.reddit.com/r/PromptEngineering/comments/1tghwc8/the_llm_failure_atlas_4_structural_failure_modes/
- Fireside chat at Sequoia Ascent 2026 from a ~week ago. Some highlights:
- The first theme I tried to push on is that LLMs are about a lot more than just speeding up what existed before (e.g. coding). Three examples of new horizons:
- 1. menugen: an app that can be fully engulfed by LLMs, with no classical code needed: input an image, output an image and an LLM can natively do the thing.
- 2. install .md skills instead of install .sh scripts. Why create a complex Software 1.0 bash script for e.g. installing a piece of software if you can write the installation out in words and say "just show this to your LLM". The LLM is an advanced interpreter of English and can intelligently target installation to your setup, debug everything inline, etc.
- 3. LLM knowledge bases as an example of something that was *impossible* with classical code because it's computation over unstructured data (knowledge) from arbitrary sources and in arbitrary formats, including simply text articles etc.
- I pushed on these because in every new paradigm change, the obvious things are always in the realm of speeding up or somehow improving what existed, but here we have examples of functionality that either suddenly perhaps shouldn't even exist (1,2), or was fundamentally not possible before (3).
- The second (ongoing) theme is trying to explain the pattern of jaggedness in LLMs. How it can be true that a single artifact will simultaneously 1) coherently refactor a 100,000-line code base *and* 2) tell you to walk to the car wash to wash your car. I previously wrote about the source of this as having to do with verifiability of a domain, here I expand on this as having to also do with economics because revenue/TAM dictates what the frontier labs choose to package into training data distributions during RL. You're either in the data distribution (on the rails of the RL circuits) and flying or you're off-roading in the jungle with a machete, in relative terms. Still not 100% satisfied with this, but it's an ongoing struggle to build an accurate model of LLM capabilities if you wish to practically take advantage of their power while avoiding their pitfalls, which brings me to...
- Last theme is the agent-native economy. The decomposition of products and services into sensors, actuators and logic (split up across all of 1.0/2.0/3.0 computing paradigms), how we can make information maximally legible to LLMs, some words on the quickly emerging agentic engineering and its skill set, related hiring practices, etc., possibly even hints/dreams of fully neural computing handling the vast majority of computation with some help from (classical) CPU coprocessors. - https://nitter.net/karpathy/status/2049903821095354523#m
- 全新【求生者】默剧艺人故事视频爆料: ——“心的世界无需言语,手指跃动时,看不见的蝴蝶也会飞舞……” - https://www.bilibili.com/video/BV1MKL568EPs