当LLM不再只是加速器:我们正在集体误读一场范式革命
从Karpathy在红杉的谈话到社区的结构失败图谱,多个信号指向同一个事实:我们低估了LLM带来的范式断裂。
核心观点:围绕LLM的主流叙事仍停留在'更快的锤子',而真正革命性的变化——那些传统代码无法实现的功能——正在被行业忽视,导致资源错配和认知盲区。
围绕大型语言模型的行业讨论陷入了一个危险的舒适区。当我们谈论AI时,最常见的框架仍然是效率、加速、替代。'帮你写代码更快'、'帮你搜索更准'、'帮你总结文档更省时间'。这些叙事本身没有错,但它们构成了一个巨大的认知陷阱:让我们相信LLM是已有工具的升级版,而不是一个新物种的诞生。
这种错觉的代价正在变大。最近几周,几个来自不同方向的信号——从Andrej Karpathy在红杉资本的活动演讲,到Reddit社区对LLM结构失败模式的系统性归纳,再到开发者社区对多智能体工作流的实战反思——都在指向同一个事实:我们集体性地误读了这场技术变革的本质。
先从Karpathy的演讲说起。他在红杉资本的炉边谈话中提出了一个看似简单但极具穿透力的框架:LLM不只是加速已有的东西。他举了三个例子。第一个是一个叫menugen的应用,完全由LLM驱动,不需要传统代码:输入一张图片,LLM直接输出一张图片,整个过程没有一行'软件1.0'的代码。第二个是'安装.md技能而非安装.sh脚本'——把安装流程用自然语言写成一个markdown文件,交给LLM去解释和执行,后者能智能地根据你的系统环境进行调整、调试、排错。第三个是LLM知识库——一种传统代码根本不可能完成的任务,因为它在任意来源、任意格式的非结构化数据上进行计算。
这三个例子的共同点是:它们不是'做得更快',而是'以前根本做不了'。但行业的主流注意力在哪里?在编码辅助、在代码补全、在文档自动生成。这些当然有价值,但它们让我们误以为LLM的核心功能是给程序员配一个更聪明的副驾驶。这种认知偏差不是偶然的。Karpathy自己指出,在每个范式转变中,最先被发现的永远是在已有框架内'更快、更好'的应用。这是人类认知的惯性:我们用旧的范式来理解新事物,直到新事物足够强大到打破这个框架。
问题是:当我们还在争论'Copilot写代码的准确率够不够高'时,那些'以前根本做不了'的事情正在悄悄改变游戏规则。比如那个menugen应用:输入一张图片,输出一张基于对内容理解后生成的图片,全程没有传统意义上的编程。这意味着什么?意味着AI不再是一个工具,而是变成了一个平台——一个能够直接理解并操作世界的中间层。传统软件需要定义数据结构、编写逻辑、处理边界条件;而LLM只需要一个prompt和一个目标。
这听起来很美好,但现实远非如此。Reddit上一位工程师发布的《LLM失败图谱》(LLM Failure Atlas)提供了一个互补的视角。他经过数月测试,发现大多数AI失败是结构性的,而不是prompt措辞问题。他总结出四种模式:递归同意(早期弱假设在后续推理中悄悄传播并被视为'真理')、上下文腐烂(早期约束随上下文增长逐渐失去约束力)、叙事惯性(模型更愿意保护对话连续性而不是修正错误推理)、以及信息熵增(在长上下文中,关键信号的显著性被稀释)。
这些失败模式不是bug,而是特征。它们揭示了LLM认知方式的根本局限:它们不是真正的理解者,而是模式匹配的王者。它们擅长在上下文中找到最连贯的路径,但这条路径未必是正确的。Karpathy自己也承认这一点,他谈到了LLM能力的'锯齿状'特征——同一个模型能重构十万行代码库,同时建议你'走路去洗车店洗车'。他把这归结为域的可验证性和经济因素:RL训练数据的分布决定了模型在哪条轨道上飞驰,哪里是一片需要砍刀开路的丛林。
这个'锯齿'才是真正的故事。LLM的能力不是均匀分布的,也不是持续进步的。它在某些领域惊人地强大,在另一些领域却荒谬地脆弱。这意味着什么?意味着我们不能简单地相信'越大越好'或'训练越多越聪明'。我们需要一种更精细的认知图景:知道哪条路径是铺好的高速公路,哪条是必须自己开路的荒野。
但行业正在做什么?投资人和公司在追逐更大的模型、更多的参数、更长的上下文窗口。这种叙事默认了一个前提:LLM的能力瓶颈是工程问题,只要投入更多算力和数据,所有问题都会迎刃而解。Karpathy的观点提供了另一种解释:那些'锯齿'的谷底,可能不仅仅是工程问题,而是训练数据分布和RL奖励机制的根本限制。换句话说,某些事情LLM永远做不好,不是因为不够大,而是因为它们的认知架构本身就决定了它们'不知道我们知道什么'。
这引出了一个更棘手的问题:当我们把越来越多的决策权交给LLM时,我们是否理解它们在哪些方面不可靠?那位社区工程师构建的多智能体工作流提供了一个有趣的实践:他为主持者代理设定了一个规则——永远不会立即行动,总是先做一个深度分析传递。这个简单的规则消除了大部分错误。但请注意,这本身就是一个反直觉的设计:我们通常认为AI应该'反应更快',但在这个案例中,真正的效率来自'先思考,再行动'——而且是结构性地强制思考。
这种实践揭示了一个更深刻的真相:LLM的智能是'反射性'的而不是'反思性'的。它能快速生成看似合理的回答,但它缺乏那个'等一下,让我想想'的内部机制。人类在做出重要判断时,有一个自动的反思过程:'这个结论合理吗?有没有其他可能性?我是不是忽略了什么?'LLM没有这个机制。它的默认模式是找到当前上下文中最高概率的下一令牌,而不是评估自己的推理过程是否正确。
这就是为什么那些结构失败模式如此危险:它们不是偶尔发生的,而是嵌入在模型的工作方式中。如果一个系统在运行过程中悄悄地把一个早期错误假设当作事实,而这个错误发生在第1000个token之后的推理步骤中,开发者甚至不会意识到有问题——直到系统输出一个表面合理但完全错误的结论。
回到Karpathy的框架。他提出了'代理原生经济'(agent-native economy)的概念,将产品和服务分解为传感器、执行器和逻辑三个层面,跨越软件1.0/2.0/3.0三个计算范式。这不是一个未来的图景,而是一个正在发生的事情。当我们可以用自然语言描述一个安装流程,然后让LLM去执行;当我们可以构建一个完全由LLM驱动的应用,不需要传统代码——这意味着软件开发的门槛、边界和本质都在改变。
但这也意味着我们需要新的能力。Karpathy提到了'代理工程'(agentic engineering)——一种介于prompt工程和传统软件工程之间的新技能。它不是写更好的prompt,也不是写更干净的函数,而是设计一个让LLM能有效协作的系统:包括如何分配任务、如何验证输出、如何处理失败、如何管理上下文。
那位构建多智能体工作流的工程师实际上就在做这件事。他的系统不是'把prompt扔给LLM',而是设计了一个结构化的流程:一个主持者代理分析任务并决定委派给谁,然后被委派的代理执行一个分析传递,最后才行动。每一步都包含一个验证环节。这看起来像是传统软件工程中的设计模式——但完全适用于新范式。
问题在于:大多数团队还没有这种意识。他们还在用'让AI帮忙'的思维,而不是'设计AI系统'的思维。他们以为只要有一个好的prompt就能得到好的结果,而不知道真正的挑战在于理解LLM的能力边界、设计容错机制、以及管理那些结构性的失败模式。
这让我想到了一个类比。早期的程序员花大量时间优化内存管理和CPU指令,因为那是当时的瓶颈。后来的程序员花时间设计架构和抽象层次,因为那是构建复杂系统的关键。现在,面对LLM,我们需要花时间去理解'认知的边界'——不是代码层面的,而是关于一个智能系统如何工作、在哪些方面可靠、在哪些方面不可靠。
Karpathy在谈话结尾提到了一个'完全神经计算'的愿景,其中绝大部分计算由神经网络完成,传统CPU只作为协处理器存在。这个愿景距离现实还很远,但它指出了方向:LLM不会永远只是'辅助工具',它们正在成为计算的主体。而我们,无论是开发者、创业者还是用户,都需要更新自己的认知地图。
现在的紧迫问题是:我们是否愿意承认自己的理解是有限的?那些宣称'AI已经足够好'或'AI还远远不够'的人,可能都犯了同样的错误——用旧的范式来评判新事物。真正的明智之举是承认不确定性,同时保持行动。就像Karpathy说的:'我仍然不完全满意这个解释,但这是一个持续的斗争,去建立一个准确的LLM能力模型——如果你想实际利用它们的力量同时避开它们的陷阱。'
另一个值得注意的信号是:传统的技术评估方式正在失效。基准测试分数、参数数量、推理速度——这些指标能告诉你一个模型在标准化任务上的表现,但不能告诉你它在面对一个从未见过的场景时是否会'带着微笑走上错误的道路'。真实的评估需要更多的'情景测试':在具体的业务场景中,让LLM处理真实的、有噪声的、边界模糊的任务,然后观察它在哪里成功、在哪里失败、在哪里看似成功实则失败。
这意味着,对于任何严肃使用LLM的团队,建立一个内部的'失败图谱'不再是可选项,而是必需品。你需要知道你的特定场景中,LLM最容易在哪些环节产生递归同意、上下文腐烂、叙事惯性和信息熵增。然后针对性地设计系统来缓解这些问题。
从更宏观的视角看,这场技术变革的真正赢家将不是那些拥有最大模型的公司,而是那些最先理解新范式本质并据此重构产品和组织的团队。他们不会问'如何让LLM帮我写代码更快',而是问'哪些事情是以前根本不可能做的,现在因为LLM而变得可能'。
这需要一种思维的跳跃。从效率思维到可能性思维;从工具思维到平台思维;从辅助思维到协作思维。我们正站在一个门槛上,一边是熟悉的老世界,一边是尚未完全成形的新世界。而最大的风险,不是选错了方向,而是以为根本没有方向可选。
参考来源
- Fireside chat at Sequoia Ascent 2026 from a ~week ago. Some highlights:
- The first theme I tried to push on is that LLMs are about a lot more than just speeding up what existed before (e.g. coding). Three examples of new horizons:
- 1. menugen: an app that can be fully engulfed by LLMs, with no classical code needed: input an image, output an image and an LLM can natively do the thing.
- 2. install .md skills instead of install .sh scripts. Why create a complex Software 1.0 bash script for e.g. installing a piece of software if you can write the installation out in words and say "just show this to your LLM". The LLM is an advanced interpreter of English and can intelligently target installation to your setup, debug everything inline, etc.
- 3. LLM knowledge bases as an example of something that was *impossible* with classical code because it's computation over unstructured data (knowledge) from arbitrary sources and in arbitrary formats, including simply text articles etc.
- I pushed on these because in every new paradigm change, the obvious things are always in the realm of speeding up or somehow improving what existed, but here we have examples of functionality that either suddenly perhaps shouldn't even exist (1,2), or was fundamentally not possible before (3).
- The second (ongoing) theme is trying to explain the pattern of jaggedness in LLMs. How it can be true that a single artifact will simultaneously 1) coherently refactor a 100,000-line code base *and* 2) tell you to walk to the car wash to wash your car. I previously wrote about the source of this as having to do with verifiability of a domain, here I expand on this as having to also do with economics because revenue/TAM dictates what the frontier labs choose to package into training data distributions during RL. You're either in the data distribution (on the rails of the RL circuits) and flying or you're off-roading in the jungle with a machete, in relative terms. Still not 100% satisfied with this, but it's an ongoing struggle to build an accurate model of LLM capabilities if you wish to practically take advantage of their power while avoiding their pitfalls, which brings me to...
- Last theme is the agent-native economy. The decomposition of products and services into sensors, actuators and logic (split up across all of 1.0/2.0/3.0 computing paradigms), how we can make information maximally legible to LLMs, some words on the quickly emerging agentic engineering and its skill set, related hiring practices, etc., possibly even hints/dreams of fully neural computing handling the vast majority of computation with some help from (classical) CPU coprocessors. - https://nitter.net/karpathy/status/2049903821095354523#m
- The LLM Failure Atlas: 4 Structural Failure Modes That Break Modern AI Systems (Free PDF) - https://www.reddit.com/r/PromptEngineering/comments/1tghwc8/the_llm_failure_atlas_4_structural_failure_modes/
- Raven Software released the Jedi Academy source code in 2013 and the dev comments are crunch rage - https://www.reddit.com/r/programming/comments/1thewau/raven_software_released_the_jedi_academy_source/