LLM的锯齿边界:为什么它能重构十万行代码,却建议你走路去洗车
一个模型能瞬间重构数十万行代码,却告诉你走路去洗车。这种看似荒谬的“锯齿”能力分布并非缺陷,而是理解人工智能当前状态与未来潜力的核心密码。
核心观点:大型语言模型的能力并非均匀分布,其表现出的“锯齿形”能力边界源于训练数据分布与强化学习的经济激励,理解这一内在不均衡是有效利用AI的关键。
在红杉资本2026年的炉边谈话中,一个重要的观察浮出水面:大型语言模型的能力并非一条平滑上升的曲线,而是一张布满锯齿的锋利边缘。同一套系统,可以在一个下午内完成对一个十万行代码仓库的连贯重构,也可以毫无违和感地建议你“走过去洗车”。这种逻辑上的跳跃,从最精密的编程推理坠入最朴素的常识陷阱,让许多人对AI能力的信心反复横跳。然而,这并非系统的缺陷,而恰恰是我们理解其工作方式的最重要线索。真正重要的不是为这种割裂感到困惑,而是认识到它揭示了一个根本性的事实:当前的AI更像是一个高度特化的专家,而非一个通用智能体。它的“聪明”和“愚蠢”都源于同一套训练机制,而这种机制本身正在被我们逐步理解。
要深入理解这种“锯齿形”能力,我们必须追溯到模型的训练过程。今天的大语言模型,无论是GPT-4、Claude还是其他前沿系统,其核心能力的塑造已经超越了简单的预训练和微调。增强学习(Reinforcement Learning from Human Feedback, RLHF)以及后续更复杂的迭代,在其中扮演了决定性角色。关键点在于,RL的训练过程并非对所有问题一视同仁。它会偏向于那些在训练数据中频繁出现、被标注者高度认可、并且在验证中被证明容易成功的模式。换句话说,模型被“塑造”去擅长那些能产生明确、可验证、高经济回报结果的领域。编程恰好是这样一个完美领域:有明确的语法规则、有可自动运行的测试用例、有海量的开源代码作为训练样本,并且其产出(一行能工作的代码)的价值是即时且可衡量的。因此,模型在代码重构上的惊人表现,是RL算法在数百亿次参数调整后,沿着“正确”轨迹稳步前进的自然结果。
然而,一旦任务离开了这个“数据高速公路”,模型的表现就急转直下。当它被问到一个关于“如何洗车”这类日常问题时,它发现自己身处一片未知的“丛林”。这个问题没有标准答案,缺乏结构化的反馈信号,在训练数据中大多是以零散的文本片段形式存在,而非作为RL的优化目标。模型只能凭借其语言生成的本能,从语料库中拼接一个看似合理的回应。于是,它可能告诉你“走路去洗车”,因为它机械地关联了“脏了需要移动”和“洗车需要过去”的语义,却无法像人类那样直观地判断出“距离”和“效率”的不合理性。这种能力上的断崖,并非偶然失误,而是系统设计的内在特性。它提醒我们,当前的AI远未达到人类的认知灵活性和综合判断力。
对这种“锯齿”现象的深入剖析,引出了一个更具前瞻性的思考:我们是否正在见证一种全新的计算范式的诞生?在红杉的访谈中,讨论触及了一个诱人的可能性——未来,我们可能不再需要为所有任务编写传统的确定性代码。例如,那些完全被大语言模型“吞没”的应用程序,如“menugen”——一个输入图片、输出图片,整个逻辑流程完全由LLM驱动,不依赖一行传统代码的App。这背后是计算本质的转变:从精确的、可预测的“软件1.0”指令,转向概率性的、基于理解的“软件2.0/3.0”推理。但这并不意味着旧范式的消亡。相反,最可能的未来是一个混合架构:大语言模型作为核心的“理解与推理引擎”,负责处理非结构化信息、进行上下文感知的决策,而传统的CPU/GPU则作为精确的、数字计算的协处理器,执行那些绝对需要确定性和性能的任务。这种“类脑”架构,将模拟直觉与数字精确性结合起来,才是未来智能系统的蓝图。
但这条道路并非毫无争议。一个核心的反方论点在于,我们是否过于草率地将能力边界归结为训练数据分布?批评者会指出,模型在编程上的优异表现也部分得益于领域本身的封闭性和形式化,而不仅仅是RL的功劳。更重要的是,随着模型规模的增长和多模态能力的融合,这些“锯齿”是否会自然地被填补?一些研究人员认为,模型表现出的“常识缺失”可能只是暂时的,当训练数据量和模型参数量突破某个临界点后,这种在看似简单任务上的失败会奇迹般地消失。这种观点并非完全没有依据,一些最新的模型在常识推理任务上的确取得了令人瞩目的进步。然而,将希望寄托于“涌现”是一种懒惰的策略。它忽略了系统层面的核心挑战:如何让AI在开放世界中可靠地做出符合人类直觉的决策,而这需要的是全新的评估框架和训练目标,而非简单地把所有知识塞进一个更大的“黑箱”。
最终,理解LLM能力的“锯齿形”边界,其现实意义远大于理论兴趣。对于开发者、产品经理和每一个试图利用AI力量的人来说,它提供了一份操作指南。这意味着,我们不能把AI当作一个通用的解决方案,而是一个需要被精心引导和配置的高度特化工具。在它擅长的领域(如编程、数据分析、文档总结),我们可以大胆地放权;而在它表现得不稳定的领域(如规划、常识推理、道德判断),我们必须保持警惕,设置护栏,并做好“人机协作”的准备。这恰恰是红杉访谈中最后强调的主题——“代理原生经济”的核心:将产品和服务分解为传感器、执行器和逻辑,并明智地决定哪些部分交给“智能”,哪些部分交给“精确”。它不是关于AI取代人类,而是关于我们如何重新定义“计算”本身,以及如何在一个日益智能化的世界中,找到人类智慧不可替代的位置。这种认识,比任何对AI性能的盲目乐观或悲观都更加重要。
参考来源
- Fireside chat at Sequoia Ascent 2026 from a ~week ago. Some highlights:
- The first theme I tried to push on is that LLMs are about a lot more than just speeding up what existed before (e.g. coding). Three examples of new horizons:
- 1. menugen: an app that can be fully engulfed by LLMs, with no classical code needed: input an image, output an image and an LLM can natively do the thing.
- 2. install .md skills instead of install .sh scripts. Why create a complex Software 1.0 bash script for e.g. installing a piece of software if you can write the installation out in words and say "just show this to your LLM". The LLM is an advanced interpreter of English and can intelligently target installation to your setup, debug everything inline, etc.
- 3. LLM knowledge bases as an example of something that was *impossible* with classical code because it's computation over unstructured data (knowledge) from arbitrary sources and in arbitrary formats, including simply text articles etc.
- I pushed on these because in every new paradigm change, the obvious things are always in the realm of speeding up or somehow improving what existed, but here we have examples of functionality that either suddenly perhaps shouldn't even exist (1,2), or was fundamentally not possible before (3).
- The second (ongoing) theme is trying to explain the pattern of jaggedness in LLMs. How it can be true that a single artifact will simultaneously 1) coherently refactor a 100,000-line code base *and* 2) tell you to walk to the car wash to wash your car. I previously wrote about the source of this as having to do with verifiability of a domain, here I expand on this as having to also do with economics because revenue/TAM dictates what the frontier labs choose to package into training data distributions during RL. You're either in the data distribution (on the rails of the RL circuits) and flying or you're off-roading in the jungle with a machete, in relative terms. Still not 100% satisfied with this, but it's an ongoing struggle to build an accurate model of LLM capabilities if you wish to practically take advantage of their power while avoiding their pitfalls, which brings me to...
- Last theme is the agent-native economy. The decomposition of products and services into sensors, actuators and logic (split up across all of 1.0/2.0/3.0 computing paradigms), how we can make information maximally legible to LLMs, some words on the quickly emerging agentic engineering and its skill set, related hiring practices, etc., possibly even hints/dreams of fully neural computing handling the vast majority of computation with some help from (classical) CPU coprocessors. - https://nitter.net/karpathy/status/2049903821095354523#m
- 《战术小队:破晓攻势》首曝PV | 全体都有,准备战斗! - https://www.bilibili.com/video/BV1M7VK6AEGh
- Advanced memory + project continuity for AI coding agents, from a biologist’s view. - https://www.reddit.com/r/ClaudeAI/comments/1tp9u0q/advanced_memory_project_continuity_for_ai_coding/