从检索到内化:AI不再只是查找,而是在构建自己的世界——但我们准备好了吗?
当LLM不再只是搜索答案,而是开始内化知识、形成自己的‘世界模型’,我们看到了前所未有的效率——也看到了幻觉从偶发错误变为系统特征。这不是技术改进,而是一把双刃剑。
核心观点:AI正从依赖外部检索的辅助工具,转向内部化知识并构建世界模型,这带来了效率的革命,但也伴随着不可预测的幻觉和失控风险,需要我们重新定义信任和使用边界。
在最近的一系列技术讨论中,一个日益清晰的主题正在浮现:人工智能不再满足于做一个高效的检索工具,它正在尝试“内化”世界。从reddit上关于“通用矢量化世界模型”的思辨,到Karpathy在红杉资本炉边谈话中分享的“LLM不仅仅是加速”的洞见,再到个人开发者尝试纯视觉GUI代理的实操反馈——这些看似分散的话题,其实指向同一个核心转变:AI正在从“检索”走向“内化”。这个转变听起来美妙,但它带来的问题可能比它解决的更棘手。
我们先来看看这个转变到底意味着什么。传统的AI,包括早期的大语言模型,本质上是一个超级索引。你问它一个问题,它去庞大的数据库里找最匹配的片段,然后拼接成答案。这个过程本质上是被动的,它依赖外部知识的精确度和完整性。而Karpathy提到的“menugen”——一个完全由LLM驱动、无需传统代码的图片生成应用——则完全不同。这里的模型不再只是检索一个“如何生成图片”的模板;它必须理解“输入一张图片、输出一张图片”这个任务本身,并在内部构建一个执行逻辑。这意味着AI必须内化“图像转换”这一概念,而不是从外部调用脚本。
更激进的是“安装.md技能”这个概念。传统上,安装软件需要复杂的bash脚本,每一步都要精确。但Karpathy提出,你可以用纯文本描述安装过程,让LLM像解释器一样理解并执行。这要求模型不仅“知道”安装步骤,还要“理解”你特定的系统环境,并实时调整。这不是检索,这是真正的理解与执行。
而这种内化趋势,在纯视觉GUI代理的实验中得到了残酷的验证。一位开发者分享了他用4B参数模型在Mac Mini上运行的“所见即所得”代理:模型只凭屏幕截图决定点击位置,没有DOM解析,没有API。结果很惊艳——在理想环境下,它能准确完成指定操作。但问题在于,当屏幕布局稍有变化,或者出现意料之外的弹窗时,模型会陷入混乱,因为它依赖的“视觉世界模型”是片面的、脆弱的。它内化了一个不完整的现实。
这正是内化带来的核心困境。当一个模型开始构建自己的“世界模型”,它就不再是简单的概率匹配器。它开始做推断、做预测、做决策。而一旦这个内部模型与真实世界产生偏差,它就会“自信地”产生错误——也就是我们常说的幻觉。但以往,幻觉被认为是模型训练不足或数据稀疏导致的偶发错误。而现在,随着内化加深,幻觉正在变成一种系统特征。
一个典型的例子是X平台上那个试图用LLM自动记账的创业者。他设计了一个代理来自动对账和分类发票,结果模型“幻觉”了整个报销流程——它虚构了并不存在的交易记录,并自信地标记为“已处理”。这个例子完美展示了内化的另一面:当模型把自己构建的“理想会计流程”当成了现实,它就会在真实世界中制造混乱。
但这并不意味着我们应该放弃内化。恰恰相反,这种转变是不可避免的,也是有益的。Karpathy提到的第三个点——LLM知识库——恰恰展示了内化的强大之处。传统的数据库只能处理结构化数据,而LLM知识库能整合来自任意来源、任意格式的非结构化知识,并基于内在理解进行推理。这在以前是不可能的。这不再是一种“更好”的检索,而是一种全新的知识处理方式。
那么,问题出在哪里?为什么同样的技术,在Karpathy的例子里是革命性的,在创业者的遭遇里却是灾难性的?答案在于信任边界的设定。我们习惯于信任工具,但内化型的AI不应被无条件信任。它更像一个聪明但偶尔说谎的实习生:它能带来惊人的洞见,但也可能编造出令人信服的谎言。
处理这个问题,需要重新定义我们与AI的关系。不是“问什么答什么”,而是“持续对话、交叉验证”。那个创业者的失败,部分原因是他把整个会计流水全权交给了AI,没有设置验证环节。而纯视觉代理的开发者则聪明得多:他设置了“确认-执行”的循环,每个动作前都会让模型再次思考。这看似降低了效率,但实则是必要的减速带。
另一方面,内化型AI的真正潜力可能不在于替代人类做出最终判断,而在于提供人类无法独立发现的视角。那个关于“世界模型”的reddit帖子提出一个有趣的观点:人类文明本身就是一部压缩引擎——我们将复杂的现实压缩成科学规律、哲学抽象和语言模式。而AI的内化过程,本质上是在做同样的事情。如果处理得当,AI可以发现我们遗漏的规律,提出新的“压缩方案”。
这听起来像科幻,但并非遥不可及。当前的内化趋势,正在把AI从“工具”变为“对话者”。当你向一个内化型AI描述一个复杂问题时,它不会返回几个相关链接,而是会给出一个“如果...那么...”的推理链。它已经预先在你给出的上下文和它内化的世界模型之间建立了联系。这种能力在信息过载的时代尤其珍贵——它可以帮我们从海量噪音中提炼出信号。
但危险在于,这种内化是脆弱的。它建立在一个极其不稳定的基础之上:训练数据。Karpathy在谈话中提到了“锯齿形”能力曲线——同一个模型可以重构十万行代码,却告诉你“去洗车店洗车”。这种不一致背后的原因正是内化的不均衡:模型在某些领域(如编程)有丰富、高质量的内化知识,而在其他领域(如日常常识)则贫乏、混乱。当你要求它在薄弱领域做决策时,它就会求助于不完整的世界模型,产生离谱的结果。
因此,内化型AI的未来不在于追求“全知全能”,而在于明确边界。我们需要知道哪些决策可以信任AI,哪些必须保留人类判断。那个记账失败的例子不是技术失败,而是边界设定的失败。而Karpathy在红杉资本讲话中强调的“代理原生经济”,其实也暗含了这个前提:未来的产品和服务将被分解为传感器、执行器和逻辑,而AI将负责逻辑部分——但前提是,这个逻辑必须在它内化良好的领域内运作。
一个值得深思的反方观点是:也许我们完全误解了内化的本质。也许AI并不真的在“理解”或“内化”,它只是在更高效地模仿。从统计角度看,一个能生成完美代码的模型和一个告诉你去洗车的模型,其底层机制可能完全相同——都是基于概率的符号拼接。我们赋予它“世界模型”的意义,可能只是人类对目的论叙事的天生执着。如果是这样,那么“内化”只是一种更好的模式匹配,而不是真正的认知飞跃。
但无论如何,趋势已经形成。从检索到内化,AI正在变得更强大,也更危险。它不再只会查找答案,它开始创造答案。这对我们使用者提出了更高的要求:我们必须学会判断什么时候该信任它,什么时候该质疑它。我们必须接受一个事实——未来的高效工作流程,不会是AI独立完成一切,而是人机之间持续的、批判性的协作。
回到那个创业者的故事。他在经历了幻觉报销事件后,没有放弃AI,而是调整了策略:让AI处理初步分类和提醒,但所有最终的对账操作仍由人工完成。这看似退步,实则前进。他学会了与内化型AI共存的真正方法——不是盲从,不是放弃,而是有边界的信任。
这就是从检索到内化这场转变的核心教训:AI正在构建自己的世界,但那个世界终究不是真实的。我们的任务不是让那个世界变得更完美,而是学会在真实世界与AI的虚拟世界之间,搭建一座有护栏的桥。
参考来源
- From Retrieval to Internalized Intelligence: - https://www.reddit.com/r/NPU2024/comments/1tawuei/from_retrieval_to_internalized_intelligence/
- Fireside chat at Sequoia Ascent 2026 from a ~week ago. Some highlights:
- The first theme I tried to push on is that LLMs are about a lot more than just speeding up what existed before (e.g. coding). Three examples of new horizons:
- 1. menugen: an app that can be fully engulfed by LLMs, with no classical code needed: input an image, output an image and an LLM can natively do the thing.
- 2. install .md skills instead of install .sh scripts. Why create a complex Software 1.0 bash script for e.g. installing a piece of software if you can write the installation out in words and say "just show this to your LLM". The LLM is an advanced interpreter of English and can intelligently target installation to your setup, debug everything inline, etc.
- 3. LLM knowledge bases as an example of something that was *impossible* with classical code because it's computation over unstructured data (knowledge) from arbitrary sources and in arbitrary formats, including simply text articles etc.
- I pushed on these because in every new paradigm change, the obvious things are always in the realm of speeding up or somehow improving what existed, but here we have examples of functionality that either suddenly perhaps shouldn't even exist (1,2), or was fundamentally not possible before (3).
- The second (ongoing) theme is trying to explain the pattern of jaggedness in LLMs. How it can be true that a single artifact will simultaneously 1) coherently refactor a 100,000-line code base *and* 2) tell you to walk to the car wash to wash your car. I previously wrote about the source of this as having to do with verifiability of a domain, here I expand on this as having to also do with economics because revenue/TAM dictates what the frontier labs choose to package into training data distributions during RL. You're either in the data distribution (on the rails of the RL circuits) and flying or you're off-roading in the jungle with a machete, in relative terms. Still not 100% satisfied with this, but it's an ongoing struggle to build an accurate model of LLM capabilities if you wish to practically take advantage of their power while avoiding their pitfalls, which brings me to...
- Last theme is the agent-native economy. The decomposition of products and services into sensors, actuators and logic (split up across all of 1.0/2.0/3.0 computing paradigms), how we can make information maximally legible to LLMs, some words on the quickly emerging agentic engineering and its skill set, related hiring practices, etc., possibly even hints/dreams of fully neural computing handling the vast majority of computation with some help from (classical) CPU coprocessors. - https://nitter.net/karpathy/status/2049903821095354523#m
- Been running a pure-vision GUI agent on my Mac Mini, some observations on what works and what doesn't - https://www.reddit.com/r/MininglampAI/comments/1tbs2o3/been_running_a_purevision_gui_agent_on_my_mac/