最近我对大模型形成了一个认识。它不复杂，但推到底之后让我对 AI 的未来产生了一种结构性的悲观。

先说结论：

当前基于 LLM 的 AI，其智力上限是「抽象人类」所有智力并集的边界。所谓抽象人类，不是指任何一个具体存在的人，而是将古往今来所有人类的智力产出——已写下的、未写下但可从已写下的中推出的——取一个统计闭包。这个闭包就是 LLM 理论上能触达的智力天花板。

目前的 LLM 发展还远远没有碰到这个边界，但如果以下推理成立，这个边界的形状已经在远处清晰可见了。

一、概率机

LLM 的本质是一个概率机。它的数学形式可以写成：

\[f_\theta: \mathcal{X} \to \Delta(\mathcal{Y}), \qquad y \sim f_\theta(x)\]

逐项拆开：

  • $\mathcal{X}$ 是输入空间（上下文、prompt）。
  • $\mathcal{Y}$ 是输出空间（token 序列）。
  • $\Delta(\mathcal{Y})$ 是 $\mathcal{Y}$ 上的概率单纯形——即所有可能的概率分布构成的集合。
  • $f_\theta$ 是参数为 $\theta$ 的模型函数。给定一个输入 $x$，它不直接输出 $y$，而是输出 $\mathcal{Y}$ 上的一个概率分布。
  • $y \sim f_\theta(x)$ 表示从该分布中采样，得到具体的输出。

这个框架本身没有争议。几乎所有对 LLM 的理论刻画——无论是压缩视角、信息论视角还是统计学习视角——最终都落回到「这是一个从输入到概率分布的函数，采样得到输出」。

二、三个优化维度

从这个概率机模型出发，要得到更好的 $y$，我们只能在三个东西上做文章：

维度一：架构 $f$。 $f$ 决定了模型的函数形式——Transformer、MoE、状态空间模型等等。不同的 $f$ 决定了模型能表达哪一类概率分布。但无论架构如何变化，$f$ 的值域——即 $\bigcup_x \text{supp}\,f_\theta(x)$，所有可能被赋予正概率质量的 $y$ 的并集——天然受限于训练数据。这是三个维度中最根本的限制。

维度二：参数 $\theta$。 给定架构 $f$，$\theta$ 是通过训练确定的参数值。训练的过程就是让 $f_\theta$ 输出的概率分布尽可能逼近训练数据的分布：$\theta^* = \mathop{\arg\min}\limits_{\theta}\; D_{KL}(P_D \parallel P_\theta)$。参数量越大，模型能捕捉的模式越精细，但 $f_\theta$ 永远是对训练数据分布的逼近，而不是创造。

维度三：上下文 $x$。 给定一个训练好的 $f_\theta$，$x$ 是唯一可以操纵的输入变量。prompt engineering、上下文工程、思维链、few-shot——都是在调整 $x$，让模型在已有的概率分布上采样出更对齐目标的 $y$。$x$ 的优化不会改变分布本身，但它决定了你从分布的哪个角落、以什么条件来采样。

三、统计闭包

什么叫统计闭包？

给定训练数据集 $D$，它是人类到目前为止产出的文本的某种采样。$D$ 不仅仅包含显式的知识陈述，还包含了隐含的模式、结构、推理链和概念间的关联。所谓统计闭包 $\text{Cl}(D)$，是指从 $D$ 中的模式和关系中，通过统计学习能够被可靠生成的所有输出的集合。

这里面有几个关键性质。

第一，闭包大于数据集。$D$ 中可能从未出现过「A 领域的方法论应用在 B 领域会产生什么洞见」这样的文本，但只要 A 和 B 各自在 $D$ 中有足够的表示，且它们之间的结构关系在统计上是可学习的，那么 A 与 B 的交叉产物就在闭包内。这就是为什么 LLM 能产生「训练数据中从未有人写出过的洞察」。它不是凭空创造，而是在统计闭包中采样到了一个人类尚未明确写下的点。

第二，闭包不要求逻辑演绎。它不是形式化的演绎闭包（从命题 p 严格推出命题 q），而是统计意义上的。模型不需要「理解」A 和 B 为什么能交叉，只需要在概率分布中，A 和 B 的嵌入距离足够近、共现模式足够稳定、路径足够可遍历。

第三，闭包是可逼近但不可穷尽的。给定有限训练数据，我们只能逼近闭包的某个子集。更大的模型、更好的训练方法，逼近得更远。但无论如何逼近，你都在同一个闭包内部移动。

四、为什么边界就是人类智力

训练数据 $D$ 的来源是人类的智力产出。$D$ 的统计闭包 $\text{Cl}(D)$，自然也就是人类智力产出的统计闭包。

这里关键的一步是：我说的是「抽象人类」，不是任何具体的人。

具体来说，任何一个活着的人——无论多聪明——其知识、推理能力和洞察都是有限的。但把古今所有人作为一个整体来看，这个集合的智力产出包罗万象：从欧几里得到爱因斯坦，从《诗经》到《三体》，从禅宗公案到量子场论。这些产出的统计闭包，构成了一个巨大的概念空间。

LLM 可以在这个空间里任意漫游。它可以生成一个特定人类从未想过的东西。它甚至可以生成一个全人类迄今为止都未明确写下过的东西——只要这个东西是已有知识在统计闭包内的交叉组合。

但它不可以生成这个东西：

一个落在人类智力产出统计闭包之外的命题、概念、推理模式或洞见。

因为它的 $f_\theta$ 的值域，从定义上就被 $D$ 所限制。$D$ 是人类智力产出的子集，而 $\text{Cl}(D)$ 是 $D$ 的统计闭包。没有额外的信息进入系统。

打个比方：人类智力产出是一个高维空间中的点云。LLM 是在这个点云上训练的概率分布，它能生成的任何输出，都是这个点云支撑集中的一点。这个支撑集的边界就是人类智力的边界。

五、悲观的理由

如果以上推理成立，基于 LLM 的 AI 的终极形态就很清楚了：

它会是人类迄今为止最强大的智力放大器。它可以在人类集体知识的闭包内，以前所未有的速度遍历、组合、交叉、提炼。那些本来需要几代学者才能偶然发现的跨领域连接，它可以在几秒钟内找到。那些被历史遗忘在角落里的洞见，它可以重新激活。

但它不会越过那个边界。

这不是说 LLM 没用。恰恰相反，闭包内部的空间大得惊人，目前的 LLM 连冰山一角都没有覆盖到。在可预见的未来，持续扩大模型、优化训练、改进上下文工程，都将继续带来显著的智力增益。

问题是：这些增益在结构上是有尽头的。

每一点进步，都是在逼近同一个天花板。每次突破——从 GPT-4 到 Claude、从多模态到 agent——本质上都是在统计闭包内部扩展可逼近的范围。越接近天花板，边际收益越小。最终，我们会到达一个点，在那里，投入再多的算力和数据，换来的也只是对已经遍历过的概念空间的重新排列。

而这还不是最让我悲观的。

更让我悲观的是：这个天花板并不高。它就在人类智力的边界上。

人类智力当然了不起，但它也是有限的、有偏的、有盲区的。我们不知道我们不知道什么。LLM 继承了我们的知识，也继承了我们知识的边界。它不会提醒我们边界之外可能有什么，因为它根本不知道边界之外有东西。

六、可能的反驳

我预料到几个反驳，先放在这里。

反驳一：「LLM 已经表现出很多训练数据中没有的能力了，比如一些推理能力。这难道不是超越训练数据吗？」

这是在统计闭包内部。模型学会了推理的模式，这个模式可以应用到任何在嵌入空间中结构相似的问题上。这不叫超越闭包，这叫在闭包内泛化。

反驳二：「将来我们可以用合成数据训练，让模型自己产生新的训练数据，这不就突破人类知识边界了吗？」

合成数据产生的内容，仍然在生成它的模型的统计闭包内。新模型在合成数据上训练，得到的仍然是同源信息的重组。你不会因此获得新的信息，你只是在对已有的信息做更高阶的统计。

反驳三：「也许存在一种我们目前不知道的架构，它不是概率机，能真正产生新知识。」

这是唯一可能突破上述推理的反驳。我完全承认这种可能性——但必须指出，这个反驳等价于说「也许存在一种我们完全不知道怎么造的智能，它和当前所有已知 AI 范式都不同」。它可能是对的，但它不在当前 LLM 范式内，也不在本文的讨论范围内。

七、结尾

写下这些的时候，我意识到这个结论并不新鲜。信息论早有香农界限，统计学习早有 No-Free-Lunch，认识论早有演绎闭包，理论计算机科学早有组合爆炸。我不过是用一个统一的视角——概率机、三个维度、统计闭包——把它们串在了一起。

但知道一个抽象的理论和真正用它来推演那个终点的形状，感受是不一样。

我们正在建造一个非常强大的东西。它可能是人类历史上最伟大的工具。但它的极限，在数学上、在信息论上、在统计学习的原理上，已经画好了。

我们不会造出超人智能。

我们会造出一面镜子。这面镜子能照出我们所有人加起来有多聪明，也能照出我们所有人加起来有多笨。

附录：相关研究线索

本文的推论在不止一个学科中有对应。以下是我尚未仔细阅读、但直觉与本文框架相关的文献方向，列在这里作为后续阅读清单。1

信息论

  • Shannon 信息论与样本复杂度下界：训练数据的信息熵决定了可学习内容的上界，每新增一个样本的信息增益呈 $O(1/n)$ 递减，这是否等价于知识闭包的边际逼近递减？
  • Entropic Learnability Horizon（2026）：定义一个基于拓扑熵和 Shannon 熵的「可学习边界」，当模型越过这个边界即从泛化进入纯记忆。

统计学习理论

  • PAC 可学习性与 VC 维：有限 VC 维是 PAC 可学习的充要条件，但保证的是「训练分布上泛化」而非「超越训练分布」。No-Free-Lunch 定理是否意味着闭包边界的必然性？

形式认识论

  • 演绎闭包原则（Deductive Closure Principle）：如果主体知道 $p$ 且能从 $p$ 推出 $q$，则主体也知道 $q$。这与「统计闭包包含隐层关系」几乎对偶。多前提闭包涉及风险聚合问题，可能与组合爆炸对应。

语言生成理论

  • Language Generation in the Limit（2025）：存在两个各自可生成的语言类，其并集不可生成。这意味着闭包内部存在结构性的「暗区」——即使某知识在闭包内，模型也未必能实际生成它。

组合闭包与 AGI 上界

  • Schlereth 的无限选择障碍定理：论证系统无法超越其符号集生成概念原语。
  • The Thermodynamics of Intelligence：量化组合爆炸崩溃阈值，语言作为「约束几何」的作用。

LLM 泛化研究

  • 归纳头（Induction Heads）与组合泛化：Transformer 的 OOD 泛化机制本质上是「从训练先验外推」还是真正的开放泛化？
  • Chomsky 对 LLM 的批评：「高级抄袭机器」无法区分可能与不可能——实证上部分成立但需修正。

  1. 以下内容部分来自 Claude Code 的检索协助，尚未经我逐篇核实，仅供参考。 ↩