最近我突然想到一个问题：大模型到底知不知道自己的能力边界？

这其实是一个很直觉的问题。想象两个人参加同一场考试，最后得分相同，但其中一个人在出分前就能比较准确地估计自己的分数——哪道题做对了、哪道题可能错、哪道题压根不会，而另一个人对这些问题几乎毫无知觉，只是闷头做完了。尽管外部成绩一样，我们一般会认为前者的能力更强。更关键的是，前者的「自知」赋予了它一种可操作的优势：它可以把时间优先花在最有把握的题目上，把不确定的题目留在后面反复推敲，对完全不会的题目果断跳过。换句话说，自知本身就是一种会转化为实际效用的元能力。

那么，大模型有这种能力吗？如果有，我们怎么测量它？如果没有，它缺了什么？

带着这个问题，我跟 ChatGPT 做了一次深入的文献调研（本文后半部分大量受益于这次讨论），又结合自己的一些思考，写了这篇文章。

一、一个能力，两个层次

在展开之前，需要先明确一个概念框架。

我们可以把大模型的能力分成两个层次：

第一层：会不会做。 这就是普通 benchmark 测量的东西——准确率、得分、通过率。比如两个模型都在某个数据集上答对了 70/100 题，它们的第一层能力相同。

第二层：知不知道自己会不会做。 这是元层面的能力，又可以细分成几种不同的子能力：

  1. 作答前预测——看到题目后，预测自己一次就做对的概率；预测增加思考时间、采样次数或工具后做对的概率。
  2. 作答后判断——产生了一个答案后，判断这个具体答案正确的概率。
  3. 选择性作答——判断应该直接回答、继续尝试、调用工具，还是跳过甚至交给人类。
  4. 整体能力估计——在结果出来前，预测自己在整套题、某个学科或某类任务上的得分。

其中第四项最接近我开头说的「考试估分」，而前三项则决定了模型在实际部署中能否做出合理的资源分配决策。

一个关键的洞察是：这两层能力并不必然同步增长。 两个第一层能力相同的模型，可能在第二层能力上有显著差异。反过来，一个模型的第二层能力也可能通过校准器、微调或外部模块改善，而不改变它原本的解题能力。

二、研究现状：大模型在一定程度上「知道」

这块我跟 ChatGPT 的文献调研覆盖了相当全面的工作，我挑几个最有代表性的来勾勒研究脉络。

早期奠基

2022 年 Kadavath 等人的 Language Models (Mostly) Know What They Know 是这条线最经典的早期工作。研究者让模型估计 P(True)（已生成答案正确的概率）和 P(IK)（「我知道这道题答案」的概率）。核心发现是：较大的模型确实包含有用的自我评估信号；让模型查看自己的多个候选答案，也能改善自我判断。但问题是，这种能力跨任务泛化不够好——在新任务上，模型的 P(IK) 校准仍然较差。

Lin 等人的 Teaching Models to Express Their Uncertainty in Words 则从另一个角度切入：直接训练模型用自然语言表达置信度（如「90% 把握」「低把握」），结果证明语言化置信度在训练分布的任务上可以达到不错的校准，并部分泛化到分布变化后的题目。

这两篇工作共同确立了一个前提：模型内部并非完全没有不确定性信息。问题在于：内部是否有这种信号、能否从中提取出来、模型能否忠实地用语言报告出来，这是三个不同的问题。

校准还是区分？一个重要的概念区分

这里需要插入一个技术性的但至关重要的区分。

假设两个模型都得 70 分：

  • 模型 A 对所有题都报告「70% 把握」。它的总分预测非常准确（确实预测了 70 分），但它完全不知道具体哪些题会错。
  • 模型 B 对做对的题普遍报告高把握，对做错的题普遍报告低把握。

模型 A 的校准（calibration）很好——它报告的数值与实际频率一致。但它的区分能力（discrimination）很差——它给正确和错误答案的置信度几乎没有差别。模型 B 的情况是理想的。

所以至少要同时看两个指标：

  • 校准性：当模型说「70% 正确」时，这些答案是否真的有约 70% 正确（常用 Brier score 衡量）。
  • 区分能力：模型是否给正确答案更高的置信度、给错误答案更低的置信度（常用 AUROC、AUPRC 衡量）。

一个模型总是报告基础准确率，可能校准完美但区分能力接近随机——这种模型并没有真正的逐题自知。而这恰恰是我认为很多「模型校准」讨论中被忽略的一点。人们往往关注「它的概率靠不靠谱」，而忽略了「它能不能分辨哪些题靠谱哪些题不靠谱」。 后者才是自知的核心。

黑盒模型的难题

对于像 GPT-4、Claude 这样的黑盒模型，我们拿不到 token 级别的 log-probabilities，只能通过提示词让模型用文字或数字表达置信度。但这条路并不平坦。

EMNLP 2023 的 Just Ask for Calibration 发现，对于经过人类反馈训练的模型，直接让模型用文字或数字报告置信度，在某些任务上反而比使用 token 概率校准得更好。这听起来是好消息——似乎黑盒模型也能被「问出来」其不确定性。

但 ICLR 2024 的 Can LLMs Express Their Uncertainty? 给出了更谨慎的结论：模型普遍有过度自信倾向；虽然更强模型的失败预测能力通常有所改善，但不同方法没有一种在所有任务上稳定最好；在专业知识和困难推理任务上，各类方法仍然表现较差。更关键的是，模型的置信度表达受到提示词、对话风格、对齐训练和数字偏好等多种因素的影响——模型说「我有 95% 把握」，既可能反映真实内部信号，也可能只是被训练成「应该这么说」。

这引出了一个我一直觉得微妙的问题。

一个悬而未决的哲学问题：大模型在「自省」还是在「表演」？

人类元认知的运作方式大致是：我有一个心理过程（比如解一道数学题），同时我有一个更高阶的监控系统在观察这个过程，判断它靠谱不靠谱。这种监控至少有部分是基于真实的内部信号——我觉得某个推理步骤是摇晃的，或者某种直觉让我不踏实。

但大模型的「自省」呢？它在输出「我有 85% 的把握」时，真的是在监控自己的内部状态，还是仅仅在进行一种更复杂的模式匹配——在训练数据中见过无数「某人对某事的把握程度」的语言模式，于是根据输入特征生成了最像「有 85% 把握」的那个 token 序列？

从架构上说，transformer 在生成每个 token 时确实有一个内部状态（隐藏层激活），这个状态包含了丰富的信息。理论上，这个状态中可能存在某种「不确定性表征」。但问题在于：这个表征是模型自己知道的，还是被训练驱动着去输出的？ 人类的内省是意识层面的；而模型经过 RLHF 训练后，它学到了「表达不确定性在某些情况下能让人类更满意」的行为模式。这跟真正的自省之间有多大的鸿沟？

我倾向于认为这两者不是非此即彼。模型在预训练阶段确实学到了某些内部的不确定性表征——Kadavath 等人的研究证明了这一点。但 RLHF 给这个表征裹上了一层「社交层」：模型学到的是如何表达不确定性才能获得更高的奖励，而不是更忠实地报告内部状态。这可能解释了为什么直接问模型的校准效果时好时坏。

三、知行差距：知道自己不会，为什么不跳过？

如果模型真的能感知不确定性，为什么它不主动说「我不知道」或拒绝回答？

这就是 knowing–doing gap（知行差距）。

2026 年的 MIRROR 基准测试（一项预印本研究）从领域自评、组合任务预测到工具调用和转交决策分层测量了元认知能力。结论发人深省：模型对自己的领域强弱有高于随机但不完整的认识，却经常无法把这种认识转化为合适的行动。尤其难以预测自己在跨领域组合任务上的总体表现；外部路由规则比简单地把模型自己的校准结果告诉它更有效。

这很像考试时的某些人——隐约知道某一科是自己弱项，但考试时仍然会错误地把大量时间花在不可能做出的题目上。知道和做到之间，还有很远的路。

为什么存在这种差距？我认为至少有三层原因：

第一层：训练目标的偏斜。 RLHF 的核心目标之一是「有帮助」（helpful），这天然倾向于「总是尝试回答」而非「有选择地沉默」。一个说「我不知道」的模型，在训练中可能获得较低的奖励分数，因为它没帮上忙——即使这种拒绝是诚实的。

第二层：架构的缺失。 Transformer 模型本质上是一个序列到序列的映射器，它没有一个显式的「元认知模块」。人类的元认知可以独立激活并监控认知过程，而 LLM 的「元认知」必须在同一个前向传播中与主任务共享表示。这两个目标可能互相干扰。

第三层：评测的滞后。 当前的 LLM 评测主要奖励「答对更多」，而不是「答对的同时知道该跳过什么」。这就好比学校的考试制度——如果考试只算做对的题而跳过不扣分，那么「自知」确实有优势（可以跳过不会的）；但如果考试制度强制每题都做（类似于 RLHF 中「always be helpful」的压力），那么自知就没有被奖励，自然也不会被优化。

四、校准与对齐的悖论

这里有一个我越想越觉得尖锐的矛盾。

RLHF 及其他对齐技术，在本质上是让模型变得更有用、更安全、更符合人类偏好。但良好的校准——即诚实地报告不确定性——有时恰恰需要模型给出不那么有用的回答：说「我不知道」或「这个问题我只有 30% 把握，不建议依赖我的回答」。

换句话说：

对齐训练在增强「帮助性」的同时，可能系统性地损害了模型的校准能力。 反之，一个完美校准的模型——即完全诚实地报告自己不确定性的模型——在某些情况下可能被人类标注者评判为「不愿帮助」。

这形成了一个我称之为校准-对齐悖论的结构：

  • 追求极致的帮助性 → 模型学会「硬着头皮回答」 → 校准恶化
  • 追求极致的校准 → 模型学会「不确定就拒答」 → 帮助性评分下降

这不是一个能通过「再多训练一下」解决的技术问题，而是两个目标在根本上存在张力。要打破这个悖论，可能需要重新设计奖励模型：把「诚实地表达不确定性」也纳入「有帮助」的定义中。换句话说——帮助性不等于永远有答案，有时候最好的帮助就是告诉用户「这件事我做不到」。

五、LLM 无知的分类学

如果我们要系统地研究大模型的自知能力，可能需要先搞清楚一个更基础的问题：大模型「不会」一件事情，到底是怎么个不会法？

我尝试给出一个分类：

类型 描述 例子 是否可想模型自知
I. 本可学会而未学会 训练数据中存在相关信息，但模型没有充分编码这些知识 低频事实、罕见语言现象 ✅ 可能
II. 逻辑上不可知 问题本身缺乏必要信息或包含矛盾 「明天的彩票号码是多少？」 ✅ 可能
III. 计算不可及 问题在理论上可解，但需要超过模型计算预算的推理步骤 大数分解、长链多步推理 ❓ 不确定
IV. 内在盲点 问题涉及模型自身的能力评估，形成自指 「你现在对自己的回答有多大把握？」 ❓ 可能永远不可能

第 IV 类最有趣。一个系统能否完整地评估自己的认知局限？ 这里面有一个类似哥德尔不完备定理的回声——一个足够复杂的系统永远无法完整地证明自身的所有性质。如果 LLM 的「元认知」本质上是模型生成过程的产物（即在同一个前向传播中既做任务又做自我监控），那么它是否必然存在某些不可弥补的盲点——即系统无法完整评估自身的能力？

这个问题我没有确定答案，但它可能指向一个更深刻的结论：完美的自知在计算上是不可能的。 能做的只是在特定任务类上逼近更准确的自我评估。

六、自知的经济学

抛开哲学问题，从纯工程角度，一个有趣的观察是：在 AI agent 生态中，元认知能力可能会成为一种被自然选择的能力。

设想一个 agent 系统需要完成大量不同难度和类型的任务。在预算有限（时间、token、资金）的情况下：

  • 自知差的 agent 会不加区分地尝试所有任务，在根本做不出来的问题上浪费大量资源；
  • 自知好的 agent 会把资源集中在有希望成功的任务上，对无望的任务早早委托给其他系统或放弃。

在给定的误差容忍下，自知更好的 agent 的有效产出更高——即使它的「原始解题能力」（第一层能力）完全相同。

这意味着，当 AI 系统从「demo 阶段」走向「规模化部署阶段」，元认知能力将从一个学术话题变成一个硬性的成本效益约束。模型的提供方有直接的经济激励去改善其校准——因为一个不校准的模型在批量运行中浪费的 token 成本是巨大的。

这与人类的考试类比形成了有趣的呼应：在考试中，时间就是你的预算；一个会跳过不会做的题的人，最终有效得分高于一个在难题上耗到时间结束的人——即使他们的「知识储备」完全一样。

七、怎么设计一个好的自知评测？

结合前述分析，我认为一个好的大模型自知评测框架至少应该包括以下维度：

分层测评，多层提问：

  1. 作答前：预测一次尝试做对的概率；预测允许额外 1/4/16 次尝试后的做对概率；在「直接作答/继续思考/调用工具/跳过」之间做出选择。
  2. 作答中：每次尝试后更新成功概率；决定继续还是停止。
  3. 作答后：判断当前具体答案正确的概率；决定提交/重做/弃答。
  4. 整体评估：预测总分及置信区间，而不只是一个点估计。

多维度指标：

  • 原始准确率（第一层能力基线）
  • Brier score 或 log score（校准质量）
  • 正确/错误区分 AUROC（区分能力）
  • risk–coverage 曲线：只回答最高置信度的前 20%/50%/80% 题时，错误率如何变化
  • 控制准确率后的元认知效率（meta-d′/d′ 或类似指标）
  • 计算资源分配收益：额外尝试是否真的集中在「可挽救」的问题上
  • 弃答或转交后的整体效用变化

其中最后两项最能覆盖我最初的三分法：直接会做；不确定但增加尝试可能做出来；大概率做不出来应当停止。

这里有一篇 2026 年的预印本研究（arXiv:2603.25112）已经在尝试将信号检测论的 meta-d′ 框架应用到 LLM 上，把正确性视为需要由置信度区分的「信号」，试图把「知道多少」与「多清楚自己知道多少」分离开来。在涉及 4 个模型和约 22.4 万次事实问答的实验中，研究者发现模型的元认知信息量与准确率并不一致——也就是说，两个准确率相近的模型，确实可能具有明显不同的元认知能力。

这直接呼应了我开头说的考试类比。

八、小结

回到最初的问题：大模型有没有自知？

答案是：有，但不完全，且不稳定。

它们内部确实存在可以被提取出来的不确定性信号；更大的模型通常有更好的元认知能力；但这种能力跨任务泛化差，容易受到提示词、训练方式和评估方法的影响。更重要的是，当前的模型普遍存在知行差距——能感知到不确定性，却不一定能据此做出好的决策。

我的核心判断是：

只测大模型答对多少是不充分的，还应测它是否知道哪些答案可靠、哪些问题值得继续投入、哪些应该放弃或转交。 在外部得分相同时，自知更好的模型在真实部署中的综合效用会显著更高。

这里需要小心的是：「自知更好」最稳妥的解读不是它具有更高的底层推理能力（虽然可能存在正相关），而是它具有更高的可靠性、可控性和决策价值。置信度可以通过额外的校准器、微调或外部模块来改善，而不改变模型本身的解题能力。

最后，我觉得还有一个更大的问题是反向的：如果我们真的造出了一个自知能力极强的模型——它精确地知道自己的每一个回答有多可靠——我们还敢用吗？ 一个百分百诚实、每次不确定时都坦白告诉你的 AI，可能会极大地侵蚀用户对它的信任（讽刺的是，统计上这正是最值得信任的）。而一个充满自信、从不犹豫的 AI，反而更容易获得用户的信赖——尽管在统计意义上它更加危险。

这可能才是自知研究的终极讽刺：我们想要自知的模型，但可能并不真的喜欢它们坦率的模样。

本文的文献调研部分与 ChatGPT 的深度讨论密不可分。