大模型的自我报告，怎样才算一条可验证的证据
大模型的自我报告，怎样才算一条可验证的证据
大模型能够描述自己的困惑、发现回答异常，甚至声称察觉到了内部变化。真正值得追问的，是这些话在什么条件下能够成为证据，以及它们能够支持多强的判断。把流畅的第一人称表达直接当成内部观察，容易高估能力；因为表达来自统计生成，就断言一切内部监测都不可能，又会过早关闭研究问题。可靠的讨论需要先拆开行为、机制与意识三个层次，再决定每一种证据能走到哪里。
本文由一篇公开科学报道引出，随后展开独立的方法论与工程分析。报道的有限结论是：通过干预神经活动，研究者发现部分模型能够察觉异常，但描述干预内容可能存在更简单的解释；异常检测是否属于内省仍有争议。这些结果不构成模型拥有主观体验的证明。下文的实验方案、系统设计及案例均为编辑分析或明确标注的假设，不是对报道所述研究的复述，也不是已经测得的产品性能。
公开原文：Ben Brubaker，Quanta Magazine，2026 年 11 月 4 日，New Research Tests Whether AI Models Know Their Own Thoughts。
先决定问题，再决定证据
讨论模型是否理解自己时，一个看似相同的问句可能包含三件不同的事。第一件是行为预测：它能否提前指出自己接下来容易出错。第二件是状态辨识：它是否使用了外部观察者没有获得的内部信息。第三件是主观经验：这种状态处理是否伴随着某种体验。第一项可以有实际工程价值，第二项涉及机制解释，第三项需要额外的哲学与科学论证。三者不能靠一个生动的回答同时完成证明。
从工程角度看，最有用的定义往往来自一个可以失败的承诺。如果声称模型能判断自己是否有把握，就应当说明它在哪类任务、何种提示条件、什么错误代价下做判断，以及判断将如何改变后续操作。如果无论成功还是失败都能被解释为某种深层自我认识，这个说法就很难检验。相反，一个范围很窄的能力即使听起来不够宏大，也可能具有明确用途。
还应区分任务状态与模型状态。检索工具返回空结果，属于工作流可以直接观察的事实；模型说自己无法检索，并不意味着它拥有特殊的内部访问能力。输入文件缺少某个字段，也能够通过外部检查发现。只有先列出系统已经暴露给模型的线索，才有可能判断所谓自我观察是否提供了额外信息。否则，实验可能只是重新发现模型能阅读上下文。
这里的原则并非要求每项研究都回答所有问题，而是要求结论与设计相称。窄结论可以逐步积累；过早把它改写成关于心灵的总判断，会把后续本来可以精确讨论的差别掩盖掉。
把检测、定位和解释分开评价
编辑分析认为，一套评估至少应分别检查三种表现：是否发现异常，是否指出异常所在，是否正确解释异常原因。它们在产品界面中经常被合并成一段自然语言，但在验证时不应共享一个模糊的成功标签。一个系统可能经常觉得不对劲，却无法确定问题；也可能对问题的解释非常具体，但最初的警报并不可靠。
假设一个辅助程序在处理表格时发出警报，表示计算过程可能不一致。警报本身是否有用，取决于它对真实错误的区分能力。接着，程序指出问题可能位于单位换算，这属于定位。最后，它解释说某列使用了不同的计量单位，这才是因果说明。验证人员应该逐层检查，而不能因为最后一句听起来合理，就追认前面的检测与定位均已成功。
分层还会改变失败处理。如果检测可靠、解释不可靠，系统可以保留警报，把原因诊断交给独立检查。如果解释能引用明确输入但不能预测未知错误，它更适合作为结果说明，而不是安全监控器。不同组合对应不同用途，没有必要把它们都压缩成模型会不会反思自己这一项能力。
这一做法也避免一种常见的评测偏差：只收集那些既发出警报又讲出漂亮故事的样本。这样的展示容易让人忘记所有没有报警的错误，以及所有没有错误却被要求返工的情况。完整的样本空间通常比精彩的个案更能决定系统能否部署。
对照实验要阻断容易走的捷径
假设研究者希望检验一个模型能否辨认内部变化，合理的设计方向是让实验组与对照组获得相同的可见任务信息，只在被研究的干预因素上不同。这样仍不自动完成因果识别，但至少能够减少提示措辞本身泄露答案的机会。实验者需要明确哪些信息属于目标能力，哪些信息只是意外线索。
例如，若干预后的输入长度、响应时间或格式总是不同，模型可能依靠这些差别做分类。即使它说自己察觉到了内部偏移，实际使用的也可能是一条外部捷径。因此，编辑建议在实验计划中提前列出可能泄露标签的通道，再分别进行匹配、随机化或遮蔽。不能只因为没有发现最显眼的漏洞，就推断所有替代解释都已经排除。
实验提示也需要变化。若模型只有在明确告知某种异常可能发生时才能识别，能力的边界就包含这种提示前提。把一个被强烈提醒的实验结果外推到普通对话，容易夸大部署表现。可以设置不同说明程度的条件，比较对异常类型完全知情、只知道可能有异常、完全没有额外提示时的表现，并把差异如实保留。
更进一步，应当设计能够支持竞争解释的测试。若两个假说对所有现有样本给出相同预测，增加同类样本未必有帮助。此时需要寻找它们预测分歧的条件。好的实验不是不断让偏爱的解释获胜，而是创造它可能输掉、同时又不会因为无关因素被误判的机会。
警报的价值取决于错误的分布
在应用中，警报准确率不是一个可以脱离环境解释的数字。错误本来就很少的任务里，即使检测器具有不错的区分能力，警报仍可能大量落在正常操作上。这里不需要编造任何产品数据，就可以理解基本关系：当真实异常在全部请求中的比例下降，误报占已发警报的比重可能上升。评估必须同时报告异常基率与判断规则。
假设一个内容整理系统每天处理大量格式简单的文档，只有少量文件存在隐藏结构损坏。若每次警报都要求人工重读全文，误报的成本很快就会成为运维负担。另一个系统处理的是不可逆的高风险操作，即使异常同样少见，也可能值得对警报采取更保守的流程。选择阈值之前，需要先确定误报、漏报与延迟分别会造成什么后果。
还应区分识别一类已知异常与发现未知异常。一个模型擅长发现训练或测试中常见的格式问题，并不能保证它会对陌生的故障模式产生同样反应。部署后的工作重点因此包括持续收集新失败类型，保留未被检测出的案例，并检查监控器是否只是在熟悉的范围内表现良好。
对外公布能力时，最好能够回答一个具体问题：收到警报后，系统实际多拦住了哪些错误，又增加了多少额外处理。把警报称为谨慎或自知，并不能代替这种结果核算。对于需要用户信任的系统，有限而可重复的价值，比无法校验的心理化标签更加稳定。
让自我报告成为输入，而不是最终裁决
以下是一个假设的文档核对工作流。模型先提取关键事实和证据位置，再给出对结果是否完整的自我报告。独立程序检查引用是否存在、格式是否有效、数值是否满足已知约束。出现矛盾时，系统保留不同信号并停止自动发布，而不是允许模型用一段解释覆盖检查失败。
这一设计不要求模型完全理解自己的内部状态。只要它提供的信息在经过独立验证后能够改善决策，就有使用价值。但也不能因为加入了自我报告，就默认系统更安全。增加一个会产生噪声的判断通道，有时反而会让流程更复杂。应当比较加入与不加入该通道的结果，检查它是否提供独立增益，而非重复已有的外部检查。
如果自我报告被允许触发操作，还要明确权限范围。声称不确定可以触发暂停、请求更多公开证据或转入复核；不应自动成为扩大访问权限、修改安全规则或反复执行未知结果操作的理由。判断信号与行动授权属于不同问题。一个系统能够识别异常，并不意味着它获得了自行修复一切的许可。
这里尤其需要注意不可逆副作用。假设工具调用返回超时，模型不知道写入是否完成。它的内部信心不能替代目标系统的只读回查。正确的恢复依据应是可观察的目标状态、幂等键或正式回执，而不是让模型在觉得大概没有成功时再执行一次。这是事务与权限设计问题，与是否承认模型具有某种内省无关。
解释文本为什么容易令人信服
自然语言解释具有一个独特优势：它能把分散的信息组织成连贯叙事。这个优势也可能成为验证的障碍。读者通常会优先注意故事是否顺畅、术语是否熟悉、表达是否像专业人士，而不容易立即追踪每个因果关系是否真的经过检验。因此，解释的可读性与解释的真实性应当分开评价。
编辑建议采用一种反向阅读方式。先暂时忽略解释文字，只记录系统实际观察到了哪些输入、做出了什么预测、哪些预测得到外部验证。然后再把解释放回来，看它是否增加了可以检验的内容。如果解释只是给既有结果套上一个更生动的心理故事，就不应被计作额外证据。反过来，如果它提出了具体、可被后续观察推翻的预测，就值得进一步测试。
假设一个模型答错后表示因为忽略了问题中的否定词。这个解释可能正确，也可能只是常见错误模式的合理补写。要提高证据强度，可以构造保留其他条件、只改变否定结构的后续任务，再检查错误与解释是否系统性对应。若解释无论面对何种失败都不会变化，它提供的诊断信息就很有限。
这样的测试不会把全部认知过程变成透明的因果链，但能帮助用户避免把修辞质量误认成机制透明度。模型说得越像在认真反省，验证人员越需要保持清楚的记录边界：这是系统的报告，还是已经被独立确认的原因。
保留反对意见，也保留研究空间
一种反对意见认为，只要模型足够大，复杂的自我描述终究可能通过文本规律生成，没有必要引入内省概念。这提醒研究者重视替代解释。但如果把任何可能的内部监测都预先定义为表面模仿，这个立场也会失去可检验性。它需要指出什么观察能够让自己改变看法，而不只是对每个新结果重新命名。
另一种意见认为，只要模型能够识别自身异常，就应当承认它具备某种自我认识。这个观点同样需要说明概念范围。如果所谓自我认识只表示存在对内部变量的处理，它可能覆盖过多普通计算过程，失去区分能力。如果定义要求更强的跨任务一致性或对自身判断的再表征，就必须为这些要求设计独立测试，而不能借用一个较弱结果完成证明。
编辑的立场是，将概念争论与局部经验发现并行推进。研究者可以继续探索内部状态的可读取性，同时明确自己的实验没有解决主观体验问题。工程团队也可以利用经过验证的异常信号，同时不把产品包装成拥有类似人类的内心。保持这种双重克制，有助于让研究结果在不同立场之间仍然具有可交流的内容。
还应承认，人类的自我报告本身也不是一个完美、无需解释的参照物。但这不意味着可以随意降低机器研究的标准。比较人类与模型时，应说明任务、观测方式与推断目标有哪些相似和不同。对一方证据的批评，不能自动转化成另一方结论的证明。
从一次演示走向可维护的评估
一个能重复运行的评估体系，应当保留任务版本、模型版本、提示条件、干预条件、判断标准及失败样本。否则，模型或提示更新以后，结果变化可能来自多个因素，团队很难确认究竟是哪一项能力发生了变化。只保存漂亮的成功截图，无法支持这种长期比较。
评估也应包含时间顺序。先作出判断，再观察答案，与先看答案再解释，属于不同任务。如果要声称系统能够提前预警，就应确保预测记录在结果揭晓之前被固定下来。事后叙述即使很准确，也不能按同样标准计入预测能力。这一要求可以通过流程记录实现，无需预先承诺任何宏大的认知理论。
在多人协作中，还要避免把评估者预期写进评分。若评分人员知道哪些样本受到干预，模糊的自然语言解释可能更容易被解读成命中。可以使用预先确定的分类规则，并将难以判断的样本明确列为不确定。保留不确定比强迫每个回答进入成功或失败两栏，更有利于发现真正的设计缺口。
对于持续部署的系统，应当设置回归检查：升级后警报有没有变多，漏报集中在哪些任务，解释是否更加自信却更少提供证据。评估的目的不是维护某个模型的形象，而是发现它什么时候不值得依赖。能够被维护的知识，通常来自不断记录边界，而非不断重述能力。
给不确定性留出明确的停止条件
编辑分析还需要补上一项经常被忽略的约束：监测到不确定以后，系统准备什么时候停止继续询问自己。如果每轮自我检查又触发新一轮检查，原本用来控制风险的机制可能演变为无边界的分析循环。更长的解释并不必然带来更多有效证据；当新增信息只是重复已有判断时，继续生成文字可能增加成本，却没有改变决策基础。
假设一个资料核对任务已经用尽公开来源，仍无法确认一项关键日期。合理的停止条件可以是明确保留缺口，并拒绝把推测写成事实。若模型只是不断重问自己是否确定，最终可能因为措辞逐渐稳定而表现得更加自信。这种稳定来自对话自身的积累，不能被当作外部事实得到确认。工作流应把等待新证据与重新表达旧判断区分开。
停止条件还涉及责任分配。系统提出警报后，谁可以解除，解除所需证据是什么，多久未处理应当转入哪个状态，都应该能够从流程中找到答案。如果每个角色都以为另一个角色已经检查，警报越多反而可能越容易遗漏。把复核结果记为已检查、仍未知或需要新输入，比一句笼统的已经反思更加便于追踪。
最后，应当允许一个监测机制因为效果不足而退出生产流程。投入了研究和开发，并不构成保留它的理由。如果独立评估显示它只是增加提示长度、拖慢操作，或让用户误以为系统拥有更强保证，就应当缩小使用范围或移除。能够主动撤回没有实证价值的设计，本身就是可靠工程的重要组成部分。
这些停止规则只是一套待按具体任务验证的设计建议，没有被本文引用的报道直接检验。它们的意义在于把自我报告放回一个有限流程：观察信息、作出判断、寻找独立证据、记录尚未解决的问题，并在边界达到时结束。一个系统无需对自己给出无限解释，仍然可以对实际结果承担清楚而有限的责任。
结论：把自知转译为可问责的边界
讨论模型是否知道自己在想什么，最终不必只停留在一个是或否的回答。更有建设性的路径是：明确它报告了什么，识别它可能使用的线索，设计竞争解释能够产生不同预测的条件，再核对这些报告是否改善了真实决策。每向前走一步，都应当保留仍未排除的解释，而不是把局部证据升级成总论。
公开报道的重要启发在于，它让一个容易被拟人化语言包围的问题进入实验讨论。本文进一步提出的工程判断则是，自我报告的价值应由可验证的增量信息决定。它可以成为辅助信号，但不能替代外部证据、事务核对、权限边界与人工问责。系统说自己知道和系统证明自己知道之间，需要一套能够失败、能够重跑、也能够承认未知的验证过程。
对公众而言，最稳妥的阅读态度是既不被第一人称表达催促相信，也不因为存在替代解释就否认继续研究的意义。对开发团队而言，可交付的进步是把一个模糊能力拆成明确承诺，规定它适用的环境和失效时的处理方式。无论未来如何定义内省，这些具体工作都能让今天的系统更加可理解，也更加容易纠正。