AI 越强，越要保留自己的判断力

date

Nov 5, 2026

status

Published

slug

ai-critical-thinking-verification-and-control

原材料引用了 Addy Osmani 关于 Agent 工作流与批判性思考的讨论：从委托任务但仍对结果负责，到直接沿用工具的判断，再到不觉得有必要检查输出，存在一条值得警惕的连续谱。这是一种经验框架，不是每个使用者必经的心理阶段。

真正容易让人放松警惕的，往往是那些流畅、完整、看起来大体正确的回答。明显的错误会提醒人检查，顺畅的结果反而容易被一路接受下去。

例如，AI 写完代码，又写了测试，最后给出全部通过的摘要。如果实现和测试沿用了同一个错误假设，绿灯仍然可能亮起来。我们至少需要知道：它验证了什么，哪些条件没有覆盖，关键决定又依据什么。

一个简单的做法是，在提问之前先写下自己的判断。答案回来之后，再看双方差在哪里。这样，AI 才有机会帮助我们修正认识，而不只是替我们省掉思考。

Owen Queen 和 James Zou 的研究重新检验了 50 项大模型研究结论，覆盖 20 个模型。其中，22 项被归为失效，17 项减弱，8 项保持，3 项增强。被归为失效的 22 项，估计失效时间的中位数为发表后 14.7 个月。研究原文

这里的“失效”有具体测量定义，主要指拟合效应降到原研究的五分之一或以下；不表示论文造假，也不表示所有新模型都消除了相应问题。样本只有这 50 项，不能据此推断整个 AI 研究领域的失效率。

这给技术选型一个很实际的提醒：过去测过不行的任务，换了模型、工具或上下文之后，值得重新测一次；过去表现不错的流程，升级后也需要回归验证。

记录结论时，可以顺手留下三个条件：什么时候测的，用了什么版本，在什么任务和环境下成立。经验有了边界，才更容易更新。

SemiAnalysis 的 GDPx 覆盖芯片设计、网络安全、金融等 11 个专业领域。其发布结果中，最佳模型综合得分约为 12%。这是特意设计的高难度 Agent 测评，还受到安全限制、任务分布和执行环境影响，不能解释成“AI 只能完成现实世界 12% 的工作”。测评原文

它提醒我们，演示成功距离可靠交付仍有不少工作。真实任务会遇到信息缺失、工具失败、约束冲突，也需要有人检查最后的结果。

因此，做 AI 产品不能只盯着模型榜单。任务是否拆清楚，上下文是否充分，失败后怎样恢复，结果如何验收，这些环节都值得测量和改进。

对一个具体业务，最有用的指标往往很朴素：多少任务真正完成，错误能否被发现，每次交付花了多少时间与成本。先用自己的任务集找到瓶颈，再决定换模型还是改流程。

对于重要任务，“由人负责”需要落实到操作上：目标由谁决定，授权到哪里为止，什么情况必须停下来，出错后能否撤回或恢复。

技术也在尝试补足其中一部分信任问题。Anthropic 的 FlashProve 原型研究，探索用密码学证明一次推理确实来自承诺使用的模型，而不公开其权重。官方研究

但它仍有明显成本。在官方披露的特定 Llama 4 Maverick、4-bit 权重、prefill 整数运算设置下，证明生成消耗的 GPU 时间约为 vLLM 对应推理的 70 至 95 倍。这不是所有模型和推理场景的统一开销，更不代表已经能够低成本普及。

来源证明也只解决一部分问题：确认使用了指定模型，不能保证回答的事实正确，更不能替人决定这个答案是否值得执行。来源、内容和行动后果，需要分别检查。

可以从下一次重要的 AI 任务开始，保留三个动作：

AI 帮我们提高效率之后，省下的时间值得留一部分给理解。长远来看，能定义目标、组织执行、检查证据并修正认识，才更容易把工具的能力变成自己的能力。