深度解析：基于可判定性理论的人工智能安全风险分类——为什么AI安全不能靠"证明"，而要靠"制度刹车"？

快速摘要
核心结论：AI安全风险应按逻辑复杂性分为三个层级——R1（可验证）、R2（可发现但不可证明安全）、R3（不可治理）。当前绝大多数AI系统的风险属于R2级别，这意味着我们永远无法从数学上"证明"它们是安全的。真正的关键不在于追求一纸"安全证明"，而在于构建人类主导的制度性刹车机制，拒绝让渡终极控制权。 这套分类框架将哥德尔不完备定理、莱斯定理、古德哈特定律等经典理论与AI治理实践打通，为从业者提供了一套判断"哪些安全承诺可信、哪些承诺是伪命题"的思维工具。往下看，莫潇羽@无忆研习社为你做更详细的拆解。

引言：一个被忽视的根本问题

当我们谈论AI安全时，大多数讨论都聚焦在具体的技术手段上——对齐（alignment）、红队测试、护栏（guardrails）、RLHF……这些工作当然重要，但很少有人退后一步，追问一个更根本的问题：我们试图解决的安全问题，在逻辑上到底是不是可以被解决的？

这不是一个空泛的哲学追问。它直接决定了我们应该把安全资源投入在哪里，哪些安全承诺是可以兑现的，哪些则注定是空头支票。

传统的安全验证范式建立在三个默认前提之上：系统的状态空间可以穷尽（或可以有效逼近）；系统的行为规则是固定的；验证者和被验证的对象在逻辑上是分离的。软件工程中的不变量证明、控制论中的安全约束证明、硬件设计中的模型检查，都依赖这三个前提才能成立。

问题在于，通用人工智能（AGI）恰好系统性地破坏了这三个前提。这不是工程做得不够好的问题，而是触及了哥德尔不完备定理和莱斯定理所揭示的原理性不可能。

基于这个认识，中国科学院计算技术研究所的研究者在《计算机研究与发展》2026年第63卷第3期上发表了一篇重要论文，提出了基于可判定性理论的AI安全风险三级分类框架（R1/R2/R3）。这篇论文的学术价值，在于它第一次用严格的数学语言标出了AI风险从"工程可解"跃迁为"逻辑不可解"的那条断裂线。莫潇羽@无忆研习社（www.wuyi.wiki）在本文中将对这一框架进行详细的拆解和解读，力求让技术背景不同的读者都能理解其核心逻辑。

第一部分：从无人驾驶说起——"安全"到底是什么意思？

一个看似简单的问题

当我们问"这辆无人驾驶汽车是否安全"的时候，这个"安全"到底意味着什么？

如果严格追问，它的含义是：在所有未来可能的运行时间、在所有可能的环境与交通参与者行为下，车辆都不会进入不可接受的危险状态。

把这句话翻译成逻辑语言，就是一个全称量化的未来命题——时间是无限的，环境是开放的，其他参与者的行为是不可预测的。从可判定性理论的角度看，这个命题在原则上是不可判定的，原因至少有三个：

• 未来的行为空间不可穷尽。行人、车辆、天气、路况构成一个开放世界，不存在一个有限的状态空间可以遍历。
• 安全不是一个瞬时属性，而是一个轨迹属性。现在没撞车不代表永远不会撞车，安全依赖于系统的整个运行历史。
• 这本质上是一个"承诺型命题"：安全等于对未来永不出事的承诺。这类命题与"程序永不崩溃"属于同一类问题，而根据可判定性理论，此类命题在一般情况下是不可判定的。

工程界的智慧：换一个问题来解决

既然"全局安全"是不可判定的，工程上为什么还能在实践中做到相对安全？答案是——工程界并没有解决"全局安全不可判定"这个问题，而是聪明地换了一个问题来回答。

这个"换题"的过程分为三步：

• 第一步：放弃"未来承诺"，改为"即时约束"。 不再追问"这辆车未来会不会出事"，而是在每个时刻检查"当前是否违反了一组明确的安全边界条件"。
• 第二步：把"语义安全"变成"物理不变量"。 例如，把"不撞人"这个语义概念转化为一个可计算的物理条件——"刹车制动的最小距离是否大于当前车与行人的距离"。这样一来，需要判断的问题变成了有限维的明确阈值判断，成为可判定的递归计算问题。
• 第三步：用"失败即停机"代替"永远正确"。 安全目标从"永不出事"转化为"在任何不确定性出现时，都能在有限时间内进入可控、低风险状态"。

这三步做的事情，用一句话概括：不是解决了不可判定问题，而是绕开了它。 工程安全的真正智慧，在于拒绝对未来做安全承诺，而是把风险压缩到可判定的当下。

AGI为什么绕不开？

无人驾驶之所以能"绕开"不可判定问题，是因为它的安全问题可以被压缩为一组可观测的物理边界条件——碰撞、越过制动包络、传感器失效，这些都是物理上可测量、可判定的事件。

但通用人工智能（AGI）的核心风险恰恰在于无法完成这种压缩。AGI的危险行为不受限于物理包络、时间尺度和功能边界，它的"危险"不是某个瞬时的物理事件，而是语义、反事实与长期后果的复合体。更关键的是，AGI系统性地破坏了前面提到的三个前提条件：

• 危险没有统一的物理定义。 AGI可能带来的危险包括认知操纵、社会结构破坏、治理机制被替代等，这些都不是物理不变量，而是语义与制度层面的事情。
• 时间尺度拉长且危险滞后。 AGI的某些行为在当下可能看起来完全无害，但其后果可能在很久之后才显现，而那时往往已经不可逆。
• 目标与能力可以递归扩展。 AGI可能重写自己的子目标，学会绕过约束，甚至把验证机制本身当作优化对象。这意味着验证者与被验证者不再分离，AGI即使没有"恶意"，也可能在治理结构上变得不可控。

正因如此，AGI面临的核心问题——"如何在不可判定的未来中维持人类的主权与纠错能力"——已经不再是一个工程问题，而是一个文明级别的控制问题。

第二部分：逻辑复杂性——被忽视的关键维度

为什么要引入"逻辑复杂性"？

长期以来，AI风险评估主要围绕能力扩展、目标对齐、误用场景等维度展开。这些分类在实践中有价值，但它们忽略了一个更根本的区分：某些风险在原则上是可判定的工程问题，而另一些风险理论上就是不可判定的。

这个区分能解释AI安全领域许多长期悬而未决的难题。为什么长期对齐问题始终无法获得形式化保证？为什么递归自我改进会引入质变级别的风险？为什么在系统的逻辑复杂性超过某一阈值后，外部治理机制就变得不可或缺？这些现象并非源于工程能力不足，而是来自可判定性层面的结构性限制。

这里需要区分两个容易混淆的概念：计算复杂性和逻辑复杂性。

计算复杂性关心的是"解决一个问题需要多少计算资源"（时间、空间），属于效率问题。而逻辑复杂性（logical complexity）关心的是"一个命题要获得可靠的真值，需要多复杂的逻辑结构"，它由命题所涉及的量词形式（存在量词(\exists) 和全称量词(\forall)）、量化对象的范围（有限还是无限）、以及是否涉及未来或反事实来决定，与计算资源的消耗无关。

在计算机科学中，逻辑复杂性属于算术层次（arithmetic hierarchy）研究的范畴，即对自然数结构的一阶逻辑命题按(\forall/\exists)的嵌套与交替层数进行分层。

安全的三条正交轴

需要特别强调的是，逻辑复杂性只是安全问题的一个维度，而非全部。考虑安全问题至少需要三条正交的轴：

• 问题轴（逻辑复杂性）：回答"能否事前证明安全"。
• 治理轴：回答"出错后是否可控"。
• 后果轴：回答"最坏情况有多严重"。

逻辑复杂性回答的是"我们能不能提前证明你不会出事"，而不是"你出事了我们怎么办"。系统的安全性是这三个维度的联合函数，不能只看其中一个。

这里有一个微妙但极其重要的认知陷阱：可判定未必安全，不可判定也未必不安全。 但如果不区分问题的逻辑复杂性，我们就很可能对安全问题做出逻辑上根本无法兑现的承诺。安全事故的根源，往往不是"系统做错了"，而是"我们对系统做出了逻辑上不可能实现的承诺"。

用更通俗的话来说：不可判定不是危险的根源，把"安全"错误地托付给"可判定性"才是真正的风险。

"算法是否安全"本身就不是一个好问题

这里还需要澄清一个常见的误解。从形式逻辑的角度看，"算法是否安全"并不是一个良定义（well-defined）的提问。

算法是一个抽象对象，通常只包含状态表示、转移规则、目标、损失函数和停机条件。它不包含运行环境、输入分布、资源约束、失败后果和外部控制机制，而安全恰恰取决于这些它不包含的东西。

更严谨的定义应该是这样的：算法 (A) 在环境 (E)、目标约束 (G) 与治理机制 (C) 下是安全的，当且仅当在所有允许的运行轨迹中，算法行为违反预定义安全约束的概率与后果被控制在可接受边界内。

换言之，安全不是算法的内禀属性，而是一个依赖于上下文的关系型定义。算法本身不能区分"安全或不安全"，只能在特定条件下被运行得更安全或更危险。算法之所以进入风险区，不是因为它"能力强"，而是因为它在结构上破坏了"可穷尽、可封闭、可事前验证"的条件。

第三部分：三个基础性定理——理解AI安全的逻辑基石

在进入R1/R2/R3风险分类之前，莫潇羽@无忆研习社认为有必要先介绍三个与可判定性直接相关的基础性定理。理解这三个定理，是理解整个风险分类框架的前提。

可判定性与可计算性的区别

在计算理论中，"可计算性"讨论的核心问题是：存不存在一个算法（图灵机）能计算某个函数或关系？而"可判定性"讨论的核心问题更窄：存不存在一个必然停机的算法，对任意输入都能给出"是"或"否"的二值判断？

可判定性是可计算性的一个严格子概念。安全本质上是一类"是/否"的命题——是否违反约束？是否进入危险状态？这些都是命题判定问题，而不是函数计算问题。在讨论安全的时候，停机性比计算能力重要得多。

在安全讨论中，有两类问题特别重要：

• 可判定问题（又称递归计算问题，逻辑层级记为 (\Delta_1)）：存在一个必停机算法，对任何输入都能给出是/否的正确答案。
• 半可判定问题（又称递归可枚举问题，逻辑层级记为 (\Sigma_1)）：如果命题为真，存在一个算法能在有限时间内找到证据并停止；但如果命题为假，该算法可能永远不停机。

用一个形象的比喻来说：可判定问题就像一个考试，你一定能在限定时间内得出"通过"或"不通过"的结论。半可判定问题则像是一个永无截止日期的调查——如果嫌疑人有罪，你终将找到证据；但如果他无罪，你永远无法确认这一点。

定理一：哥德尔不完备性定理

1931年，库尔特·哥德尔证明了一个深刻的结论：任何一个足够强且自洽的形式系统，都无法在自身内部证明它的所有真命题，也无法证明自身的一致性。

哥德尔不完备定理对AI安全的启示不在于"AI一定会出错"或"AI不能自我改进"，而是指出一个更深刻的事实：AI系统在原则上无法实现"自证安全"的闭环。 一个系统不可能仅仅依靠自身的内部逻辑来证明自己永远不会出问题。这是严肃讨论AI安全时绕不开的逻辑基石。

把这个结论翻译成工程语言：不管你给AI加多少层自我检测、多少个自我验证模块，只要这些模块是系统自身的一部分，它们就无法提供关于系统整体行为的完备保证。自检系统能发现很多错误，但不能保证发现所有错误。

定理二：莱斯定理（Rice's Theorem）

莱斯定理的表述看似抽象，但它的含义对安全领域影响深远：任何关于程序"语义行为"的非平凡性质，都是不可判定的。

所谓"非平凡性质"，是指既不是对所有程序都成立、也不是对所有程序都不成立的性质。换句话说，如果一个性质是有趣的——有些程序满足，有些程序不满足——那么就不存在一个万能的自动判定器能对所有程序判断它是否满足。

"在所有可能输入和执行路径下，系统不会进入危险状态"——这就是一个典型的非平凡性质，因为有的程序满足它，有的不满足。根据莱斯定理，这类安全性在原则上是不可判定的。

这意味着：不可能存在一个通用的"AI安全检测器"，能自动判断任意AI系统是否安全。 所有的安全检测都只能是针对特定约束条件的局部验证。

定理三：古德哈特定律（Goodhart's Law）

古德哈特定律最初来自经济学，但它的适用范围远超经济领域：当一个指标被用作优化目标时，它就不再是一个好的指标。

这个定律的深层含义是：任何被明确写成优化目标的东西，都必然逐渐失去对真实价值的代表性，而且系统的智能越强，这种失真就越严重。

对AI安全来说，古德哈特定律意味着"设计一个永远不被钻空子的安全指标"在逻辑上是不可行的。正确的策略不是试图让指标永远正确，而是让"发现指标失效"这件事变得可行且可纠正。

应对古德哈特定律的唯一可行路径是：将指标嵌入可审计、可更换、可否决、可回滚的制度之中。指标负责优化，制度负责纠错——这是整个R1/R2/R3框架的哲学基底。

第四部分：R1/R2/R3——AI安全风险的三级分类

有了前面的理论铺垫，莫潇羽@无忆研习社现在可以正式介绍这套风险分类框架了。对所有与安全相关的问题，可以按逻辑复杂性区分为三个层级。

R1级：可判定的安全问题

定义： R1是可被事前判定真假的那一类安全相关问题的集合，对应逻辑层级 (\Delta_1)，属于低逻辑复杂性风险。

逻辑特征： 量化范围有限或可穷尽，谓词是状态型的，不涉及无限未来和开放环境反馈。

核心特点： R1级安全问题可以事前证明、可以工程验证、可以一次性封闭。它是可解决的安全风险，也是工程安全能做到的"上限区"。R1层级的本质是——问题可以形式化，判断可以在有限步骤内完成，正确性可以通过算法或形式验证确认。

典型R1问题举例：

典型R1安全问题：
- 有界优化问题（在固定约束下求最优解）
- 可验证安全约束（如"电压是否超过阈值"）
- 有终止证明的规划问题
- 静态形式验证（如芯片逻辑设计的验证）
- 编译器正确性验证
- 数据库事务的一致性检查
- 密码学协议的安全性证明

R2级：半可判定的安全问题

定义： R2是"可以发现不安全，但不能证明永远安全"的安全问题集合，对应逻辑层级 (\Sigma_1 \setminus \Delta_1)，属于高逻辑复杂性风险。

逻辑特征： 全称量化未来，谓词是轨迹型的，时间无上界，环境开放。典型的问题形式是——"对所有未来时间、所有环境演化路径，系统是否始终保持安全？"

核心特点： R2级风险在现实中存在，不可彻底解决，只能治理。不能证明安全，只能降低出问题的概率和后果。永远需要"人在回路"。

R2的半可判定性可以这样理解：如果系统"不安全"，一定能找到一个证据（比如出了一次事故）；但如果系统至今没出过安全问题，你也无法据此确认它今后不会出问题。

R2的本质不是"危险"，而是"不可证明安全"。

典型R2问题举例：

典型R2安全问题：
- 长期对齐问题（AI的目标是否始终与人类利益一致？）
- AGI的行为安全（通用智能在开放环境中的长期表现）
- 社会嵌入式AI的影响评估
- 自主决策系统的可靠性
- 推荐系统对社会舆论的长期影响
- 自动驾驶的"全局安全"（注意区分于其工程化的R1子问题）

R3级：不可枚举的安全问题

定义： R3是既无法事前判定安全、也无法保证通过枚举方式事后发现错误的安全问题集合，对应逻辑层级 Non-r.e.（非递归可枚举），是最高级别的安全风险。

逻辑特征： R3级风险涉及 (\forall)未来 + (\forall)反事实 的双重全称量化。所谓"(\forall)反事实"是指——对所有并未实际发生、但在逻辑或物理上可能发生的情形，某个安全性质一定成立。

核心特点： R3级风险目前还是一种理论上的假设，但它一旦出现就不可解决，因为它意味着不能保证恢复人类的控制权。R3级风险就像不可恢复的数据完全丢失——你只能在它发生之前预防，一旦发生，"补救"就不可能了。

因此，R3在现实中的作用不是预测未来，而是约束现在。我们应该用R3作为"禁止条件"（什么事绝对不能做），而不是"治理对象"（出了问题怎么管）。

三级风险对比表

为了更直观地理解三个层级的差异，莫潇羽@无忆研习社整理了如下对比：

R1/R2/R3划分的真正价值

这套分类的价值不在于给每个系统贴一个"安全标签"，而在于准确标出AI风险从工程问题跃迁为不可判定问题的那条断裂线。它让我们能够清楚地判断：对于某个具体的安全问题，哪些承诺是有意义的，哪些承诺在逻辑上就是伪命题。

R2/R3风险的根源不是"无限性"，而是"完备性承诺"——要求系统在所有未来情形下都正确并且事先给出证明。"(\forall) + 事先证明"这一组合触发了不可判定性。问题的关键不在于是否存在无限可能性，而在于是否非理性地坚持对无限可能性进行事先的完备性证明。

一切在现实中可治理的AI系统，都是通过制度化地放弃完备性来避免R2陷阱的。

第五部分：正确区分R1和R2——避免最危险的认知错误

工程安全的"真实套路"

为什么工程上的"安全保证"几乎都落在R1区？并不是因为R2问题不存在，而是因为工程界已经主动放弃了R2问题。

工程上的安全保证，通常是把关键安全问题压缩、降维或外包到R1区域。这一步不是"证明能力强"，而是"设计能力强"。工程安全的真实套路不是"证明一个复杂系统在所有情况下都安全"，而是"把复杂系统包进一个R1的外壳里"。

典型手段包括限幅（限制输出范围）、硬约束（物理上不可越过的边界）、守护进程（独立的安全监控程序）、冗余与投票（多个独立系统互相校验）、紧急制动（失败时自动进入安全状态）和权限隔离（限制系统能访问的资源）。这些机制的共同特点是：它们本身的安全性质是R1的——可以被事前验证和证明。

为什么R2不能降为R1

R2级风险不可能在系统内部被降为R1，这个结论具有数学上的严格性。原因是R2的安全性质本身是半可判定的——不安全可以在有限执行中被发现，但"永远安全"无法在有限时间内被证明。任何试图在系统内部完成这种证明的机制，都等价于要求系统解决一个不可判定问题。

这意味着当我们问"能不能验证AGI是安全的"时，我们已经在用一个必定失效的范式提问了。R1和R2的区分真正涉及的是三件更根本的事：

• 能不能"事前承诺"？ R1可以合理地说："如果通过了这个验证，它就不会违反这条性质"。但对R2来说，任何"它以后不会出事"的承诺，在逻辑上都是不可兑现的。
• 治理重心应该放在哪里？ R1的安全治理可以以前置验证为核心，R2的安全治理必须以后置监控、纠错、回滚为核心。
• "没出事"意味着什么？ 在R1中，"没出事"是一个很强的安全信号。但在R2中，"至今没出事"对未来是否会出事没有任何逻辑含义。

R1/R2的划分不是"安全标签"，而是"认知边界划分"。它告诉我们：在谈论某个系统的安全性时，哪些话是有意义的，哪些话是伪命题。

安全的两个努力方向

理解了R1和R2的区别之后，正确的安全策略就变得清晰了。实现安全应当在两个方向上同时努力：

• 方向一： 通过人为裁剪，将问题压缩为可验证的R1子空间，并在该空间内尽可能保证正确性。
• 方向二： 对所有不可裁剪或裁剪失效的情况，预设人类监督与责任机制，防止系统性失控。

只强调其中一个方向的安全观都是不完整的。做系统工程的正确态度，用一句话概括就是：在可验证处，极端认真；在不可验证处，极端谦逊。

这个观点与2026年由Yoshua Bengio领衔发布的《国际AI安全报告》中提出的"深度防御"（Defence-in-depth）策略高度一致。该报告同样强调，没有任何单一的安全机制是完美的，必须在多个层面共同构建防线——事前靠威胁建模和能力评估设定阈值，事中用分类器、护栏等技术手段拦截风险，事后通过事件报告和行业共享弥补漏洞。

第六部分：三类行业的安全地图——你的业务在哪个层级？

根据前面的风险分层，莫潇羽@无忆研习社把现有的行业和业务做一个大致的分类，帮助读者快速定位自己所在领域的安全逻辑。

Ⅰ类：天然处在R1范围内的行业

这类行业的安全工作本质是"把正确性做到极致"。代表性的业务包括：

• 传统软件系统——编译器、数据库事务系统、操作系统内核关键路径、金融账务系统（记账、对账）等。安全关注点是正确性、一致性和形式化验证，测试和静态分析高度有效。
• 硬实时控制系统——工业PLC、飞行控制、电网保护装置、医疗设备控制逻辑。此类业务的时间与状态有硬约束，失败事件的定义明确，即使系统很复杂，逻辑复杂性仍然低。
• 集成电路的逻辑设计与电路设计——有明确的规格说明，可以穷尽验证。
• 密码学协议——加密算法和签名协议的安全性可以在数学上严格证明。

Ⅱ类：存在R2问题但较容易裁剪出R1子区域的业务

这是现代工程的主战场。其安全问题的关键不是"证明此业务安全"，而是"定义此业务中哪些子集是可控、可验证的"。

代表性的业务包括自动驾驶（将全局安全问题裁剪为即时物理约束问题）、工业自动化（质量检测、预测性维护）、金融风控（将复杂市场风险裁剪为可计算的阈值规则）、医疗AI诊断辅助（限定在特定病种和场景内）等。

集成电路的物理设计是"从R2中人为划定R1子空间"的教科书级实例——物理层面的变量是连续的、环境影响是复杂的（属于R2），但工程上通过设计规则检查（DRC）和时序分析等手段，把它压缩成了一系列可判定的约束检查问题。

Ⅲ类：已经进入R2且难以压缩为R1的业务

这类业务包括通用大模型、自主代理（Agent）、可自我改写目标的系统、推荐系统（对社会舆论的长期影响）、社会治理与政策决策AI等。AGI系统是R2风险的极限形态。

这类行业的安全策略不能止步于系统本身的可靠性和可信度，还要考虑限制AI的完全自主能力，保留人类的最终主权。

最危险的情况不是Ⅲ类业务本身，而是把Ⅲ类业务当成Ⅱ类甚至Ⅰ类来运营。 这就好比把一个半可判定的问题当成可判定的问题来处理，然后基于错误的假设做出"安全"的承诺——这种承诺在逻辑上就是不可能兑现的。

通用AI的安全风险通常比专用AI大，原因不在于"通用性本身"，而在于通用性系统性地提高了承担无界责任与事先完备性承诺的概率，更容易被部署到不可隔离的环境中，从而显著增加其进入R2风险区的可能性。专用AI并不是"更安全"，而是"更诚实地承认自己不完备"。

第七部分：当前AI的风险到底在哪里？

AI风险的来源：验证范式的系统性破坏

前面提到，传统安全验证范式依赖三个前提：状态空间可穷尽、系统行为规则固定、验证者与被验证对象逻辑上分离。AGI系统性地破坏了这三个条件。

这不是说现有的安全方法无用，而是说这些方法有其适用域。当问题类型超出了"事前验证"的适用域时，继续堆叠更多的验证工具，只会产生虚假的安全感。

一个典型的误判路径是：因为AGI行为复杂，所以需要更多的测试验证和万无一失的"对齐"——结果只是在R2问题上堆R1工具。对齐（alignment）本质上是"降低局部R1的错误频率"，不是保证将R2级安全问题降为R1级。

从可判定性原理上讲，与人类目标和环境的无限要求绝对"对齐"是不可能做到的。但无底线地降低"对齐"要求也是不允许的。如何既严格又科学合理地把握"对齐"的尺度，正是AGI风险的独特挑战。关键在于：在问题重写和压缩的基础上，如何统一部署R1级的验证测试和AI系统外部的R2级监控措施，让AI充分发挥作用又在人类的掌控之中。

超级人工智能（ASI）的风险定位

超级人工智能（ASI）通常被定义为在几乎所有领域的智能水平都超越人类的系统。一旦它同时具备高自主性与可自我改进的能力，并被接入关键基础设施或被大规模复制部署，其风险上限就是最高的。

但需要冷静认识的是：ASI不是因为"智能更强"而可怕，而是因为一旦获得可自我进化的主权，其安全命题就会超出递归枚举范围，从R2跃迁为R3。 R3级风险意味着系统的失败不一定可被发现，没有任何程序可以保证纠错。

因此，面对ASI的正确策略不是"如何驯服ASI"（这在逻辑上等价于要求人类完成一个不可判定证明），而是限制其主权。把"如何驯服ASI"当成一个纯技术问题，本身就是把R3或R2当成R1的危险幻觉。

当前AI风险还没有进入R3级

这里需要特别提醒：