清华大学发布SSI-Bench：在约束流形中测试空间智能，31个大模型集体翻车

快速摘要
清华大学团队发布了SSI-Bench（Structural Spatial Intelligence Benchmark），这是首个基于「约束流形」（Constrained Manifold）的空间智能评测基准。 该基准从真实三维结构工程场景出发，设计了1,000道排序题，系统评估了31个主流多模态大模型（VLM）的空间推理能力。结果极为惊人：人类平均准确率91.6%，表现最好的闭源模型Gemini-3-Flash仅获33.6%，最优开源模型GLM-4.6V仅为22.2%，而随机猜测的基线也有12.85%。 这意味着当前大模型的空间推理能力与人类之间存在近60个百分点的鸿沟。更关键的是，「多想一会儿」（增加推理token）并不能根本性解决问题，甚至在某些任务上越想越错。这篇文章由 莫潇羽@无忆研习社 为你深度拆解SSI-Bench的技术原理、数据集构建方法、评测指标设计、具体操作流程以及对未来空间智能研究的启示。往下看有更详细的拆解，建议收藏。

一、为什么我们需要SSI-Bench？现有空间智能评测的根本局限

莫潇羽（无忆研习社 www.wuyi.wiki）这两年一直在跟踪多模态大模型的发展，坦率地说，空间智能是我观察到的"最容易被高估"的能力之一。很多模型在现有基准测试上交出了漂亮的成绩单，但你仔细看看那些测试场景就会发现问题——它们太"友好"了。

1.1 当前空间智能评测的"舒适区"

过去两年，空间智能评测领域涌现了不少基准，包括VSI-Bench、MMSI-Bench、SpatialBench、SITE等等。这些基准做了大量有价值的工作，但它们有一个共同的特征：评测场景大多设置在日常生活环境中，比如室内的客厅、卧室、办公室等场景，或者是常见物体之间的空间关系。

在这类场景下，模型可以借助大量的先验知识来"走捷径"。举个简单的例子，如果你问模型"浴缸和马桶之间大概相距多远"，模型完全可以不看图片，仅凭"典型浴室布局"的常识就给出一个差不多的答案。有研究团队实际测试过，某些模型在关闭视觉输入的情况下，仍然能在室内空间推理任务上得到不错的分数——这显然不是真正的空间理解。

问题的根源在于：在约束较弱的日常场景中，物体可以出现在各种位置，可行的三维配置空间非常大。模型只需要把握大致的2D空间关系和语义先验，就能蒙混过关。

1.2 真实世界的空间推理远不止"看图说话"

然而，现实工程世界中的空间推理完全是另一回事。想象一下，一座斜拉桥的钢缆、一个空间网架结构的杆件、一座输电铁塔的连接节点——这些三维结构中的每一个构件，它的位置、角度、连接方式都不是随意的。它们受到严格的几何约束（构件的长度、角度必须满足特定关系）、拓扑约束（哪些构件相连、连接顺序如何）和物理约束（结构不能自相交、必须能承重）。

在这种环境下，可行的三维配置空间被这些强约束"压缩"成了一个很小的子集。用数学的语言来说，这些可行解构成了一个约束流形——高维空间中一个被各种等式和不等式约束限定的低维子集。

SSI-Bench的核心洞察就在于：既然强约束收缩了可行配置空间，那么"高度、距离、最短路径"等空间量在不同合理解释下会更加稳定，这就使得评测结果具备更好的可量化性和可比性。换句话说，在约束流形中做空间推理评测，得到的结果更可靠、更能反映模型的真实能力。

1.3 从"会看图说话"到"会在结构里思考"

SSI-Bench的论文标题是"Thinking in Structures: Evaluating Spatial Intelligence through Reasoning on Constrained Manifolds"（在结构中思考：通过约束流形上的推理评估空间智能）。这个标题精确概括了研究团队的愿景——他们不是要造一个"更难的看图问答"，而是要把空间智能的评估维度从"看图说话"提升到"在结构中思考"。

这里的"结构"一词有双重含义。第一层含义是字面的建筑/工程结构，SSI-Bench的所有题目都围绕真实的三维工程结构展开。第二层含义是更深层的认知结构——模型是否能在心里构建出一个与现实约束一致的三维模型，并在这个模型的基础上进行推理。这一点至关重要，因为它直接关系到大模型能否在机器人控制、建筑工程辅助、工业检测等需要精确空间理解的领域真正落地。

二、约束流形空间推理（CMSR）到底是什么？核心概念深度拆解

接下来，莫潇羽@无忆研习社带你深入理解SSI-Bench背后的理论核心。

2.1 什么是"流形"

在进入正题之前，我们先用最简单的方式理解"流形"这个概念。在数学和物理中，流形（Manifold）是一个在局部看起来像普通欧几里得空间的拓扑空间。地球表面就是一个经典的流形例子——地球整体是一个三维空间中的二维曲面，但如果你站在地面上的任何一个小区域，它看起来就像一个平面。

推广到更一般的情况，一个 (n) 维流形就是一个在局部看起来像 (\mathbb{R}^n) 的空间。流形可以是平坦的（比如一个平面），也可以是弯曲的（比如球面或者更复杂的曲面）。

2.2 什么是"约束流形"

现在，想象你有一个三维空间，空间中有一堆构件（比如钢管、杆件等）。每个构件的位置和朝向可以用若干参数来描述，所有构件的状态合在一起构成了一个高维的"配置空间"（Configuration Space）。

但这些构件并不是可以随意摆放的。它们之间存在各种约束：

• 等式约束：比如两个构件必须在某个节点相连（连接关系），或者某个构件的两端必须分别位于特定位置（几何一致性）
• 不等式约束：比如两个构件不能在空间中穿透对方（非相交条件），结构必须能够自支撑（支撑条件），以及各种物理可行性要求

这些约束就像一把把"剪刀"，把高维配置空间中那些不满足条件的区域全部"剪掉"，只留下一个满足所有约束的子集。这个子集在数学上就构成了一个约束流形（Constrained Manifold），它的维度远低于原始配置空间。

论文将在约束流形上进行的空间推理命名为 CMSR（Constrained-Manifold Spatial Reasoning，约束流形空间推理），并将其作为SSI-Bench评测的核心能力。

2.3 用一个直观的例子理解CMSR

假设你面前有一张斜拉桥的照片。桥上有多根拉索从桥塔延伸到桥面。现在问你：从桥塔顶部沿着拉索到桥面的这几根拉索，请按照长度从短到长排序。

如果是普通的"看图说话"任务，模型可能会简单地看2D图像中每根拉索的像素长度来判断。但在约束流形中，问题远没有这么简单——因为照片是从特定角度拍摄的，不同拉索的透视缩短程度不同。真正准确地判断拉索的实际三维长度，模型需要：

• 首先在心里重建出桥梁的三维几何结构
• 理解桥塔是近似竖直的，桥面是近似水平的
• 认识到每根拉索的上端点都在桥塔上、下端点都在桥面上
• 在这个约束一致的三维模型中估计每根拉索的实际空间长度
• 最后完成排序

整个过程要求模型构建一个与现实结构约束一致的3D假设，然后在这个假设的基础上进行几何推理。这就是CMSR的核心要求。

2.4 为什么约束流形让评测更可靠

这里有一个关键的技术洞察（也是 莫潇羽@无忆研习社 认为SSI-Bench最精妙的设计）：在强约束条件下，可行的三维配置空间非常小，这意味着对于同一张结构照片，不同人（或不同模型）重建出的三维结构假设应该是高度一致的。因此，基于这些假设推导出的空间关系（比如"A比B高"、"C比D远"）也具有很强的稳定性。

我们用一个更具体的例子来说明。假设有一张拍摄了一个正方体框架的照片。在没有任何约束信息的情况下，仅凭这张2D照片，你可能重建出无数种不同的三维形状——它可能是一个立方体，也可能是一个被拉伸的长方体，甚至可能是一个不规则的平行六面体。但如果你知道这是一个由等长杆件通过直角连接构成的框架，那么约束就极大地限制了可能性：它只能是一个正方体。在这个约束下，任何两根杆件的长度比较结果都是确定的（都相等），任何对角线的长度也是确定的。

相比之下，在约束较弱的日常场景中（比如"这张照片里的杯子和书哪个离相机更近？"），由于缺乏强约束，不同的3D重建假设可能导致完全不同的答案，这就使得评测的客观性大打折扣。

更深层地理解这个问题：在数学上，约束越强，约束流形的维度就越低，流形上的"自由度"就越少。当自由度足够少时，从一张或两张照片中能够唯一（或近似唯一）确定三维配置，从而使得空间关系的判断具有明确的客观答案。这是传统空间理解基准所不具备的优良性质。

SSI-Bench通过选择强约束的工程结构场景，巧妙地解决了这个问题。这也是论文标题中"Constrained Manifolds"的深意所在。

2.5 约束流形的数学直觉

为了让没有数学背景的读者也能建立直觉，莫潇羽在这里用一个更简化的方式来描述约束流形的概念。

想象你在一个大型的三维迷宫里。迷宫中的每一个位置代表一种可能的结构配置。如果没有任何约束，你可以去迷宫里的任何一个位置——这就是完整的配置空间。但现在我们加上约束：某些位置对应的配置在物理上是不可能的（比如两根杆件穿透了彼此），这些位置就被"封死"了。再加上一些等式约束（比如某两根杆件必须在同一个节点相连），这又进一步限制了你能到达的位置。

最终，你能到达的位置只构成了迷宫中一条（或几条）狭窄的"走廊"——这就是约束流形。在这条走廊上，你从一个位置到另一个位置的路径是高度受限的，因此任何两个位置之间的空间关系也是高度确定的。

这个直觉对于理解为什么SSI-Bench的评测更加可靠至关重要：当模型面对的是一个被约束"压缩"到极小的可行解空间时，正确答案几乎是唯一的，模型要么理解了结构并给出正确答案，要么没有理解并给出错误答案——没有"碰巧猜对"的余地。

三、SSI-Bench的数据集设计：1,000道题是怎么来的

3.1 数据集的整体架构

SSI-Bench包含1,000道排序题，使用了1,160张独特的真实结构图像。整个数据集分为两大任务类别：

几何类任务（Geometric）——考察模型对三维结构中各种几何量的理解：

• Ground Height（离地高度）：比较不同构件的底端到地面的距离。比如在一座输电铁塔的照片中，标注了三根横向连接杆，要求模型判断哪根离地面最近、哪根最远。这个任务看似简单，但在复杂的铁塔结构中，透视效应可能使得实际更高的杆件在照片中看起来反而更短，模型需要正确理解三维空间中的竖向位置关系
• Ground Angle（离地角度）：比较不同构件与地面之间的夹角。例如在一个斜拉结构中，不同的斜撑与地面之间形成不同角度的夹角。模型需要准确判断每根斜撑的三维朝向，而不能仅凭其在2D图像中的投影角度来判断
• Dimension（尺寸）：比较不同构件的长度、直径等几何尺寸。由于透视缩短效应，一根实际更长但朝向相机方向延伸的杆件，在照片中可能看起来比一根更短但横向展开的杆件要短。这个任务直接考验模型对透视效应的理解能力
• Relative Distance（相对距离）：比较不同构件对之间的空间距离。比如在一个空间网架中，给定三对构件，要求判断哪对距离最近。这不仅需要理解每个构件的三维位置，还需要在三维空间中估算距离——这对模型的空间计算能力是一个综合考验
• Area（面积）：比较不同构件所围合区域的面积。例如在一个由三角形和四边形面板组成的空间网格壳体中，比较不同面板的面积大小。这个任务的难点在于面板通常不在同一平面上，模型需要理解每个面板在三维空间中的实际形状和朝向
• Volume（体积）：比较不同构件所包围空间的体积。这是几何类任务中最难的一个，因为它要求模型不仅理解构件的三维位置和形状，还要能够在心里"围合"出一个三维空间并估算其体积。很多模型在这个任务上犯的典型错误是直接用2D投影面积来替代3D体积进行比较

拓扑类任务（Topological）——考察模型对三维结构中连接关系和图结构的理解：

• Hop Distance（跳数距离）：在结构的连接图中，比较不同节点对之间需要经过的最少边数。这个任务本质上要求模型将三维结构的视觉表征"翻译"成一个抽象的图结构，然后在图上进行最短路径搜索。难点在于，在复杂的三维结构中，两个视觉上看起来很近的节点可能在连接图上需要经过很多步才能到达（因为中间没有直接的连接杆件），反之亦然
• Cycle Length（环长度）：在结构的连接图中，比较不同环路的长度。所谓"环路"是指从一个节点出发沿着杆件走一圈回到起点的路径。这个任务要求模型识别结构中的封闭环路，并计算每个环路包含的杆件数量。在密集的三维网格结构中，正确识别环路是一个相当有挑战性的视觉-拓扑推理任务

此外，SSI-Bench还特别引入了多视角（Multi-View）题目。这类题目提供两张从不同角度拍摄的同一结构的照片：一张标注了参考构件，另一张标注了待比较的目标构件。模型需要跨越两个视角，正确识别出同一结构的对应关系，才能完成空间推理。

3.2 为什么选择"排序任务"而不是选择题

这是SSI-Bench在评测形式上的一个重要创新。传统的空间理解基准通常采用选择题（从A/B/C/D中选一个正确答案），但SSI-Bench统一采用排序任务：每道题给出3或4个候选构件/构件组，要求模型按照指定的几何或拓扑准则输出完整的排列顺序。

选择排序任务而非选择题，有两个核心原因：

第一，降低猜测的影响。在4选1的选择题中，随机猜测的正确率是25%。而在4个元素的全排列任务中，随机猜测的正确率只有 (\frac{1}{4!} = \frac{1}{24} \approx 4.17%)。SSI-Bench的随机猜测基线为12.85%（因为混合了3元素和4元素排序），这大幅降低了模型"蒙对"的概率。

第二，更精细地揭示模型的理解深度。选择题只能区分"对"和"错"，而排序任务可以通过部分正确的排列来细致地衡量模型的理解程度。比如一个4元素排序任务中，模型可能把前两个排对了但后两个搞反了，这说明它对某些空间关系有一定理解，但对另一些缺乏把握。

3.3 评测指标的设计

SSI-Bench采用两种互补的评测指标：

• Task Accuracy（任务准确率）：整个排列完全正确才算对。这是一个严格指标，反映模型能否给出完全正确的空间判断
• Pairwise Accuracy（配对准确率）：将排列分解为所有的两两比较对，计算其中正确的比例。这是一个更宽容的指标，即使模型没有给出完全正确的排列，也可以看到它在多大程度上理解了各构件之间的空间关系

这两个指标结合使用，既能看到模型的"完美表现"概率，也能了解其空间推理的精细程度。

3.4 数据集的构建流程：400小时纯人工打造

SSI-Bench的构建流程是这项工作中最"硬核"的部分之一。由于不存在现成的三维结构构件标注数据集，研究团队不得不从零开始，完全依靠人工完成数据集的构建。整个流程涉及10位研究者，投入超过400小时，经历了五个严格的阶段。

第一阶段：数据收集。 研究团队从多个免版税图片来源（包括Unsplash、Pexels、Pixabay等）以及自行拍摄的照片中，审阅了约20,000张与结构相关的图片。这些图片涵盖了极为丰富的结构形式，包括空间网架、输电铁塔、斜拉桥、木竹结构、钢筋笼、管道系统、桁架、膜结构等等。经过初步筛选，保留了2,000余张候选图片。多视角任务部分还补充了团队自行采集的多角度拍摄图像。

第二阶段：任务设计。 结合空间智能的研究需求和结构工程的专业知识，团队设计了2大类、10小类共计10种空间推理任务。每种任务都经过仔细的定义和边界条件确认，确保任务既有足够的挑战性，又有明确的客观答案。

第三阶段：元数据标注。 对于每张图片，研究者需要判断它适合用于哪些任务类型。然后使用Label Studio标注工具为图片中的关键构件提供精确的定位标注（标记构件的位置、范围和标识符）。

第四阶段：问题生成。 为了确保标注在视觉上清晰可辨，系统会根据图片的色彩分布自动选取对比度高的标注颜色。标注文本的布局位置也会根据构件位置自动调整，避免遮挡关键信息。问题生成完成后，每道题都由人工复核，检查标注的清晰度和是否存在遮挡问题。

第五阶段：质量检验。 每道题目都由独立的检查者进行复核。如果检查者与出题者之间存在分歧（比如对排序答案有不同意见），则交由第三位研究者进行仲裁。最终，经过层层筛选和质量控制，共获得1,000道有效题目。

这个构建流程的严谨程度在同类工作中是相当突出的。莫潇羽@无忆研习社认为，正是这种"笨功夫"保证了数据集的高质量，使得SSI-Bench的评测结果具有较强的说服力。

四、具体操作指南：如何使用SSI-Bench评测你的模型

作为一个技术博主，莫潇羽（无忆研习社 www.wuyi.wiki）自然要给大家梳理一下SSI-Bench的实际操作流程。SSI-Bench已经完全开源，包括数据集、评测代码和配置文件，感兴趣的同学可以直接上手试用。

4.1 项目资源汇总

以下是SSI-Bench的完整资源链接：

• 项目主页：https://ssi-bench.github.io/
• 论文地址：https://arxiv.org/abs/2602.07864
• 数据集下载（Hugging Face）：https://huggingface.co/datasets/cyang203912/SSI-Bench
• 代码仓库（GitHub）：https://github.com/ccyydd/SSI-Bench

4.2 环境搭建

SSI-Bench的评测框架基于Python 3.10开发，使用了VLMEvalKit相关的评测工具。根据GitHub仓库的说明，你需要准备两套conda环境来覆盖所有模型的评测需求。

环境A（默认环境）——适用于大多数模型：

# 克隆仓库
git clone https://github.com/ccyydd/SSI-Bench.git
cd SSI-Bench

# 创建并激活conda环境
conda create -n ssi-bench python=3.10 -y
conda activate ssi-bench

# 安装依赖
pip install -e .

环境B（高版本环境）——专门用于Qwen3-VL和GLM-4.6V系列模型（这些模型要求更新版本的transformers和vllm库）：

conda create -n ssi-bench-hv python=3.10 -y
conda activate ssi-bench-hv

# 安装高版本依赖
pip install -r requirements_glm_4_6v.txt
pip install -e .

4.3 数据集的加载

SSI-Bench的数据集托管在Hugging Face上，你可以通过以下方式加载：

from datasets import load_dataset

# 加载SSI-Bench数据集
dataset = load_dataset("cyang203912/SSI-Bench")
print(dataset)

数据集中的每条记录包含以下关键字段：

• 图像文件：一张或两张（多视角任务）标注了构件标识符的结构照片
• 问题文本：描述了排序准则和候选构件列表
• 正确排列：作为ground truth的完整排列顺序
• 任务类别标签：标注了该题属于哪个具体的任务子类

4.4 运行评测

SSI-Bench提供了统一的评测入口脚本 run.py。在配置好API密钥（对于闭源模型）或模型路径（对于开源模型）之后，可以通过以下命令运行评测：

# 评测闭源模型（以GPT-4o为例，需要在.env文件中配置API KEY）
python run.py --model gpt-4o --data SSI-Bench

# 评测开源模型（以InternVL3.5-8B为例）
python run.py --model InternVL3.5-8B --data SSI-Bench

配置文件位于项目的 configs/ 目录下，包含了所有已评测模型的配置信息。如果你想评测自己的模型，可以参照现有配置编写相应的配置文件。

项目根目录下还有一个 template.env 文件，你需要将其复制为 .env 并填入各个闭源API的密钥。

4.5 评测结果的解读

评测完成后，系统会输出两组关键指标：

• Taskwise Accuracy：按任务子类别分别统计的任务准确率，以及整体平均值
• Pairwise Accuracy：按任务子类别分别统计的配对准确率，以及整体平均值

通过对比不同任务子类别上的表现差异，你可以精确地定位模型在哪类空间推理能力上最为薄弱。

五、评测结果深度分析：31个模型集体翻车

5.1 整体成绩一览

SSI-Bench系统评测了31个主流多模态大模型（VLM），覆盖了当前主要的闭源和开源模型。莫潇羽@无忆研习社把关键数据整理如下：

闭源模型排名（按Taskwise Accuracy降序）：

开源模型排名（按Taskwise Accuracy降序）：

基线对比：

5.2 五个令人深思的发现

发现一：人类对模型的碾压式领先。 人类平均91.6%对模型最高33.6%，差距高达58个百分点。这不是"略有差距"，而是"完全不在一个量级"。在某些具体任务（如多视角题和体积比较题）上，差距甚至更大。

发现二：闭源模型与开源模型之间存在一致性差距。 闭源模型群组的表现（约22%~34%）整体上高于开源模型群组（约11%~22%），大约领先10个百分点。但即便如此，闭源模型的绝对表现也远不及人类水平。

发现三：模型规模的增大带来的提升有限且不稳定。 以Qwen3-VL系列为例，从2B到235B-A22B，准确率仅从19.2%提升到21.9%。InternVL3.5系列中，38B参数的版本（19.0%）甚至不如8B版本（20.2%）。这说明简单地扩大模型规模并不能有效提升约束流形上的空间推理能力。

发现四：代际进步缓慢。 Gemini系列从2.5-Pro（26.1%）到3-Flash（33.6%）确实有所提升，但提升幅度有限。GPT系列从GPT-4o（22.6%）到GPT-5.2（29.1%）也只进步了约7个百分点。这表明现有的模型训练范式可能在空间推理能力上遇到了某种瓶颈。

发现五：随机猜测基线并不算低。 12.85%的随机猜测基线意味着，一些表现最差的模型（如InternVL3.5-2B的11.10%）实际上还不如随机猜测，这说明它们在某些情况下可能产生了系统性的错误偏见。

5.3 "多想一会儿"有用吗？深度思考对CMSR的影响

SSI-Bench论文中一个非常有意思的分析是关于"思考深度"对表现的影响。研究团队对比了同一模型在不同推理深度设置下的表现：

Gemini-3-Pro的对比实验：

• 低思考深度（Thinking Level: Low）：27.1%
• 高思考深度（Thinking Level: High）：29.5%
• 提升幅度：仅+2.4%

Qwen3-VL-30B-A3B的对比实验：

• Instruct版本（不启用深度思考）：20.6%
• Thinking版本（启用深度思考）：22.5%
• 提升幅度：仅+1.9%

从数据可以看出，增加推理token的数量只能带来边际性的提升。更令人意外的是，在某些特定任务上，深度思考甚至会导致表现下降。

项目主页上的分析图表清楚地展示了一个规律：推理token的使用量与准确率之间并非线性正相关，而是呈现非单调的关系。准确率往往在中等token使用量时达到峰值，过多的token使用反而对应着更低的准确率。

研究团队的解释是：当模型的初始三维结构假设就是错误的时候，更多的推理步骤只会在错误的假设上继续累积偏差，导致"越想越错"的恶性循环。这在高度依赖全局三维一致性的任务中（如多视角任务和体积估算任务）表现得尤为明显。

用一个形象的比喻来说：如果你一开始就把地图拿反了，那无论你多仔细地研究这张反着的地图，都不可能找到正确的路。

六、模型为什么会犯错？四类高频错误模式

论文对Gemini-3-Pro（作为代表性闭源模型）的推理轨迹进行了详细的人工分析，归纳出了四类高频错误模式。莫潇羽@无忆研习社在这里逐一拆解。

6.1 构件范围误判（Member-Extent Error）

这是最常见的错误类型之一。模型在识别构件的范围时经常出错——要么只看到了构件的一部分就误以为是全体，要么对被遮挡部分的端点位置做出了错误的"脑补"。

具体表现包括：当一根钢管被另一根钢管部分遮挡时，模型可能只关注到可见部分的长度，忽略了被遮挡的那段。或者当构件的一端消失在节点连接处时，模型可能错误地推断端点位置比实际更远或更近。

这类错误在遮挡严重的复杂结构（如密集的空间网架、交叉管道等）中尤为突出。人类可以依靠对结构形式的整体理解来推断被遮挡部分的走向和长度，但模型缺乏这种能力。

6.2 构件/节点识别错误（Object Recognition Error）

模型会混淆结构中的不同构件，或者