BenchCAD 如何检验 AI 是否真的会参数化 CAD

BenchCAD 是一套面向程序化 CAD 的开源基准。它要求模型根据多视图图像或文字指令生成 CadQuery 程序，再执行程序并检查得到的三维实体。它的研究价值来自评测目标的改变。零件轮廓相似只能说明模型大致认出了形状，可靠的参数化 CAD 还要求正确的构造操作、尺寸关系、坐标系和可编辑结构。(Zhang et al., 2026)

这项工作属于数据集与基准研究，没有提出一个新的 CAD 生成模型。论文建立了数据、任务、评分器和失败分类，用它们回答一个更严格的问题。多模态模型生成的三维零件究竟只是看起来相似，还是已经形成了可执行、可修改的工程程序？

一根弹簧说明了评测难点

压缩弹簧的渲染图很容易让模型识别出螺旋外形。工程程序还要表达线径、节距、圈数、横截面以及两端的收口方式。论文中的 DIN 2095 弹簧案例显示，模型能够选择螺旋扫掠，却把端部逐渐减小的节距写成均匀螺旋。结果仍像弹簧，参数关系已经不符合目标构造。

这个案例对应 BenchCAD 的四级能力分解。

层级	模型需要完成的判断	典型失败
L1 整体视觉识别	从多个视角恢复零件类别、局部细节和空间朝向	漏掉螺纹、倒角或背面结构
L2 CAD 操作理解	把几何特征对应到拉伸、扫掠、放样、阵列等操作	用简单拉伸代替扭转拉伸
L3 工业参数抽象	恢复参数之间的约束和标准表关系	认出弹簧却写错端部节距
L4 空间与代码组合	维持坐标系、依赖关系和执行顺序并输出可运行程序	在错误工作平面建模，或局部编辑破坏其他结构

这套分解让低分可以继续追溯到感知、操作、参数或代码层。单一的形状相似度很难提供这种诊断。

数据怎样从标准零件变成可执行样本

BenchCAD 论文发布了三个相互关联的数据集。核心集包含 17,900 个经过执行验证的 CadQuery 程序，覆盖 106 个工业零件族。BenchCAD-QA 包含 2,400 组图像与代码配对的数值问答，BenchCAD-Edit 包含 748 组编辑前后程序。52 个零件族引用了 47 项 ISO、DIN、EN、ASME 或 IEC 标准，其余零件族使用作者定义的工程比例规则。

每个零件族由领域人员编写参数模式、采样器、验证器和确定性构建程序，并设置简单、中等和困难三个参数层级。生成程序需要依次通过解析、运行时间、非退化体积和人工视觉检查。超过 30 秒或不能生成有效实体的样本不会进入论文所述发布集。

标准表或工程规则
        ↓
零件族参数模式与约束
        ↓
生成 CadQuery 程序
        ↓
执行并导出 STEP 实体
        ↓
自动有效性检查与人工复核
        ↓
多视图、参数、操作记录、问答和编辑任务

这种构造提高了真值的一致性，也限定了它所代表的工业范围。附录明确说明，数据来自专家编写的程序化零件族，没有从真实企业的工程仓库抽样。标准参数锚定也不等于完整的标准合规认证，制造公差、材料、装配关系和未记录的设计意图仍未覆盖。

四类任务分别测什么

任务	输入与输出	主要评分	回答的问题
Vision2Code	四视图图像 → CadQuery 程序	执行后实体的体素 IoU	模型能否从视觉证据重建程序
Vision QA	四视图图像 + 数值问题 → 数值	图像条件下的数值正确度	参数或操作能否从图像中恢复
Code QA	CadQuery 代码 + 同一问题 → 数值	代码条件下的数值正确度	已给程序时模型能否理解参数和操作
Code Edit	原程序 + 编辑指令 → 修改后的程序	相对原始程序的归一化 IoU 改善	模型能否完成局部、可执行的修改

Vision QA 与 Code QA 使用相同问题。两者的差异可以定位信息瓶颈。代码条件明显优于图像条件时，问题更可能出在视觉提取；两种条件都差时，参数或操作推理本身仍有困难。这种配对设计比把所有错误归入“代码生成失败”更有解释力。

执行式评分为什么重要

模型输出先作为 Python 程序运行，再导出 STEP 实体。Vision2Code 的默认评分把预测实体和真值实体分别平移到包围盒中心、按最长轴缩放，并体素化到 $64^3$ 网格。体素交并比为

$$\mathrm{IoU}(A,B)=\frac{|A\cap B|}{|A\cup B|}.$$

不能执行的程序记为零分。评分由 CAD 内核和确定性代码完成，不需要另一个语言模型判断答案。这减少了裁判模型偏好，也让原始输出可以重新评分。

Code Edit 还根据编辑前零件与目标零件的距离校正任务难度。论文的主指标为

$${\mathrm{Acc}}_{\mathrm{norm}}=\frac{1}{n}\sum _{i=1}^n\mathrm{clip}\left(\frac{\mathrm{IoU}(S_{g_i},S_{t_i})-\mathrm{IoU}(S_{o_i},S_{t_i})}{1-\mathrm{IoU}(S_{o_i},S_{t_i})},0,1\right).$$

$S_g$ 是模型生成实体，$S_o$ 是编辑前实体，$S_t$ 是目标实体。零分表示修改没有缩短与目标的几何距离，一分表示生成实体与目标完全重合。

执行式评分仍有盲区。独立缩放会消除整体尺寸误差，$64^3$ 体素可能漏掉小于网格分辨率的细节。当前开源实现提供必要操作、孔洞、圆角、倒角和表面距离等补充量，但默认 Vision2Code 排名仍以体素 IoU 为主。Code Edit 的公开运行器按最终几何计算归一化 IoU，提示词虽然要求最小改动，主分数没有直接惩罚大规模重写或变量命名变化。几何正确与程序结构忠实仍需要分别检查。

论文结果支持哪些判断

论文评估了十余个闭源和开源模型。结果最稳定地支持三项判断。

第一，视觉到参数程序仍是主要瓶颈。论文中最佳 Vision QA 总分为 0.587，同一批问题在 Code QA 中的最佳总分约为 0.838。代码直接暴露了操作和参数，四张渲染图仍要求模型自行恢复遮挡结构、工作平面和精确数值。

第二，简单编辑与组合编辑的难度差异很大。Code Edit 的最佳归一化分数为 0.865。直接替换数字或增加单个变换已经接近解决，涉及三角关系、多个依赖参数和几何重建的 T5 任务仍明显下降。目标渲染图不能替代文字指令，因为图像通常没有给出精确尺寸。

第三，训练数据能够改善已见零件族，跨零件族迁移仍有限。排除十个机械零件族的模型经过监督微调和强化学习后，在已见族上的分数为 0.7467，在未见族上为 0.4604。这个差距说明高级 CAD 操作和标准关系没有自动形成稳定的跨类别抽象。

这些结果来自作者设计的数据、模型调用和评分器。论文没有报告独立团队的完整复现。它们可以支持“现有模型在该基准上仍有参数化 CAD 缺口”，还不能支持模型已经理解普遍的机械设计或能够生成可制造产品。

这项工作真正强在哪里

BenchCAD 把三维生成评测从渲染结果推进到可执行程序。它与生成式 3D 资产可用性栈关注同一类问题。三维结果需要按照下游用途检查，视觉质量只是其中一层。BenchCAD 进一步把参数化 CAD 中的构造历史、参数约束和编辑任务变成可运行的测试。

它还有两个值得借鉴的研究设计。

1. 同一问题同时提供图像与代码条件，用配对差异定位感知和推理的责任。
2. 保存原始模型输出并由官方评分器重新执行，排行榜不直接采纳提交者自报的分数。

这两点让基准能够说明模型在哪里失败，也方便后续更换评分器重新计算。数据规模本身没有完成这个贡献，任务与构念的对应关系才是核心。

目前还不能从排行榜得到什么

公开数据和真值有利于复现，也增加了训练污染与排行榜过拟合风险。当前提交流程要求提交原始预测并重新评分，却没有隐藏测试集阻止参与者针对公开真值调参。长期比较需要记录模型是否见过 BenchCAD、使用了哪一版数据以及是否调用了外部工具。

项目在论文 v2 之后仍快速变化。当前代码修正过相机方位、负数 QA 答案和 STEP 构建超时，部分修正会改变分数。论文写的是比例题使用 $\pm 5\%$ 容差，2026 年 9 月核验的公开评分器则使用连续的对称比例分数。论文表格、当前仓库和后续排行榜不能脱离版本直接混合比较。

官方站点已经把无工具调用和带 Python 工具的 agentic 运行分开，并明确标注部分供应商结果来自 1,000 个样本子集，与完整集结果不是同一分母。工具环境能让模型反复渲染、测量和修正，它评估的是模型加执行环境的系统能力，不等于一次前向生成能力。

最后还有一个运行安全问题。公开评分器会执行模型生成的 Python 代码。当前实现使用子进程和超时控制，但子进程会继承运行账户的环境，这不构成强安全隔离。评估未知模型输出时，应在没有私人文件和凭据的容器或虚拟机中运行，并限制网络、文件系统和计算资源。

怎样可靠地使用 BenchCAD

BenchCAD 适合评估多模态 CAD 推理、程序化三维生成和 CAD Agent。只需要比较渲染图相似度时，它的程序结构与工程参数任务可能超出需求。涉及真实制造、装配、公差、材料、CAE 或 CAM 时，还需要其他数据和验证流程。

一次可解释的实验至少应固定以下信息。

• 数据集版本、代码提交和评分器类型
• 完整集或抽样集、随机种子和样本数量
• 模型版本、推理强度、温度和最大输出长度
• 无工具、固定工具或可迭代 Agent 环境
• 程序执行率、IoU、必要操作和细节指标
• 已见零件族与未见零件族的独立结果
• 失败程序、生成 STEP 和原始响应的保存位置

官方仓库提供 Python 3.11 与 uv 环境，也包含少量无需下载完整数据的 smoke test。正式运行需要模型 API 凭据并会产生调用成本。模型生成代码应先进入隔离环境，再执行小样本验证。

论文与项目状态

• BenchCAD 论文（arXiv 2605.10865） · Trackback 记录(Zhang et al., 2026)
• BenchCAD 官方网站
• 论文配套介绍
• 开源评测代码
• Hugging Face 数据集
• 安装与运行说明
• 项目更新记录

论文目前是 2026 年 5 月发布的 arXiv 预印本。代码采用 MIT License，数据采用 CC BY 4.0。官方在 2026 年 7 月宣布 BenchCAD 2.0 预发布方向，计划加入难例、可迭代 Python 环境和装配任务。本文依据论文 v2 全文、官方网站、数据集与提交 52087ef4b08811c21c09b8b16d0ae36c70844865 的公开代码核验，时间为 2026 年 9 月 14 日。本文没有运行模型 API，也没有独立复现论文分数。

Zhang, H., Liu, K., Chen, M., Li, L., Yang, S., Peng, C., & Chen, H. (2026). BenchCAD: A Comprehensive, Industry-Standard Benchmark for Programmatic CAD. arXiv Preprint arXiv:2605.10865. https://doi.org/10.48550/arXiv.2605.10865