视觉模型把像素转成可用于识别、测量、描述或行动的表示。模型的发展既包括架构变化,也包括学习目标、图像组织方式和系统接口的变化。本专题用十二篇独立长文串起这些关系,配以原创机制图和可手算例子。
如果第一次系统接触计算机视觉,可按下表顺序阅读。如果已经熟悉神经网络,想理解多模态模型的视觉输入,可从第 5、6 篇进入,再读第 7–9 篇。关心视频、视觉智能体和模型选择,可在了解视觉塔后阅读最后三篇。
从任务与表示走到组合系统
| 篇章 | 阅读入口 | 这一篇解决的问题 |
|---|---|---|
| 01 | 计算机视觉简史 | 场景分析、视觉理论、统计识别、数据评测与预训练如何演变 |
| 02 | 经典特征与几何 | SIFT、HOG、匹配和几何验证怎样从像素构成证据 |
| 03 | 卷积网络与残差学习 | 局部运算、权重共享、训练目标与残差连接分别解决什么 |
| 04 | 检测、分割与提示 | 从整图类别到框、像素和目标提示,输出责任怎样变化 |
| 05 | ViT、DeiT 与 Swin | 图像如何成为序列,注意力、训练数据与局部窗口怎样配合 |
| 06 | Patch、分辨率与 token | 切 patch、裁大图、打包与合并 token 到底在哪一步发生 |
| 07 | CLIP、SigLIP 与图文对齐 | 图文如何可比较,配对损失和零样本候选如何影响解释 |
| 08 | 自监督视觉学习 | SimCLR、MAE、DINO 与 DINOv3 分别从哪里取得学习信号 |
| 09 | 视觉塔与连接器 | 投影、查询瓶颈、交叉注意力与 DeepStack 怎样把图像接到语言模型 |
| 10 | 视频、记忆与世界模型 | 时间、对象身份和动作条件怎样加入,预测与控制之间缺什么 |
| 11 | 视觉系统与评价 | 输入变换、坐标、工具执行和任务验收怎样形成完整流程 |
| 12 | 近期模型与开放问题 | 2025–2026 年统一表示、多目标记忆与原生视听系统改变了哪些环节 |
从历史进入具体问题
历史篇沿当时的问题、方法和研究条件展开。其余各篇按学习需要组织,分别深入特征、架构、训练、输入处理和系统应用,篇章顺序不表示这些技术逐代接替。
选择技术时,需要先明确任务。整图识别、局部匹配、图文检索和软件操作要求不同的输出,也采用不同评价。各篇会结合相应任务解释方法的用途与限制。
各篇采用公开论文和官方实现,原图均为教学示意,算例不是模型实验。近期模型以 2026 年 10 月 26 日核对的材料为截面;论文、代码、权重和服务的可用范围分别说明,不给出跨条件的统一性能榜。
基础概念可接着阅读 Transformer 位置编码、似然与交叉熵、表示的降维可视化。返回 人工智能主题、深度学习 或 大语言模型。