词向量把词映射为可供计算的数值向量。学习这些向量时，模型可以利用词出现的上下文，让表示反映语料中的使用规律。例如“道路”和“街道”若经常出现在相近的语言环境中，就有机会获得相似表示；这种相似性仍需用任务和数据检验。
本专题以静态词向量为主，再连接图节点和活动序列。它属于自然语言处理与表示学习，训练标签可从原始语料的邻接关系生成，因而也能用来理解自监督学习。
从哪个问题开始
| 想弄清的问题 | 阅读入口 |
|---|---|
| SGNS 到底训练了什么，怎样用于预训练？ | SGNS 预训练 |
| 负样本是什么，SGNS 与 NCE、InfoNCE 有何区别？ | 负采样、NCE 与 InfoNCE |
| 为什么会出现 PMI，什么时候才能说“矩阵分解”？ | PMI、SVD 与 SGNS |
| 直接统计全局共现，怎样学出词向量？ | GloVe |
| 罕见词和训练时没见过的词怎么办？ | fastText 词向量 |
| 图没有天然句子，怎样生成上下文？ | DeepWalk 与 node2vec |
初次接触时先读 SGNS。负采样页解释它的训练目标，PMI 页给出进一步的数学推导；GloVe 和 fastText 分别改变统计建模与参数共享方式。
先分清架构、目标和表示
word2vec 是一组方法及其工具实现，不是 SGNS 的另一个名字。 CBOW 与 Skip-Gram 描述预测方向；负采样与层次 Softmax 描述训练目标或输出建模方式。把两条分类轴混在一起，会误以为“CBOW”和“负采样”是不能同时出现的替代选项。(Mikolov, Chen, et al., 2013; Mikolov, Sutskever, et al., 2013)
用已分词的教学短句 城市 / 道路 / 连接 / 社区，取“道路”左右各一个词。
- **CBOW（连续词袋模型）**把“城市、连接”的表示汇总，用来预测中心词“道路”。
- **Skip-Gram（跳字模型）**从“道路”出发，分别学习与“城市”和“连接”的关系。
- SGNS把 Skip-Gram 的词对训练改写为数据与噪声的判别，不再直接对完整词表计算一个 Softmax。
相似方法分别改了哪一处
| 方法 | 主要学习材料与机制 | 阅读时应关注的区别 |
|---|---|---|
| SGNS | 局部词对与采样词对，优化二分类损失 | 噪声分布和负样本数也决定学习信号 |
| PMI 与 SVD | 显式构建关联矩阵，再作低秩近似 | 矩阵元素、截断和分解目标要先确定 |
| GloVe | 全语料汇总的共现计数，作加权对数回归 | “全局”来自统计汇总，不等于使用整篇文档作上下文 |
| fastText 词向量 | 字符片段共享参数，再学习词与上下文 | 改变了词的组成方式，仍是静态表示 |
| DeepWalk、node2vec | 图上游走形成节点序列，再学习邻域表示 | 上下文来自采样策略，不是天然存在的句子 |
这些是机制差异，不是性能排名。详细目标、例子和引用在各页展开。
静态词向量与上下文表示
静态表示中，同一词的查询结果不随当前句子变化。“苹果”出现在食品介绍或公司新闻中，查到的仍是同一个基础词向量。BERT 一类模型则结合输入上下文生成隐藏表示；理解 SGNS 有助于理解预训练，但两者的表示机制不同。(Devlin et al., 2019)
与现有知识的连接
- 似然、NLL 与交叉熵，理解 SGNS 的二分类损失与 InfoNCE 的候选分类损失。
- PCA、t-SNE、UMAP 与 PaCMAP，观察表示时区分二维图像与模型效果。
- 图学习与城市计算，继续学习邻域、图结构与图神经网络。
- 大语言模型，区分词向量表、上下文编码器和完整语言模型。
- Transformer 位置编码，区分 token 内容表示与序列中的位置关系。
本专题的数值例子为教学设定；方法解释依据原始论文，不给出未在统一条件下检验的总体优劣结论。
参考文献
Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), 4171–4186. https://doi.org/10.18653/v1/N19-1423
Mikolov, T., Chen, K., Corrado, G., & Dean, J. (2013). Efficient Estimation of Word Representations in Vector Space. International Conference on Learning Representations. https://research.google/pubs/efficient-estimation-of-word-representations-in-vector-space/
Mikolov, T., Sutskever, I., Chen, K., Corrado, G., & Dean, J. (2013). Distributed Representations of Words and Phrases and their Compositionality. Advances in Neural Information Processing Systems, 26. https://papers.neurips.cc/paper_files/paper/2013/hash/9aa42b31882ec039965f3c4923ce901b-Abstract.html