fastText

词嵌入深度实战:从分布假设、Word2Vec 负采样到 GloVe 与上下文化表示的工程全解

词嵌入(Word Embedding)是把离散符号映射为连续稠密向量的技术,它是一切现代 NLP 与 LLM 的底层地基:Transformer 的第一层就是一个巨大的嵌入查找表,检索式增强(RAG)的"语义向量"本质也是嵌入,甚至连多模态对齐都依赖共享嵌入空间。本文从分布假设的第一性原理出发,推导 Word2Vec 负采样与 GloVe 的数学,给出可复现的 PyTorch 实现,并落到 Tra…