嵌入向量是什么？把文字和图片变成可计算的坐标

嵌入向量（Embedding Vector）是把信息转换成一串连续数字的表示方法。词、句子、文档、图片、音频、代码，都可以被嵌入模型映射成一个几百到几千维的向量。关键在于：意思或特征相近的内容，它们的向量在空间里的距离也相近。于是计算机就能用“算距离”的方式，判断两段内容像不像。

为什么需要它

计算机本来只认符号。用最简单的独热编码表示词语，每个词是一个只有一位是 1、其余全是 0 的向量，任何两个不同词之间的距离都一样，模型看不出“猫”和“狗”比“猫”和“汽车”更接近。嵌入向量解决的正是这个问题：它让相似关系可以直接从向量距离里读出来。

技术演进

早期的方法依赖统计，比如基于词频的 TF-IDF，以及对词和文档的共现矩阵做降维的潜在语义分析（LSA）。2013 年，谷歌的 Tomas Mikolov 等人提出 Word2Vec，用连续词袋（CBOW）和跳字（Skip-gram）两种浅层神经网络，在 16 亿词的语料上不到一天就学出了高质量的词向量。它最有名的演示是向量类比：“国王”减去“男人”加上“女人”，结果最接近“女王”。这让嵌入方法成了自然语言处理的标配。

后来，Transformer 带来了上下文相关的嵌入：同一个词在不同句子里会得到不同的向量，比如“苹果”在说水果和说公司时含义不同。再往后，出现了专门为句子和文档设计的嵌入模型，以及能把图片、音频和文字放进同一个空间的多模态嵌入。

用在哪里

语义搜索：按意思而不是关键词找资料。推荐系统：用户和商品都表示成向量，距离近就推荐。检索增强生成（RAG）：给大模型找参考资料。去重和聚类：找出意思重复的内容。大模型内部，每个 token 一进入模型，第一步也是查表变成嵌入向量。可以说，嵌入是现代 AI 处理信息的“通用语言”。