pplx-embed-v2-context-9b：按全文编码

它是什么：读完整篇再给每一段编码

pplx-embed-v2-context-9b 是 Perplexity 发布的开放权重上下文嵌入模型，参数量 9B，专门给 RAG 里的文档片段生成向量。预览版 pplx-embed-v2-context-9b-preview 在 2026 年 9 月 30 日先出，正式版权重 10 月底上线 Hugging Face。同系列还有一个 0.6B 的小号，配套技术报告叫《Contextual Embeddings Beyond the Gold Chunk》。官方说，这套模型是和 turbopuffer 合作训练的。

一句话讲清楚：普通嵌入模型把每个片段单独变成向量，这个模型把整篇文档读一遍，再给每个片段各出一个向量。做 RAG 的人都踩过这个坑，片段里写着“同期增长了 14%”，切下来之后没人知道“同期”指哪一年。它要解决的就是切块丢上下文的问题。

训练上的改动是另一半。常规做法给每个问题标一个“金标准片段”，其他片段一律当负例。这里改用一个 teacher 模型给每个 token 打相关性分，按片段汇总后，让学生模型用 KL 蒸馏去学一个软分布，支撑答案的相邻片段就不再被当成错的。官方说 teacher 只在训练时用，推理时不增加延迟，也不增加索引存储。

关键规格：2048 维，原生 int8

输出向量是 2048 维，可以按 Matryoshka 方式截到 1024 维，原生输出就是未归一化的 int8。比较时用余弦相似度，或者开 normalize_embeddings 之后做点积。算笔账：1024 维 int8 一个向量约 1KB，一千万个片段大约 10GB 索引，2048 维则翻倍。这是按规格推算的粗数，不是官方给的存储数字。

池化用 mean pooling，没有指令前缀，查询和文档各用一套固定前缀。架构方面，Perplexity 研究人员的公开说法是它从 pplx-embed-v2-late-9b 微调而来，基于 Qwen3.5 架构。加载时需要 transformers 5.4.0 以上，并打开 trust_remote_code。官方评测里，一篇文档最长 32,768 个 token 一次编码完，上一代 v1 的上下文长度也是 32K。另外，预览版模型卡把参数写成 8B，名字和博客写的是 9B，两处没对上，正式版页面我没能核实这一点。

成绩怎么样：官方跑分，别当判决书

官方主打两个榜。一个是 turbopuffer 新做的 context-bench，题库由对方私有，据称含 2,099 个查询、38,894 篇长文档、21 个领域。另一个是公开的 ConTEB。官方说，9B 在 context-bench 上的 Answer@10 是 45.5%，对比 voyage-context-4 的 31.1%，高 14.4 个点。Evidence Recall@10 是 40.6%，高 5.0 个点。ConTEB 平均 nDCG@10 在官方列出的模型里最高。官方还说，1KB 的 1024 维 int8 向量，在片段检索上略高于 voyage-context-4 的 8KB float32 向量。

这些数字要打点折扣。context-bench 是私有题库，外人没法复现，对手的数字也是官方自己报的，我没查到复现方法的说明。成绩出自预览阶段，正式版发布时 Perplexity 研究员重复的是同一个 45.5。独立第三方的评测，我暂时没查到。这组数字能说明的是：它在“答案片段加佐证片段”这类任务上值得认真试，不等于它在你的语料上一定更好。

怎么用，多少钱

权重在 Hugging Face 的 perplexity-ai/pplx-embed-v2-context-9b，自己部署。我查到的页面里，没有推理服务商托管它。Perplexity 给上一代 v1 做过上下文嵌入 API，预览版发布时官方说 v2 的 API 在筹备中，但 9B 的 API 端点和定价，我没能在官方页面上核实，所以这里不写价格。能当参照的只有 OpenRouter 上 pplx-embed-v1-0.6b 的标价，每百万输入 token 0.004 美元，那是小模型，别拿来推算 9B。

本地跑的话，官方没给最低硬件。按 9B 参数半精度粗算，光权重就要 18GB 左右，长文档的激活开销还得另外留余量，这是估算。同系列 0.6B 的卡片建议装 flash-linear-attention 和 causal-conv1d 走快速路径。用法上有三个坑：片段之间不要重叠；查询必须用 encode_queries，文档用 encode，用错不报错，只是召回悄悄变差；预览版的向量，官方明说不要和以后的版本混用。

和谁比：对上一代，对 voyage

对上一代 pplx-embed-context-v1，变化有三处：参数从 0.6B 和 4B 提到 9B，维度从 1024 和 2560 换成 2048（可截 1024），训练目标从单个金标准片段换成 token 级软标签。v1 有托管 API，v2 的 9B 目前我只确认有权重，部署门槛反而高了一档。

对 voyage-context-4，官方给的差距见上文，强在答案和佐证的召回，向量也更省空间。弱的地方是体量，9B 的推理成本比 v1 的 4B 和 0.6B 高，延迟和吞吐得自己压测，官方没公布这方面的数字。

适合谁

做选型的技术负责人，场景是合同、财报、技术手册、论文这类长文档，又需要把佐证段落一起交给大模型引用，值得拿自己的语料跑一轮，重点看佐证召回是否齐全。写代码的，有 GPU、愿意自己托管，可以直接上手。想先试水，用 0.6B 小号更省事，它还支持图像和页面截图。卡片说它和 9B 的 1024 维前缀共用向量空间，文档和查询可以分别用不同的模型编码。做内容的基本用不上，这个模型不生成文字。

限制再强调一遍：预览版我只确认了是 MIT 许可，正式版请以模型卡为准；向量换版本就得整库重建；成绩都是官方口径。AI主线的看法是，这类模型的价值不在榜单上的几个点，而在切块之后还能不能把上下文找回来。建议先拿自己最头疼的那批文档做对比，再决定要不要为它搭一套 9B 的服务。