说话人相似度是什么？衡量合成声音像不像目标说话人

说话人相似度（Speaker Similarity，SIM）是衡量两段语音的说话人声音有多像的指标。在语音合成和声音克隆的评测中，它用来判断合成出来的语音和目标说话人的真实声音像不像：数值越接近 1，相似度越高。它也广泛用于声纹识别、说话人验证等领域。

怎么计算

说话人相似度的计算一般分三步。第一步，提取声学特征：把语音转换成频谱等声学特征。第二步，生成声纹嵌入：用一个预训练好的说话人识别模型（常用的如 WavLM、ECAPA-TDNN 等模型微调而来的说话人验证模型），把一段语音转换成一个固定长度的向量，这个向量被训练成能代表说话人的音色、声音特点，而不管他说的是什么内容。同一个人说不同的话，向量会很接近；不同的人说同一句话，向量会差得比较远。第三步，计算相似度：通常用余弦相似度比较两段语音的声纹向量，得到一个数值。

在语音合成中的作用

零样本声音克隆，也就是只给几秒参考音频就模仿一个人的声音，是近年来语音合成模型的核心能力。评测这类模型时，通常会同时报告两个指标：词错率或字错率（WER/CER），衡量合成的语音说得准不准、清不清楚；说话人相似度（SIM），衡量合成的声音和参考音频像不像。比如在常用的 Seed-TTS-Eval 评测中，模型就以这两个指标进行比较。一个好的声音克隆模型，需要在两者上都表现出色。

需要注意

说话人相似度的数值依赖于所用的说话人识别模型，不同的评测用不同的模型，数值不能直接横向比较。它衡量的是音色是否相似，不能完全反映听感的自然程度和情感表达，所以通常还要配合主观的人工评分，比如平均意见分（MOS）。另外，声音克隆技术的使用必须取得声音所有者的授权。