深度聚类是什么？用嵌入向量分离混在一起的说话声

深度聚类（Deep Clustering，DPCL）是一种用深度学习分离混合声音的方法，由三菱电机研究实验室和哥伦比亚大学的研究人员在 2015 年 8 月提出，论文标题是《深度聚类：用于分割和分离的判别式嵌入》。它是解决“鸡尾酒会问题”的一个重要里程碑。

鸡尾酒会问题

在热闹的聚会上，很多人同时说话，人的耳朵和大脑却能专注于听清某一个人的声音。让机器做到这一点，也就是从多个人同时说话的混合录音中，把每个人的声音分离出来，长期以来是语音处理中的难题，被称为鸡尾酒会问题。

以往方法的困境

深度学习在信号处理中有很强的学习能力和速度优势，但此前人们并不清楚如何用深度网络以“与类别无关”的方式分离信号。所谓与类别无关，是指分离任意的说话人，包括训练时从没见过的人。如果直接训练网络输出“第一个说话人的声音”和“第二个说话人的声音”，会遇到一个问题：哪个算第一、哪个算第二是任意的，网络无法确定该把谁放在哪个输出上。另一方面，谱聚类等传统方法很灵活，但计算慢，也很难学习复杂的特征。

深度聚类的做法

深度聚类巧妙地结合了两者的优点。它不直接估计信号或掩码，而是训练一个深度网络，为混合声音频谱图中的每个时频点生成一个嵌入向量。训练的目标是：属于同一个说话人的时频点，嵌入向量彼此靠近；属于不同说话人的时频点，嵌入向量彼此远离。分离时，只需要对这些嵌入向量做聚类，比如用 K 均值，同一类的时频点就属于同一个说话人，据此生成每个说话人的掩码，再把声音还原出来。因为聚类只关心“哪些点属于一组”，而不关心组的顺序，所以巧妙地避开了“谁是第一个说话人”的问题。

效果和影响

在包含两个说话人的混合录音上训练，并在训练时未见过的说话人的混合录音上测试，深度聚类能推断出有效的掩码函数，把信号质量提升约 6 分贝。它不需要知道说话人的类别，能推广到新的说话人。这项工作开启了基于深度学习的语音分离研究，此后的置换不变训练（PIT）、Conv-TasNet 等方法都受到了它的影响。