音乐信息检索 MIR 是什么？让计算机听懂音乐

音乐信息检索（Music Information Retrieval，MIR）是一个跨学科的研究领域，研究如何从音乐中提取有用的信息并加以分析和利用。它处理的音乐可以是音频格式，比如 MP3 文件；也可以是符号格式，比如记录了每个音符的 MIDI 文件；还可以是扫描的乐谱图像。

一个交叉学科

音乐信息检索融合了信号处理、机器学习、音乐理论和音乐认知、数据库、人机交互、音乐档案学等多方面的知识。这个领域的国际学术会议 ISMIR（国际音乐信息检索学会会议）从 2000 年开始举办，是该领域最重要的学术交流平台。

它研究哪些问题

听歌识曲：用手机录下几秒钟的音乐，就能识别出是哪首歌。这依赖于音频指纹技术：从音频中提取出对噪声和失真不敏感的特征，在海量的歌曲库中快速匹配。哼唱检索：哼唱一段旋律来查找歌曲。音乐的基础分析：检测节拍和速度，识别调性和和弦，提取旋律，把音频转写成乐谱。音乐分类和标注：自动判断一首歌的风格流派、情绪、使用的乐器，给歌曲打上标签。音乐推荐：根据用户的听歌历史和歌曲本身的音频特征，推荐用户可能喜欢的音乐。音源分离：把一首混音好的歌曲拆分成人声、鼓、贝斯、其他乐器等独立的音轨，可以用来制作伴奏、做混音和音乐教学，开源工具 Demucs、Spleeter 都很常用。翻唱识别和音乐相似度计算，也是重要的研究方向。

技术的演变

早期的音乐信息检索主要依靠手工设计的音频特征，比如频谱特征、梅尔频率倒谱系数、色度特征，再配合传统的机器学习方法。深度学习兴起后，卷积神经网络和 Transformer 等模型可以直接从音频的频谱图中学习特征，大大提升了各项任务的效果。近年来，在大量音乐数据上预训练的音频基础模型，以及能够根据文字描述生成音乐的 AI 音乐生成模型，也让这个领域与生成式 AI 紧密地联系在一起。

应用

音乐信息检索技术被广泛用于音乐流媒体平台的推荐和歌单生成、听歌识曲应用、版权监测（识别视频和直播中使用的音乐）、音乐制作和教育软件，以及音乐学研究。