自动语音识别是什么？把说话的声音转换成文字

自动语音识别（Automatic Speech Recognition，ASR），也叫语音转文字，是让计算机把人说话的声音自动转换成对应文字的技术。它是语音助手、语音输入法、会议记录、视频字幕等应用的基础。

为什么语音识别很难

人说话的声音变化极大：不同的人音色、语速、口音各不相同；同一个人在不同的场合、不同的情绪下说同一句话，声音也不一样；背景中可能有噪声、音乐，或者几个人同时在说话；语音是连续的，词与词之间往往没有明显的停顿；还有大量的同音词，比如中文的“期中”和“期终”，需要结合上下文才能分辨。此外，口语中常有重复、停顿、口误和语气词。

技术的发展

早期探索：1952 年，贝尔实验室开发了一个名为 Audrey 的系统，能够识别一个人说出的 10 个英文数字。早期的系统主要采用模板匹配的方法，比如动态时间规整，把输入的语音与预先录制的模板进行比较，只能识别很少的词，而且通常只能识别特定的人。

统计模型时代：从 20 世纪 70 年代起，IBM 的 Frederick Jelinek 和卡内基梅隆大学的 James Baker 等人把隐马尔可夫模型引入语音识别。此后的几十年里，“高斯混合模型加隐马尔可夫模型”成为主流：声学模型描述各个发音单元的声音特征，语言模型描述词语组合的可能性，发音词典把词语与发音联系起来，再通过解码算法找出最可能的文字序列。卡内基梅隆大学的 Sphinx 系统、剑桥大学的 HTK 工具包都是这一时期的代表。

深度学习时代：2010 年前后，微软、谷歌、多伦多大学的研究者把深度神经网络用作声学模型，代替了高斯混合模型，识别的错误率大幅下降，这是深度学习最早取得重大突破的领域之一。随后，循环神经网络、长短期记忆网络被广泛使用。端到端模型：不再把系统拆成声学模型、发音词典、语言模型等多个部分，而是用一个神经网络直接从声音映射到文字。代表性的方法有 Alex Graves 等人在 2006 年提出的连接时序分类（CTC），以及基于注意力的编码器-解码器模型、RNN-Transducer。基于 Transformer 和 Conformer 的模型进一步提升了效果。2022 年，OpenAI 发布了 Whisper 模型，它在约 68 万小时的多语言语音数据上训练，能够识别近百种语言，并且对口音和噪声有很好的鲁棒性，在开源社区中被广泛使用。国内的科大讯飞、阿里巴巴、百度等公司也在中文语音识别上积累了深厚的技术。如今，一些多模态大模型可以直接处理语音，在一个模型中完成识别、理解和回答。

如何评价

语音识别的效果通常用词错误率（WER）来衡量：把识别结果与正确的文字进行比较，统计需要多少次替换、删除和插入操作才能把识别结果改成正确的文字，再除以正确文字的总词数。对于中文，通常使用字错误率。在安静环境下的标准测试中，先进系统的错误率已经接近甚至低于人工转写的水平，但在嘈杂环境、多人对话、方言和专业术语较多的场景中仍有明显的差距。

应用与注意

语音识别被广泛用于语音助手、手机语音输入、智能音箱、车载语音控制、会议和课堂的实时转写、视频自动字幕、客服电话的质检分析、医疗病历的语音录入，以及帮助听障人士。录音中包含个人的声音和对话内容，属于敏感的个人信息，使用时应当告知并征得同意，并做好数据的安全保护。