语音识别有哪些应用和挑战？从语音输入到实时字幕

语音识别（Speech Recognition）是让计算机把人说的话转换成文字的技术，也常被称为自动语音识别或语音转写。本站另有“自动语音识别”和“声学模型”等词条介绍它的技术原理和发展历程，这里侧重介绍语音识别的主要应用形态，以及实际使用中面临的挑战。

主要的应用

语音输入：在手机上用说话代替打字，输入速度通常比手写或键盘输入快得多，尤其适合中文和不方便打字的场合。语音助手和智能设备：智能音箱、手机语音助手、车载语音系统、智能家居，让人们可以用说话来查询信息、播放音乐、设置提醒、控制设备。在驾驶时，语音控制尤其能减少分心。会议和课堂转写：把会议、讲座、访谈的录音实时地或事后地转换为文字记录，再配合大语言模型生成摘要和待办事项。视频和直播字幕：自动地为视频和直播生成字幕，方便观看，也便于检索视频的内容。客服和电话中心：把客服电话的录音转为文字，用于质量检查、分析客户的诉求和情绪。医疗：医生可以口述病历，由系统自动地转写，减轻文书工作的负担。无障碍：帮助听障人士通过实时字幕“看”懂别人说的话，也帮助行动不便的人通过语音来操作电脑和手机。翻译：语音识别与机器翻译、语音合成结合，实现同声传译和跨语言的实时对话。

不同的系统形态

云端识别与端侧识别：云端识别把语音上传到服务器，由强大的模型进行识别，准确率高，但需要联网，并且涉及数据的传输；端侧识别直接在手机、耳机等设备上运行压缩过的模型，不需要联网，响应快，隐私性更好，但受到设备计算能力的限制。如今很多设备采用两者结合的方式，比如唤醒词检测在本地完成，复杂的识别在云端完成。流式识别与非流式识别：流式识别在用户说话的同时就逐步地输出文字，延迟很低，适合语音输入、实时字幕和对话；非流式识别等整段语音结束后再进行识别，可以利用完整的上下文，准确率通常更高，适合录音文件的转写。

实际使用中的挑战

噪声和远场：在嘈杂的街道、餐厅、工厂中，或者说话人离麦克风较远时，比如在客厅里对着智能音箱说话，语音信号会受到噪声和房间回声的严重干扰。常用的应对方法包括麦克风阵列和波束形成技术，从特定的方向增强声音，以及语音增强和降噪的算法。口音和方言：不同地区的口音、各地的方言，以及中英文混杂的说法，都会降低识别的准确率，需要在训练数据中覆盖更多的口音和方言。多人对话：在会议等场景中，多个人轮流甚至同时说话，需要区分出“谁在什么时候说了什么”，这叫说话人分离，重叠的语音尤其难以处理。专业术语和新词：医学、法律、技术等领域有大量的专业词汇，人名、地名、产品名层出不穷，通用的模型可能无法正确地识别，常常需要通过添加热词、用领域数据进行定制来改善。口语的特点：口语中有大量的停顿、重复、口误和语气词，识别出的文字往往还需要进行断句、添加标点、去除冗余等后处理，才能变得易读。

隐私与合规

语音中不仅包含说话的内容，还包含了能够识别个人身份的声音特征，属于敏感的个人信息。在使用语音识别服务时，应当告知用户并取得同意，明确语音数据的用途和保存期限，并做好数据的安全保护；智能音箱等设备的“误唤醒”导致意外录音，也是需要关注的问题。