机器翻译是什么?从规则词典到神经网络
机器翻译(Machine Translation,MT)是用计算机自动把一种语言翻译成另一种语言的技术。它是自然语言处理最早的研究方向之一,也是 AI 最贴近日常的应用之一:网页翻译、拍照翻译、同声传译、跨境电商的商品描述本地化,都离不开它。
三个时代
规则翻译:机器翻译的研究从 20 世纪 50 年代就开始了。早期的系统靠语言学家手工编写语法规则和双语词典,逐句分析再转换。规则写得越多,系统越复杂,却始终难以覆盖真实语言的千变万化。
统计翻译:上世纪 90 年代起,统计机器翻译成为主流。它不再依赖人工规则,而是从大规模的双语对照语料里,统计出词语和短语之间的对应关系和概率,再组合出最可能的译文。谷歌翻译早期就是基于统计方法。
神经翻译:2014 年前后,神经机器翻译出现。它用一个神经网络端到端地完成翻译:编码器把原句编码,解码器生成译文。最初的方法把整个原句压缩成一个固定长度的向量,句子一长效果就下降。2014 年 Bahdanau 等人提出了注意力机制:解码器在生成每个词时,可以回头“关注”原句中最相关的部分,而不是只靠一个压缩后的向量。这一改进让长句翻译质量大幅提高,注意力机制也成为后来 Transformer 的核心思想。2017 年 Transformer 正是在机器翻译任务上提出的,此后成为所有大模型的基础架构。
大模型时代
如今的通用大模型本身就具备很强的翻译能力,能根据上下文调整语气和风格,处理俚语、文化背景和专业术语,还能按要求做本地化改写。专门的翻译模型和服务则在速度、成本和特定语种上仍有优势。
仍然要注意
机器翻译在低资源语言(训练数据少的小语种)上效果明显较差;合同、医疗、法律等专业文本,一个词翻错就可能造成严重后果,需要专业人员审校。评测上,传统的 BLEU 分数已经不足以反映译文质量,人工评估和基于模型的评估越来越重要。