命名实体识别是什么？从文本中找出人名、地名、机构名

命名实体识别（Named Entity Recognition，NER）是自然语言处理中的一项基础任务：从文本中找出那些具有特定意义的“实体”，并判断它们属于什么类型。最常见的实体类型是人名、地名和机构名，此外还常常包括时间、日期、金额、百分比等。比如在“2024 年 9 月，张三在北京加入了某科技公司”这句话中，“2024 年 9 月”是时间，“张三”是人名，“北京”是地名，“某科技公司”是机构名。

它的由来

“命名实体”这个术语最早出现在 1996 年美国举办的第六届信息理解会议上。当时，研究者在从新闻报道中自动地抽取信息时发现，识别出文本中的人名、地名、机构名等是一项基础而关键的工作，于是把它作为一项独立的评测任务提出来。此后，命名实体识别成为了自然语言处理中被研究得最多的任务之一。

它是怎么做的：序列标注

命名实体识别通常被看作一个序列标注问题：为句子中的每一个字或词打上一个标签。最常用的是 BIO 标注方法：B 表示一个实体的开始，I 表示实体的内部，O 表示不属于任何实体。比如“张三在北京”可以标注为：张（B-人名）三（I-人名）在（O）北（B-地名）京（I-地名）。这样，通过标签就能确定每个实体的边界和类型。还有更精细的 BIOES 等标注方法，增加了表示实体结束和单字实体的标签。

技术的发展

基于规则和词典的方法：早期主要依靠人工编写的规则和实体词典，比如“某某先生”前面的通常是人名，以“省”“市”“县”结尾的通常是地名。准确率可能较高，但覆盖面有限，难以处理新出现的实体。统计机器学习方法：使用隐马尔可夫模型、最大熵模型，尤其是条件随机场，结合人工设计的特征，比如词语本身、前后的词、词性、是否大写、前缀后缀等，条件随机场一度是这一任务的主流方法。深度学习方法：2015 年前后，“双向长短期记忆网络加条件随机场”的模型成为标准做法：双向网络自动地提取每个字词的上下文特征，条件随机场保证输出的标签序列合理，比如不会出现一个“I-人名”紧跟在“B-地名”后面。预训练模型：BERT 等预训练语言模型进一步大幅提升了识别的准确率。如今，大语言模型也可以通过提示词直接完成命名实体识别，并且能够灵活地识别各种自定义的实体类型，在标注数据很少的情况下尤其有用。

难点

边界模糊：实体的边界有时很难确定，比如“北京大学附属中学”是一个整体的机构名，还是“北京大学”加上“附属中学”。中文还有分词的问题，词语之间没有空格，分词错误会直接导致实体边界的错误，因此中文的命名实体识别常常以字为单位进行，或者把分词和识别联合起来处理。歧义：同一个词在不同的语境中可能是不同类型的实体，甚至不是实体，比如“华盛顿”可能是人名，也可能是地名；“苹果”可能是水果，也可能是公司。嵌套实体：一个实体中可能包含另一个实体，比如“北京大学”是机构名，其中的“北京”又是地名。新实体和领域差异：新出现的人名、产品名、网络用语层出不穷；在医学、法律、金融等专业领域，需要识别疾病、药物、法条、金融产品等特殊的实体类型，通用的模型往往效果不佳，需要使用领域数据进行训练。

应用

命名实体识别是很多应用的基础步骤：信息抽取，从大量的新闻和文档中自动地提取关键信息；知识图谱的构建，先识别出实体，再抽取它们之间的关系；搜索引擎，理解用户查询中提到的人、地点和事物；问答系统和智能客服，识别问题中的关键实体；医疗文本分析，从病历中提取疾病、症状和药物；以及简历解析、合同审查、舆情监测等。在处理包含个人信息的文本时，命名实体识别还被用来自动地发现并遮盖人名、电话、地址等敏感信息，保护个人隐私。