树库是什么？标注了句法结构的语料库

树库（Treebank）是一种经过句法标注的语料库：其中的每一个句子都被分析并标注了它的句法结构，这种结构通常以树的形式来表示，所以叫作“树库”。它是自然语言处理和计算语言学中的重要基础资源，主要用来训练和评测句法分析的模型，也被用于语言学的研究。

句子的“树”是什么样的

一个句子不只是一串词语的简单排列，词语之间有着层次化的结构关系。树库主要采用两种方式来表示这种结构。

短语结构树，也叫成分句法树：把句子逐层分解为不同的短语成分。比如“小明吃了一个苹果”这句话，整个句子由名词短语“小明”和动词短语“吃了一个苹果”组成；动词短语又由动词“吃了”和名词短语“一个苹果”组成；以此类推，一直分解到单个的词。每个词还会被标注词性，比如名词、动词、量词。这样就形成了一棵以整个句子为根、以词语为叶子的树。

依存句法树：不划分短语，而是直接标注词与词之间的依存关系。每个词都依附于另一个“支配”它的词，并标明关系的类型。在上面的例子中，“吃”是整个句子的核心，“小明”是“吃”的主语，“苹果”是“吃”的宾语，“一个”修饰“苹果”。依存结构更直接地反映了“谁对谁做了什么”，在很多语言中处理起来更方便。

著名的树库

宾夕法尼亚大学树库（Penn Treebank）：20 世纪 90 年代初由美国宾夕法尼亚大学建立，标注了约一百万词的英文文本，主要来自《华尔街日报》的文章。它对自然语言处理的发展影响巨大，长期以来是英文句法分析的标准数据集，它所定义的词性标签体系也被广泛使用。宾州中文树库（Chinese Treebank，CTB）：同样由宾夕法尼亚大学建立，是重要的中文句法标注资源。通用依存树库（Universal Dependencies，UD）：一个国际合作的项目，目标是用一套统一的标注规范来标注世界上的各种语言，目前已经覆盖了一百多种语言、两百多个树库，方便进行跨语言的研究和多语言模型的开发。

它的用途

训练句法分析器：句法分析器是能够自动分析句子结构的程序，在深度学习时代之前，它是很多自然语言处理系统的重要组成部分，比如机器翻译、信息抽取、问答系统。训练这样的分析器需要大量人工标注好的句子作为样本，树库就提供了这样的数据。评测：不同的句法分析方法可以在同一个树库上测试和比较准确率。语言学研究：语言学家可以利用树库，统计和研究各种语法现象在真实语言中的使用情况。

今天的地位

建设树库需要语言学专家花费大量的时间进行人工标注，成本很高。随着大语言模型的兴起，很多任务不再需要先进行显式的句法分析，模型能够直接从海量的文本中隐式地学到语言的结构，树库在实际应用中的作用有所减弱。但它仍然是语言学研究的重要资源，也被用来研究大语言模型内部是否以及如何表示了语法结构，以及用于资源较少的语言的研究和教学。