2.3 用正则表达式进行词块划分

要找到一个给定的句子的词块结构，RegexpParser词块划分器以一个没有词符被划分的平面结构开始。词块划分规则轮流应用，依次更新词块结构。一旦所有的规则都被调用，返回生成的词块结构。

2.3显示了一个由 2 个规则组成的简单的词块语法。第一条规则匹配一个可选的限定词或所有格代名词，零个或多个形容词，然后跟一个名词。第二条规则匹配一个或多个专有名词。我们还定义了一个进行词块划分的例句[1]，并在此输入上运行这个词块划分器[2]。

  1. grammar = r"""
  2.  NP: {<DT|PP\$>?<JJ>*<NN>}   # chunk determiner/possessive, adjectives and noun
  3.  {<NNP>+}                # chunk sequences of proper nouns
  4. """
  5. cp = nltk.RegexpParser(grammar)
  6. sentence = [("Rapunzel", "NNP"), ("let", "VBD"), ("down", "RP"), ![[1]](/projects/nlp-py-2e-zh/Images/f4891d12ae20c39b685951ad3cddf1aa.jpg)
  7.                  ("her", "PP$"), ("long", "JJ"), ("golden", "JJ"), ("hair", "NN")]

注意

`

如果标记模式匹配位置重叠，最左边的匹配优先。例如，如果我们应用一个匹配两个连续的名词文本的规则到一个包含三个连续的名词的文本，则只有前两个名词将被划分：

  1. >>> nouns = [("money", "NN"), ("market", "NN"), ("fund", "NN")]
  2. >>> grammar = "NP: {<NN><NN>}  # Chunk two consecutive nouns"
  3. >>> cp = nltk.RegexpParser(grammar)
  4. >>> print(cp.parse(nouns))
  5. (S (NP money/NN market/NN) fund/NN)

一旦我们创建了 money market 词块，我们就已经消除了允许 fund 被包含在一个词块中的上下文。这个问题可以避免，使用一种更加宽容的块规则，如NP: {&lt;NN&gt;+}。

注意

我们已经为每个块规则添加了一个注释。这些是可选的；当它们的存在时，词块划分器将它作为其跟踪输出的一部分输出这些注释。