3.11 深入阅读

本章的附加材料发布在http://nltk.org/，包括网络上免费提供的资源的链接。记得咨询http://docs.python.org/上的的参考材料。（例如：此文档涵盖“通用换行符支持”，解释了各种操作系统如何规定不同的换行符。）

更多的使用 NLTK 处理词汇的例子请参阅http://nltk.org/howto上的分词、词干提取以及语料库 HOWTO 文档。(Jurafsky & Martin, 2008)的第 2、3 章包含正则表达式和形态学的更高级的材料。Python 文本处理更广泛的讨论请参阅(Mertz, 2003)。规范非标准词的信息请参阅(Sproat et al, 2001)

关于正则表达式的参考材料很多，无论是理论的还是实践的。在 Python 中使用正则表达式的一个入门教程，请参阅 Kuchling 的 Regular Expression HOWTO，http://www.amk.ca/python/howto/regex/。关于使用正则表达式的全面而详细的手册，请参阅(Friedl, 2002)，其中涵盖包括 Python 在内大多数主要编程语言的语法。其他材料还包括(Jurafsky & Martin, 2008)的第 2.1 节，(Mertz, 2003)的第 3 章。

网上有许多关于 Unicode 的资源。以下是与处理 Unicode 的 Python 的工具有关的有益的讨论：

• Ned Batchelder, Pragmatic Unicode, http://nedbatchelder.com/text/unipain.html
• Unicode HOWTO, Python Documentation, http://docs.python.org/3/howto/unicode.html
• David Beazley, Mastering Python 3 I/O, http://pyvideo.org/video/289/pycon-2010--mastering-python-3-i-o
• Joel Spolsky, The Absolute Minimum Every Software Developer Absolutely, Positively Must Know About Unicode and Character Sets (No Excuses!), http://www.joelonsoftware.com/articles/Unicode.html

SIGHAN，ACL 中文语言处理特别兴趣小组http://sighan.org/，重点关注中文文本分词的问题。我们分割英文文本的方法依据(Brent, 1995)；这项工作属于语言获取领域(Niyogi, 2006)。

搭配是多词表达式的一种特殊情况。一个多词表达式是一个小短语，仅从它的词汇不能预测它的意义和其他属性，例如 part of speech (Baldwin & Kim, 2010)。

模拟退火是一种启发式算法，找寻在一个大型的离散的搜索空间上的一个函数的最佳值的最好近似，基于对金属冶炼中的退火的模拟。该技术在许多人工智能文本中都有描述。

(Hearst, 1992)描述了使用如 x and other ys 的搜索模式发现文本中下位词的方法。