测试和调试文本搜索

本主题介绍可用于测试和调试搜索配置或配置中指定的单个解析器和词典的Greenplum数据库函数。

自定义文本搜索配置的行为很容易变得混乱。 本节中描述的功能对于测试文本搜索对象非常有用。 您可以单独测试完整配置或测试解析器和词典。

本节包含以下子主题：

配置测试

函数ts_debug允许轻松测试文本搜索配置。

  1. ts_debug([config regconfig, ] document text,
  2.          OUT alias text,
  3.          OUT description text,
  4.          OUT token text,
  5.          OUT dictionaries regdictionary[],
  6.          OUT dictionary regdictionary,
  7.          OUT lexemes text[])
  8.          returns setof record

ts_debug显示有关解析器生成并由配置的字典处理的每个文档token的信息。 它使用config指定的配置，如果省略该参数，则使用default_text_search_config。

ts_debug为解析器在文本中标识的每个token返回一行。 返回的列是

  • alias text — token类型的简称
  • description text — token类型的描述
  • token text — token文本
  • dictionaries regdictionary[] — 由此token类型的配置选择的词典
  • dictionary regdictionary — 识别token的字典，如果没有，则为NULL
  • lexemes text[] — 识别token的字典产生的词位，如果没有，则为NULL; 空数组({})表示它被识别为停止词

这是一个简单的例子：

  1. SELECT * FROM ts_debug('english','a fat  cat sat on a mat - it ate a fat rats');
  2.    alias   |   description   | token |  dictionaries  |  dictionary  | lexemes 
  3. -----------+-----------------+-------+----------------+--------------+---------
  4.  asciiword | Word, all ASCII | a     | {english_stem} | english_stem | {}
  5.  blank     | Space symbols   |       | {}             |              | 
  6.  asciiword | Word, all ASCII | fat   | {english_stem} | english_stem | {fat}
  7.  blank     | Space symbols   |       | {}             |              | 
  8.  asciiword | Word, all ASCII | cat   | {english_stem} | english_stem | {cat}
  9.  blank     | Space symbols   |       | {}             |              | 
  10.  asciiword | Word, all ASCII | sat   | {english_stem} | english_stem | {sat}
  11.  blank     | Space symbols   |       | {}             |              | 
  12.  asciiword | Word, all ASCII | on    | {english_stem} | english_stem | {}
  13.  blank     | Space symbols   |       | {}             |              | 
  14.  asciiword | Word, all ASCII | a     | {english_stem} | english_stem | {}
  15.  blank     | Space symbols   |       | {}             |              | 
  16.  asciiword | Word, all ASCII | mat   | {english_stem} | english_stem | {mat}
  17.  blank     | Space symbols   |       | {}             |              | 
  18.  blank     | Space symbols   | -     | {}             |              | 
  19.  asciiword | Word, all ASCII | it    | {english_stem} | english_stem | {}
  20.  blank     | Space symbols   |       | {}             |              | 
  21.  asciiword | Word, all ASCII | ate   | {english_stem} | english_stem | {ate}
  22.  blank     | Space symbols   |       | {}             |              | 
  23.  asciiword | Word, all ASCII | a     | {english_stem} | english_stem | {}
  24.  blank     | Space symbols   |       | {}             |              | 
  25.  asciiword | Word, all ASCII | fat   | {english_stem} | english_stem | {fat}
  26.  blank     | Space symbols   |       | {}             |              | 
  27.  asciiword | Word, all ASCII | rats  | {english_stem} | english_stem | {rat}

为了进行更广泛的演示，我们首先为英语创建一个public.english配置和Ispell字典：

  1. CREATE TEXT SEARCH CONFIGURATION public.english ( COPY = pg_catalog.english );
  3. CREATE TEXT SEARCH DICTIONARY english_ispell (
  4.     TEMPLATE = ispell,
  5.     DictFile = english,
  6.     AffFile = english,
  7.     StopWords = english
  8. );
  10. ALTER TEXT SEARCH CONFIGURATION public.english
  11.    ALTER MAPPING FOR asciiword WITH english_ispell, english_stem;
  1. SELECT * FROM ts_debug('public.english','The Brightest supernovaes');
  2.    alias   |   description   |    token    |         dictionaries          |   dictionary   |   lexemes   
  3. -----------+-----------------+-------------+-------------------------------+----------------+-------------
  4.  asciiword | Word, all ASCII | The         | {english_ispell,english_stem} | english_ispell | {}
  5.  blank     | Space symbols   |             | {}                            |                | 
  6.  asciiword | Word, all ASCII | Brightest   | {english_ispell,english_stem} | english_ispell | {bright}
  7.  blank     | Space symbols   |             | {}                            |                | 
  8.  asciiword | Word, all ASCII | supernovaes | {english_ispell,english_stem} | english_stem   | {supernova}

在此示例中，解析器将单词Brightest识别为ASCII字（别名asciiword）。 对于此token类型，字典列表是english_ispell和english_stem。 这个词被english_ispell识别，将其缩小为名词bright。 english_ispell词典中不知道supernovaes这个词，所以它被传递到下一个词典， 幸运的是，它被识别出来（事实上，english_stem是一个可以识别所有内容的Snowball词典;这就是为什么它放在词典列表的末尾）。

单词The被english_ispell字典识别为停止词（停止词），不会被编入索引。 这些空间也被丢弃，因为配置根本不为它们提供字典。

您可以通过显式指定要查看的列来减小输出的宽度：

  1. SELECT alias, token, dictionary, lexemes FROM ts_debug('public.english','The Brightest supernovaes'); 
  2.   alias    |    token    |   dictionary   |    lexemes 
  3. -----------+-------------+----------------+------------- 
  4.  asciiword | The         | english_ispell | {} 
  5.  blank     |             |                | 
  6.  asciiword | Brightest   | english_ispell | {bright} 
  7.  blank     |             |                | 
  8.  asciiword | supernovaes | english_stem   | {supernova}

解析器测试

以下函数允许直接测试文本搜索解析器。

  1. ts_parse(parser_name text, document text,
  2.          OUT tokid integer, OUT token text) returns setof record
  3. ts_parse(parser_oid oid, document text,
  4.          OUT tokid integer, OUT token text) returns setof record

ts_parse解析给定文档并返回一系列记录，每个记录用于解析生成的每个token。 每条记录都包含一个显示已分配token类型的tokid和一个token，是token的文本。 例如：

  1. SELECT * FROM ts_parse('default', '123 - a number');
  2.  tokid | token
  3. -------+--------
  4.     22 | 123
  5.     12 |
  6.     12 | -
  7.      1 | a
  8.     12 |
  9.      1 | number
  1. ts_token_type(parser_name text, OUT tokid integer,
  2.               OUT alias text, OUT description text) returns setof record
  3. ts_token_type(parser_oid oid, OUT tokid integer,
  4.               OUT alias text, OUT description text) returns setof record

ts_token_type返回一个表，该表描述指定解析器可识别的每种类型的token。 对于每个token类型，该表给出了解析器用于标记该token类型的整数tokid， 在配置命令中命名token类型的alias以及简短description。 例如：

  1. SELECT * FROM ts_token_type('default');
  2.  tokid |      alias      |               description                
  3. -------+-----------------+------------------------------------------
  4.      1 | asciiword       | Word, all ASCII
  5.      2 | word            | Word, all letters
  6.      3 | numword         | Word, letters and digits
  7.      4 | email           | Email address
  8.      5 | url             | URL
  9.      6 | host            | Host
  10.      7 | sfloat          | Scientific notation
  11.      8 | version         | Version number
  12.      9 | hword_numpart   | Hyphenated word part, letters and digits
  13.     10 | hword_part      | Hyphenated word part, all letters
  14.     11 | hword_asciipart | Hyphenated word part, all ASCII
  15.     12 | blank           | Space symbols
  16.     13 | tag             | XML tag
  17.     14 | protocol        | Protocol head
  18.     15 | numhword        | Hyphenated word, letters and digits
  19.     16 | asciihword      | Hyphenated word, all ASCII
  20.     17 | hword           | Hyphenated word, all letters
  21.     18 | url_path        | URL path
  22.     19 | file            | File or path name
  23.     20 | float           | Decimal notation
  24.     21 | int             | Signed integer
  25.     22 | uint            | Unsigned integer
  26.     23 | entity          | XML entity

字典测试

ts_lexize函数有助于字典测试。

  1. ts_lexize(dictreg dictionary, token text) returns text[]

如果字典已知输入token，则ts_lexize返回一个词位数组; 如果字典已知该token但是它是一个停止词，则返回一个空数组; 如果它是一个未知单词，则返回NULL。

示例:

  1. SELECT ts_lexize('english_stem', 'stars');
  2.  ts_lexize
  3. -----------
  4.  {star}
  6. SELECT ts_lexize('english_stem', 'a');
  7.  ts_lexize
  8. -----------
  9.  {}

Note: ts_lexize函数需要单个token，而不是文本。 这是一个令人困惑的案例：

  1. SELECT ts_lexize('thesaurus_astro','supernovae stars') is null;
  2.  ?column?
  3. ----------
  4.  t

同义词词典thesaurus_astro确实知道短语supernovae stars，但ts_lexize失败，因为它不解析输入文本但将其视为单个token。 使用plainto_tsquery或to_tsvector来测试同义词词典，例如：

  1. SELECT plainto_tsquery('supernovae stars');
  2.  plainto_tsquery
  3. -----------------
  4.  'sn'

Parent topic: 使用全文搜索