文本搜索解析器

文本搜索解析器

本主题描述了Greenplum数据库文本搜索解析器从原始文本生成的token类型。

文本搜索解析器负责将原始文档文本拆分为token并标识每个token的类型,其中可能的类型集由解析器本身定义。 请注意,解析器根本不会修改文本 - 它只是识别合理的单词边界。 由于范围有限,因此与自定义词典相比,对特定于应用程序的自定义解析器的需求较少。 目前,Greenplum数据库只提供了一个内置解析器,它已被发现可用于各种应用程序。

内置解析器名为pg_catalog.default。 它识别23种token类型,如下表所示。

Table 1. 默认解析器的token类型
别名 描述 示例
asciiword 单词,全部为ASCII字母 elephant
word 单词,全部为字母 mañana
numword 单词,字母和数字 beta1
asciihword 连字符,全部为ASCII up-to-date
hword 连字符,全部为字母 lógico-matemática
numhword 连字符,字母和数字 postgresql-beta1
hword_asciipart 连字符部分,全部为ASCII postgresql in the context postgresql-beta1
hword_part 连字符部分,全部为字母 lógico or matemática in the context lógico-matemática
hword_numpart 连字符部分,字母和数字 beta1 in the context postgresql-beta1
email Email地址 foo@example.com
protocol 协议头 http://
url URL example.com/stuff/index.html
host Host example.com
url_path URL路径 /stuff/index.html, in the context of a URL
file 文件或路径名 /usr/local/foo.txt, if not within a URL
sfloat 科学计数法 -1.234e56
float 十进制表示法 -1.234
int 有符号数 -1234
uint 无符号数 1234
version 版本号 8.3.0
tag XML标记 <a href="dictionaries.html">
entity XML实体 &amp;
blank 空白字符 (任何未经其他方式认可的空格或标点符号)
Note:

解析器的“字母”概念由数据库的语言环境设置决定,特别是lc_ctype。 仅包含基本ASCII字母的单词将作为单独的token类型报告,因为区分它们有时很有用。 在大多数欧洲语言中,token类型wordasciiword应该被视为相似。

电子邮件不支持RFC 5322定义的所有有效电子邮件字符。 具体而言,电子邮件用户名支持的唯一非字母数字字符是句号,短划线和下划线。

解析器可以从同一段文本生成重叠token。 例如,一个带连字符的单词将作为整个单词和每个组件报告:

SELECT alias, description, token FROM ts_debug('foo-bar-beta1');
      alias      |               description                |     token     
-----------------+------------------------------------------+---------------
 numhword        | Hyphenated word, letters and digits      | foo-bar-beta1
 hword_asciipart | Hyphenated word part, all ASCII          | foo
 blank           | Space symbols                            | -
 hword_asciipart | Hyphenated word part, all ASCII          | bar
 blank           | Space symbols                            | -
 hword_numpart   | Hyphenated word part, letters and digits | beta1

这种行为是可取的,因为它允许搜索适用于整个复合词和组件。 这是另一个有指导性的例子:

SELECT alias, description, token FROM ts_debug('http://example.com/stuff/index.html');
  alias   |  description  |            token             
----------+---------------+------------------------------
 protocol | Protocol head | http://
 url      | URL           | example.com/stuff/index.html
 host     | Host          | example.com
 url_path | URL path      | /stuff/index.html