Elasticsearch 中文分词器
IK 分词器
我们在ES中最常用的中文分词器就是IK分词器，其项目地址为：https://github.com/medcl/elasticsearch-analysis-ik
下载安装
-
下载地址： https://github.com/medcl/elasticsearch-analysis-ik/releases
-
下载时注意和es的版本对应，我们es版本为：8.6.2。所以我们下载 elasticsearch-analysis-ik-8.6.2.zip 解压包内容如下：
-
在ES home/plugins 目录下创建目录 ik，并将我们下载下zip包解压到 es_home/plugins/ik 目录下
-
重启 ES 服务
使用
IK 分词器有如下方式使用：
analyzer 和 tokenizer 均可配置使用 ik 分词器，两种配置对应的值均为如下两个：
- ik_smart (最粗粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,国歌”，适合 Phrase 查询)
- ik_max_word（最细粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,中华人民,中华,华人,人民共和国,人民,人,民,共和国,共和,和,国国,国歌”，会穷尽各种可能的组合，适合 Term Query）
ik_max_word 示例
{"analyzer" : "ik_max_word","text" : "我们都是中国人"
}或{"tokenizer" : "ik_max_word","text" : "我们都是中国人"
}解析结果：
{"tokens": [{"token": "我们","start_offset": 0,"end_offset": 2,"type": "CN_WORD","position": 0},{"token": "都是","start_offset": 2,"end_offset": 4,"type": "CN_WORD","position": 1},{"token": "中国人","start_offset": 4,"end_offset": 7,"type": "CN_WORD","position": 2},{"token": "中国","start_offset": 4,"end_offset": 6,"type": "CN_WORD","position": 3},{"token": "国人","start_offset": 5,"end_offset": 7,"type": "CN_WORD","position": 4}]
}
ik_smart 示例
{"tokenizer" : "ik_smart","text" : "我们都是中国人"
}
解析结果：
{"tokens": [{"token": "我们","start_offset": 0,"end_offset": 2,"type": "CN_WORD","position": 0},{"token": "都是","start_offset": 2,"end_offset": 4,"type": "CN_WORD","position": 1},{"token": "中国人","start_offset": 4,"end_offset": 7,"type": "CN_WORD","position": 2}]
}
IK 分词器字典扩展
在 ik 的文件的 config 目录下有 ik 分词的配置文件（IKAnalyzer.cfg.xml）以及相关的 dic 字典文件。
IKAnalyzer.cfg.xml 文件
DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties><comment>IK Analyzer 扩展配置comment><entry key="ext_dict">entry><entry key="ext_stopwords">entry>
properties>
注释说得很明确了，我们来总结一下就是 IK 支持两种扩展方式：
- 本地 dic 文件扩展
- 远程配置扩展
本地 dic 文件扩展
1. 在 ik 的 config 目录下创建我们的扩展词典文件：my_ext_dic.dic
在文件中添加我们要扩展的词
my_ext_dic.dic
科比布莱恩特
我们就加科比的名字吧
2. 修改 IKAnalyzer.cfg.xml 配置
IKAnalyzer.cfg.xml
DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties><comment>IK Analyzer 扩展配置comment><entry key="ext_dict">my_ext_dic.dicentry><entry key="ext_stopwords">entry>
properties>- 重启 ES 服务
- 验证是否成功
{"tokenizer" : "ik_max_word","text" : "NBA篮球巨星，科比布莱恩特中国行"
}
查看结果，最终的分词中一定会有“科比布莱恩特”这样完整的词语。
远程扩展字典
IKAnalyzer.cfg.xml 配置
words_location 需要替换为我们远程的url，比如：https://aaaa.com/dics
对远程url的要求
- http 请求需要返回两个 header，一个是 Last-Modified，一个是 ETag，这两者都是字符串类型，只要有一个发生变化，ik 插件就会去抓取新的分词进而更新词库。
- http 请求返回的内容格式是一行一个分词，换行符用 \n 即可。
使用nginx或其他web服务器提供字典扩展服务
- 可以将字典放在 UTF-8 编码的 .txt 文件中，然后将文件放在web服务器中，当这个 .txt 文件更新时，ik 会自动获取并更新扩展词典。
远程扩展字典的方式无需重启 ES 服务，只是在字典管理上来说，扩展字段文件独立于 ES 服务了，在字典需要频繁修改等时候，我们还可以自定义一个管理端应用，动态的通过应用来修改。
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！