[大数据]elasticsearch ik分词词库热更新

原理: elasticsearch会每隔一分钟从config目录下的IKAnalyzer.cfg.xml文件指定的远程地址中拉取词库，进行更新

部署tomcat

下载地址：https://tomcat.apache.org/download-80.cgi

解压

[ajtuser@centos7 ~]$ tar -zvxf apache-tomcat-8.5.69.tar.gz 
[ajtuser@centos7 ~]$ mv apache-tomcat-8.5.69 /usr/local/
[ajtuser@centos7 ~]$ cd /usr/local/
[ajtuser@centos7 local]$ mv apache-tomcat-8.5.69/ tomcat

启动

[ajtuser@centos7 local]$ sh ./tomcat/bin/startup.sh
# 验证tomcat是否启动成功
curl localhost:8080

新增热更新词库文件

# 切换到tomcat webapps的ROOT
[ajtuser@centos7 ROOT]$ cd /usr/local/tomcat/webapps/ROOT/
# 新增额外词库文件
[ajtuser@centos7 ROOT]$ vim extra_words.dic
凯悦
吉屋
老铁
?
# 保存退出，确保用浏览器可以访问到这个文件
http://192.168.100.206:8080/extra_words.dic

修改elasticsearch的ik配置文件

[ajtuser@centos7 analysis-ik]$ cd /usr/local/elasticsearch/config/analysis-ik
[ajtuser@centos7 analysis-ik]$ vim IKAnalyzer.cfg.xml<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
 ? ? ?  <comment>IK Analyzer 扩展配置</comment>
 ? ? ?  <!--用户可以在这里配置自己的扩展字典 -->
 ? ? ?  <entry key="ext_dict"></entry>
 ? ? ? ? <!--用户可以在这里配置自己的扩展停止词字典-->
 ? ? ?  <entry key="ext_stopwords"></entry>
 ? ? ?  <!--用户可以在这里配置远程扩展字典 -->
 ? ? ?  <entry key="remote_ext_dict">http://localhost:8080/extra_words.dic</entry>
 ? ? ?  <!--用户可以在这里配置远程扩展停止词字典-->
 ? ? ?  <!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>
?

验证

# kibana devtool控制台检查分词效果
GET _analyze?pretty
{
    "analyzer": "ik_smart",
    "text": "老铁凯悦吉屋"
}
# 分词结果
{
 ?"tokens" : [
 ?  {
 ? ? ?"token" : "老铁",
 ? ? ?"start_offset" : 0,
 ? ? ?"end_offset" : 2,
 ? ? ?"type" : "CN_WORD",
 ? ? ?"position" : 0
 ?  },
 ?  {
 ? ? ?"token" : "凯悦",
 ? ? ?"start_offset" : 2,
 ? ? ?"end_offset" : 4,
 ? ? ?"type" : "CN_WORD",
 ? ? ?"position" : 1
 ?  },
 ?  {
 ? ? ?"token" : "吉屋",
 ? ? ?"start_offset" : 4,
 ? ? ?"end_offset" : 6,
 ? ? ?"type" : "CN_WORD",
 ? ? ?"position" : 2
 ?  }
  ]
}

这样每次只要更新tomcat的ROOT目录下的extra_words.dic文件中的词库即可，不需要重启elasticsearch