一：elasticsearch: Docker方式安装
# 1.获取镜像
docker pull elasticsearch:7.14.0
2.运行es
docker run -d -e ES_JAVA_POTS="-Xms256m -Xmx256m" ?-e "discovery.type=single-node" -p 9200:9200 ?-p 9300:9300 --name es elasticsearch:7.14.0
//映射对应的分词器
docker run -v /root/es/ik-7.14.0:/usr/share/elasticsearch/plugins/ik-7.14.0 -d -e ES_JAVA_POTS="-Xms256m -Xmx256m" -e "discovery.type=single-node" -p 9200:9200 -p 9300:9300 --name es elasticsearch:7.14.0
//问题解决：
https://blog.csdn.net/qq_43308337/article/details/90069371
sysctl -w vm.max_map_count=262144
sysctl -a|grep vm.max_map_count
在 /etc/sysctl.conf文件最后添加一行
vm.max_map_count=262144
source sysctl.conf
docker logs -f es
3.访问ES
curl http://localhost:9200/
二：Docker方式安装kibana
1.获取镜像
docker pull kibana:7.14.0
#2.运行 kibana
docker run -d --name kibana -p 5601:5601 kibana:7.14.0
# 3.进入客器连接到ES.重启k1bana容器，访问 htt0://10.15 8.3:5581
# 4.基于数据卷加战配置文件方式运行
docker run -d --name kibana -p 5601:5601 -v /root/config:/usr/share/kibana/config kibana:7.14.0
三：elasticsearch 索引
# 1 查询索引 -v 格式化显示
GET /_cat/indices?v
# 2 创建索引
PUT /products
PUT /orders
{
? "settings": {
? ? "number_of_shards": 1,
? ? "number_of_replicas": 0
? }
}
# 3 删除索引
DELETE /products
四：elasticsearch 映射
映射 类型：
字符串类型：keyword ?text
数字类型：integer long
小数类型：float double
布尔类型：boolean
日期类型：date
// 创建映射类型
PUT /products
{
? "settings": {
? ? "number_of_shards": 1,
? ? "number_of_replicas": 0
? },
? "mappings": {
? ? "properties": {
?? ??? ?"id":{
?? ??? ??? ?"type":"integer"
?? ??? ?},
?? ??? ?"title":{
?? ??? ??? ?"type":"keyword"
?? ??? ?},
?? ??? ?"price":{
?? ??? ??? ?"type":"double"
?? ??? ?},
?? ??? ?"created_at":{
?? ??? ??? ?"type":"date"
?? ??? ?},
?? ??? ?"description":{
?? ??? ??? ?"type":"text"
?? ??? ?}
?? ?}
? }
}
五：elasticsearch? 文档
# 1 添加文档 ?手动 指定文档id
POST /products/_doc/2
{
?? ?"title":"iphon13",
?? ?"price":13.4,
?? ?"created_at":"2022-04-24",
?? ?"description":"很好用"
}
# 2 添加文档 ?自动创建文档id
POST /products/_doc/
{
?? ?"title":"iphon12",
?? ?"price":13.4,
?? ?"created_at":"2022-04-24",
?? ?"description":"很好用"
}
# 3文档查询：
GET /products/_doc/5
# 4 删除文档
DELETE /products/_doc/1
# 5 更新文档 这种方式：删除、原始文档 从新开始添加
PUT /products/_doc/4QyYWoAB69iYBBWP7pcr
{
? "title":"小浣熊"
}
# 6 更新文档 这种方式：基于指定字段更新 是先把老的查出来 再更新对应的字段
POST /products/_doc/4gyfWoAB69iYBBWPm5f1/_update
{
? "doc" :{
? ? ? "title":"iphone15"
? }
}
# ?7 文档批量操作
# 批量添加：
POST /products/_doc/_bulk
{"index":{"_id":4}}
? {"title":"小浣熊1","price":13.4,"created_at":"2022-04-24","description":"很好用"}
{"index":{"_id":5}}
? {"title":"小浣熊2","price":13.4,"created_at":"2022-04-24","description":"很好用"}
??
# 8 批量添加 更新 删除
POST /products/_doc/_bulk
{"index":{"_id":6}}
? {"title":"小浣熊1","price":13.4,"created_at":"2022-04-24","description":"很好用"}
{"update":{"_id":5}}
? {"doc":{"title":"小鱼肚父" }}
{"delete":{"_id":4}}
六：高级查询query DSL ：
语法：
?get /索引名/_doc/_search {json 格式请求体数据}
?get /索引名/_search {json 格式请求体数据}
# 1 query DSL 语法 查询所有 match_all
GET /products/_doc/_search
{
? "query":{
? ? "match_all":{}
? }
}
# 2 query DSL 语法 ?关键词查询 （term）
# keyword 类型 搜索 要搜索全部内容，不分词
# text 类型 默认 es 标准分词器 中文单子分词 ?英文 单词分词
GET /products/_search
{
? "query": {
? ? "term": {
? ? ? "title": {
? ? ? ? "value": "小鱼肚父"
? ? ? }
? ? }
? }
}
#3 query DSL 语法 ?范围查询 （range）
GET /products/_search
{
? "query": {
? ? "range": {
? ? ? "price": {
? ? ? ? "gte": 0,
? ? ? ? "lte": 20
? ? ? }
? ? }
? }
}
# 4 query DSL 语法 ?前缀查询 （prefix）
GET /products/_search
{
? "query": {
? ? "prefix": {
? ? ? "title": {
? ? ? ? "value": "小浣"
? ? ? }
? ? }
? }
}
#5 query DSL 语法 ?通配符查询 （wildcard）?用来匹配一个任意字符 * 用来匹配多个任意字符
GET /products/_search
{
? "query": {
? ? "wildcard": {
? ? ? "title": {
? ? ? ? "value": "小*"
? ? ? }
? ? }
? }
}
#6 query DSL 语法 多id查询
GET /products/_search
{
? "query": {
? ? "ids": {
? ? ? "values": ["5","6"]
? ? }
? }
}
#7 query DSL 语法 模糊查询 （fuzzy）
# 最大模糊错误 必须在0-2 之间
# 搜索关键词长度为2 不允许存在模糊
# 搜索关键词长度为3-5 允许1次模糊
# 搜索关键词长度大于5 ?不允最大2模糊
GET /products/_search
{
? "query": {
? ? "fuzzy": {
? ? ? "title": "小浣熊"
? ? }
? }
}
# 8布尔查询[bool]
# bool关键字:用来组合多个条件实现复杂查询
# must:相当于&&同时成立
# should:相当于成立一个就行
#must_not:相当于!不能满足任何一个
GET /products/_search
{
? "query": {
? ? "bool": {
? ? ? "must_not": [
? ? ? ? {
? ? ? ? ? "ids":{
? ? ? ? ? ? "values": [1]
? ? ? ? ? }
? ? ? ? ??
? ? ? ? },
? ? ? ? {
? ? ? ? ? "term": {
? ? ? ? ? ? "title": {
? ? ? ? ? ? ? "value": "小浣熊"
? ? ? ? ? ? }
? ? ? ? ? }
? ? ? ? }
? ? ? ]
? ? }
? }
}
# 9 多字段查询 （multi_match）
GET /products/_search
{
? "query": {
? ? "multi_match": {
? ? ? "query": "很好用",
? ? ? "fields": ["title","description"]
? ? }
? }
}
# 10 默认字段分词查询 （query_string）
GET /products/_search
{
? "query": {
? ? "query_string": {
? ? ? "default_field": "description",
? ? ? "query": "很"
? ? }
? }
}
七：elasticsearch? 分页查询
# 1 返回指定条数（size）
GET /products/_search
{
? "query": {
? ? "query_string": {
? ? ? "default_field": "description",
? ? ? "query": "很"
? ? }
? },
? "highlight": {
? ? "pre_tags": ["<span style='color:red;'> "],?
? ? "post_tags":["/span>"],?
? ? "fields": {
? ? ? "*":{}
? ? }
? },
? "size": 2
??
}
# 2 分页查询（form）
GET /products/_search
{
? "query": {
? ? "query_string": {
? ? ? "default_field": "description",
? ? ? "query": "很"
? ? }
? },
? "highlight": {
? ? "pre_tags": ["<span style='color:red;'> "],?
? ? "post_tags":["/span>"],?
? ? "fields": {
? ? ? "*":{}
? ? }
? },
? "from": 2,?
? "size": 2
??
}
# 3 指定字段排序（sort）
GET /products/_search
{
? "query": {
? ? "query_string": {
? ? ? "default_field": "description",
? ? ? "query": "很"
? ? }
? },
? "highlight": {
? ? "pre_tags": ["<span style='color:red;'> "],?
? ? "post_tags":["/span>"],?
? ? "fields": {
? ? ? "*":{}
? ? }
? },
? "from": 0,?
? "size": 7,
? "sort": [
? ? {
? ? ? "price": {
? ? ? ? "order": "asc"
? ? ? }
? ? }
? ]
??
}
# 4 返回指定字段（_souce）
GET /products/_search
{
? "query": {
? ? "query_string": {
? ? ? "default_field": "description",
? ? ? "query": "很"
? ? }
? },
? "highlight": {
? ? "pre_tags": ["<span style='color:red;'> "],?
? ? "post_tags":["/span>"],?
? ? "fields": {
? ? ? "*":{}
? ? }
? },
? "from": 0,?
? "size": 7,
? "sort": [
? ? {
? ? ? "price": {
? ? ? ? "order": "asc"
? ? ? }
? ? }
? ],
? "_source": ["title","price"]
??
}
八：elasticsearch? ?索引原理
倒排索引
(Inverted ?Index)也叫反向索引，有反向索引必有正向索引。
通俗地来讲，正向索引是通过key找value，反向索引则是通过value找key。ES底层在检索时底层使用的就是倒排索引。
索引模型
现有索引和映射如下:
{
?? ?"products”:{
?? ??? ?"mappings":{
?? ??? ??? ?"properties":{
?? ??? ??? ??? ?"description":{"type":"text"}，
?? ??? ??? ??? ?"price":{"type":"float"}，
?? ??? ??? ??? ?"title":{"type" : "keyword"}
?? ??? ??? ?}
?? ??? ?}
?? ?}
}
九：elasticsearch? ?分词器
Analysis和Analyzer
Analysis:文本分析是把全文本转换一系列单词(term/token)的过程，也叫分词
(Analyzer)。Analysis是通过Analyzer来实现的。分词就是将文档通过Analyzer分成一个一个的 Term(关键词查询)，每一个Term都指向包含这个Term的文档"。
Analyzer组成
●注意:在ES中默认使用标准分词器:StandardAnalyzer特点:中文单字分词 ?英文单词分词
我是中国人this is good man-->analyzer->我 是 中 国 人 this is good man
分析器(analyzer)都由三种构件组成的:character filters , tokenizers , token filters.
character filter 字符过滤器:
。在一段文本进行分词之前，先进行预处理，比如说最常见的就是，过滤html标签
(<span>hello<span>…> hello)，&-->and (I&you--> I and you)?
tokenizers 分词器：
英文分词可以根据空格将单词分开，中文分词比较复杂，可以采用机器学习算法来分词。
Token filters Token过滤器：
将切分的单词进行加工。大小写转换(例将“Quick”转为小写)，去掉停用词(例如停用词像“a”、“and”、“the”等等)，加入同义词(例如同义词像“jump”和“leap”。
?注意:
三者顺序:Character Filters…>Tokenizer-->Token Filter
三者个数:Character Filters(0个或多个)+Tokenizer+TokenFilters(0个或多个)
----------------------------------------------------------------------------------------------------------
内置分词器
standard Analyzer ? ? ? 默认分词器，英文按单词分词，并小写处理 中文单字分词
simple ? Analyzer ? ? ? 按照单词分词 ?英文统一转小写 去掉符号，中文按照空格分词。
stop ? ? Analyzer ? ? ? 小写处理，停用词过滤(the,a,is)
whitespace Analyzer ? ? 按照空格切分，不转小写 不去掉标点符号
keyword ? Analyzer ? ? 不分词，直接将输入当作输出
内置分词器测试
1 标准分词器:
# 标准分词器: 默认standard
PUT /tests
{
? "settings": {
? ? "number_of_shards": 1,
? ? "number_of_replicas": 0
? },
? "mappings": {
? ? "properties": {
?? ??? ?"description":{
?? ??? ??? ?"type":"text",
?? ??? ??? ?"analyzer": "standard"
?? ??? ?}
?? ?}
? }
}
PUT /tests
{
? "settings": {
? ? "number_of_shards": 1,
? ? "number_of_replicas": 0
? },
? "mappings": {
? ? "properties": {
?? ??? ?"description":{
?? ??? ??? ?"type":"text",
?? ??? ??? ?"analyzer": "whitespace"
?? ??? ?}
?? ?}
? }
}
中文分词器：
在ES中支持中文分词器非常多如smartCNIK等，推荐的就是IK分词器。
安装IK
开源分词器lk的github: https://github.com/medcl/elasticsearch-analysis-ik
注意：IK分词器的版本要你安装ES的版本一致
注意：Docker容器运行ES安装插件目录为 /usr/share/elasticsearch/plugins
# 1.下载对应版本
.[es0linux~] wget?
https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.14.0/elasticsearch-analysis-ik-7.14.0.zip
# 2.解压
-[es@linux~1S unzip elasticsearch-analysis-ik-6.2.4.zip #先使用yuminstall -yunzip
#3.移动到es安装目录的plugins目录中
[es0linux~]$ 1s elasticsearch-6.2.4/plugins/
[esPlinux~1s mv elasticsearch elasticsearch-6.2.4/plugins/
[es@linux~]$ 1s elasticsearch-6.2.4/plugins/ elasticsearch
[eselinux~]S 1s elasticsearch-6.2.4/plugins/elasticsearch/
?? ?commons-codec-1.9.jar config httpclient-4.5.2.1arplugin-descriptor.properties
?? ?commong-logging-1.2.jar elasticsearch-analynis-1k-6.2.4.jar httpcore-4.4.4.1ar 自动 2.0x?
?? ?
# ik 2种
# ik_smart ：会做最粗粒度的拆分
# ik_max_word :将文本做最细粒度的拆分
POST /_analyze
{
? "analyzer": "ik_max_word",
? "text": "中华人民共和国国歌"
}
PUT /tests
{
? "settings": {
? ? "number_of_shards": 1,
? ? "number_of_replicas": 0
? },
? "mappings": {
? ? "properties": {
?? ??? ?"description":{
?? ??? ??? ?"type":"text",
?? ??? ??? ?"analyzer": "ik_max_word"
?? ??? ?}
?? ?}
? }
}
?? ?
=========================================
扩展词、停用词配置
IK支持自定义 扩展词典 和 停用词典
扩展词典:就是有些词并不是关键词，但是也希望被ES用来作为检索的关键词，可以将这些
词加入扩展词典。
停用词典:就是有些词是关键词，但是出于业务场景不想使用这些关键词被检索到，可以将这些词放入停用词典。
定义扩展词典和停用词典可以修改IK分词器中config目录中 IKAnalyzercfg.xml 这个文件。
1.修改vim IKAnalyzer.cfg.xml
<?xmlversion="1.0"encoding=“UTF-8"?>
<!DOCTYPE properties SYSTEM"http://java.sun.com/dtd/properties.dtd"><properties>
<comment>IK Analyzer 扩展配置</comment><!--用户可以在这里配置自己的扩展字典 -->
<entry key="ext_dict">ext dict.dic</entry><!--用户可以在这里配置自己的扩展停止词字典-->
<entry key="ext_stopwords">ext_stopword.dic</entry></properties>
===================
过滤查询：
过滤查询
<filter query>，其实准确来说，ES中的查询操作分为2种:查询(query)和过滤(filter)。
查询即是之前提到的query查询，它(查询)默认会计算每个返回文档的得分，然后根据得分排序。
而过滤(filter)只会筛选出符合的文档，并不计算得分，而且它可以缓存文档。所以，单从性能考虑，过滤比查询更快。换句话说过滤适合在大范围筛选数据，而查询则适合精确匹配数据，一般应用时，，应先使用过滤操作过谑数据，，然后使用查询匹配数据。
使用：
GET /ems/emp/_search
"query":("bool":{"must*:[
("match_al1":{}} //查询条件]，
"filter":{....} //过滤条件
)
·注意:
在执行filter和query时先执行filter在执行query
Elasticsearch会自动缓存经常使用的过滤器，以加快性能
常见过滤类型有:?
term ?匹配字段
terms ? 多个字段
ranage ?范围过滤
exists ?存在字段的过滤
dis 等filter。
十：springboot 整合：
整合应用
1 引入依赖
<dependency>
?? ?<groupId>org.springframework.boot</groupId>
?? ?<artifactId>spring-boot-starter-data-elasticsearch</artifactId>
</dependency>
2 配置客户端
@Configuration
public class RestClientConfig extends AbstractElasticsearchConfiguration{
?? ?
?? ?@Override
?? ?@Bean
?? ?public RestHighLevelClient elasticsearchClient(){
?? ??? ?final ClientConfiguration clientConfiguration=ClientConfiguration.builder()
?? ??? ??? ??? ??? ??? ??? ??? ??? ??? ??? ??? ?.connectedTo(17216.9110:9208")
?? ??? ??? ??? ??? ??? ??? ??? ??? ??? ??? ??? ?.build();
?? ?return RestClients.create(clientConfiguration).rest();
?? ?}
}
-------
客户端对象
ElasticsearchOperations
RestHighLevelClient推荐
ElasticsearchOperations
特点:始终使用面向对象方式操作ES
索引:用来存放相似文档集合
映射:用来决定放入文档的每个字段以什么样方式录入到ES中字段类型分词器.
文档:可以被索引最小单元ison数据格式
注：以上为es 初步探索内容
