[大数据]保姆级教程ElasticSsearch分布式搜索引擎(一)---ElasticSsearch新手快速入门实战

ElasticSearch

• ElasticSearch使用Java开发并且是当前最流行的ElasticSearch企业级搜索引擎；
• 能够达到实时搜索，稳定，可靠，快速，安装使用方便。
• 客户端支持Java、.NET（C#）、PHP、Python、Ruby等多种语言。
• 官网：: https://www.elastic.co/
• 下载地址：：https://www.elastic.co/cn/start

ElasticSearch与Lucene

Lucene是性能最好，最先进，功能最全的搜索引擎框架。但是想要使用Lucene，必须使用Java作为开发语言并将其集成到你的应用中，且其配置与使用复杂，需要深入了解其是如何工作的。

Lucene缺点

1. 只能在Java项目中使用，要以jar包集成到项目中。
2. 不支持集群环境-索引数据不同步
3. 使用复杂
4. 索引数据如果太多就不行，索引库和应用所在同一个服务器,共同占用硬盘.共用空间少.

这些缺点ES都能解决，ES底层对Lucene进行封装与改进，达到更好的效果。

ES vs Solr

当单纯的对已有数据进行搜索时，Solr更快。

当实时建立索引时, Solr会产生io阻塞，查询性能较差, Elasticsearch具有明显的优势。

1. Solr使用Zookeeper进行分布式管理，而ElasticSearch本事带有分布式协调管理功能
2. Solr 支持更多格式的数据，比如JSON、XML、CSV，而 Elasticsearch 仅支持json文件格式。

ES与关系型数据库

全文检索

什么是全文检索

• 通过一个程序扫描文本的每一个单词，针对单词建立索引，并保存该单词在文本中的位置，以及出现的次数。
• 用户查询时，通过之前建立好的索引来查询，将索引中单词对应的文本位置，出现的次数返回给用户，因为有了具体文本的位置，就可以将具体的内容读取出来了。

倒排索引

针对一组数据，首先会进行分词、再进行去重，最后进行排序。这样，一张由数据到索引的映射关系表就形成了。

再看一个实例

以下的倒排列表中不仅包含了数据出现的位置，还包含了包含数据的次数。

Elasticsearch中的核心概念

索引 index

• 一个索引就是一个拥有几份相似特征的文档的集合。
• 比如说，可以有一个客户数据的索引，另一个产品目录的索引，还有一个订单数据的索引。
• 一个索引由一个名字来标识（必须全是小写字母），并且当我们要对索引中的文档进行操作时，都需要用到索引名。

映射Mapping

• 用来定义一个文档
• mapping是处理数据的方式和规则方面做一些限制，如某个字段的数据类型、默认值、分词器、是否被索引等等，这些都是映射里面可以设置的

字段Field

相当于是数据表的字段/列

字段类型 Type

每一个字段都应该有一个对应的类型，例如：Text、Keyword、Byte等

文档 document

一个文档是一个可被索引的基础信息单元、类似一条记录。文档以JSON格式来标识。

集群 cluster

一个集群就是由一个或多个节点组织在一起，它们共同持有整个的数据，并一起提供索引和搜索功能

节点 node

• 一个节点是集群中的一个服务器，作为集群的一部分，它存储数据，参与集群的索引和搜索功能
• 一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下，每个节点都会被安排加入到一个叫做“elasticsearch”的集群中。
• 这意味着，如果在网络中启动了若干个节点，并假定它们能够相互发现彼此，它们将会自动地形成并加入到一个叫做“elasticsearch”的集群中
• 在一个集群里，可以拥有任意多个节点。而且，如果当前网络中没有运行任何Elasticsearch节点，这时启动一个节点，会默认创建并加入一个叫做“elasticsearch”的集群。

分片

• 一个索引可以存储超出单个结点硬件限制的大量数据。比如，一个具有10亿文档的索引占据1TB的磁盘空间，而任一节点都没有这样大的磁盘空间；或者单个节点处理搜索请求，响应太慢
• 为了解决这个问题，Elasticsearch提供了将索引划分成多份的能力，这些份就叫做分片
• 当创建一个索引的时候，可以指定你想要的分片的数量
• 每个分片本身也是一个功能完善并且独立的“索引”，这个“索引”可以被放置到集群中的任何节点上
• 分片很重要，主要有两方面的原因：允许水平分割/扩展你的内容容量；允许在分片之上进行分布式的、并行的操作，进而提高性能/吞吐量
• 至于一个分片怎样分布，它的文档怎样聚合回搜索请求，是完全由Elasticsearch管理的，对于作为用户来说，这些都是透明的

副本

• 在一个网络/云的环境里，失败随时都可能发生，在某个分片/节点不知怎么的就处于离线状态，或者由于任何原因消失了，这种情况下，有一个故障转移机制是非常有用并且是强烈推荐的。
• 为此目的，Elasticsearch允许你创建分片的一份或多份拷贝，这些拷贝叫做副本分片，或者直接叫副本
• 副本之所以重要，有两个主要原因

1. 在分片/节点失败的情况下，提供了高可用性。
   注意到复制分片从不与原/主要（original/primary）分片置于同一节点上是非常重要的
2. 扩展搜索量/吞吐量，因为搜索可以在所有的副本上并行运行。
   每个索引可以被分成多个分片。一个索引有0个或者多个副本
   一旦设置了副本，每个索引就有了主分片和副本分片，分片和副本的数量可以在索引创建的时候指定。
   在索引创建之后，可以在任何时候动态地改变副本的数量，但是不能改变分片。的数量

windows安装ElasticSearch

网站：https://www.elastic.co/cn/downloads/elasticsearch；

1. 安装Window版本、下载完解压到本地即可。
2. 进入bin目录、点击elasticsearch.bat文件运行
3. 打开浏览器输入网站：localhost:9200；
4. 出现下面结果、则成功
   

window下载kibana客户端

1. . 进入官网https://www.elastic.co/cn/downloads/kibana,下载Window版本

2. 解压到本地。

3. 进入bin目录、运行kibana.bat文件。

4. 浏览器中输入localhost:5601

5. 出现下面结果则运行成功：
   

6. 目录下找到devtools，在这里练习使用es操作。

有需要的可以去下载IK分词器，只需要下载解压到ES的plugins目录下即可，但是最好保持版本一直，不然容易闪退。

ES命令

通过使用kibana的网页DevTools功能来测试命令。

查看分词效果_analyze

POST _analyze
{
  "analyzer" : "standard",
  "text" : "我爱你Chinese"
}

结果

如果你下载了IK分词器、可使用其两种分词效果

POST _analyze
{
  "analyzer" : "ik_smart",
  "text" : "我爱你Chinese"
}
POST _analyze
{
  "analyzer" : "ik_max_word",
  "text" : "我爱你Chinese"
}

• ES的默认分词器为Standard.
  这个在中文分词时就比较尴尬了，会单字拆分，比如我搜索关键词“清华大学”，这时候会按“清”，“华”，“大”，“学”去分词，然后搜出来的都是些“清清的河水”，“中华儿女”，“地大物博”，“学而不思则罔”之类的莫名其妙的结果.
• 可以使用IK分词器进行分词
  两种ik_smart和ik_max_word；
  ik_smart会将“清华大学”整个分为一个词、最粗粒度。
  ik_max_word会将“清华大学”分为“清华大学”，“清华”和“大学”，按需选其中之一就可以了。
  修改默认分词方法(这里修改school_index索引的默认分词为：ik_max_word)

PUT /schoole_index
{
  "settings": {
    "index":{
      "analysis.analyzer.default.type": "ik_max_word"
    }
  }
}

MySQL文档格式是JSON类型

{
  "email":"123",
  "name":"123",
  "age":10
}

索引操作

• 创建索引
  格式：PUT /索引名称

PUT /es_db

• 查询索引
  格式：GET /索引名称

GET /es_db

• 删除索引
  格式：DELETE /索引名称

DELETE /es_db

文档操作

• 添加
  格式: PUT /索引名称/类型/id

PUT /es_db/_doc/1
{
  "name": "yaoyang",
  "age": 20,
  "sex": 1
}
PUT /es_db/_doc/2
{
  "name": "yaoyao",
  "age": 15,
  "sex": 2
}
PUT /es_db/_doc/3
{
  "name": "yangguo",
  "age": 25,
  "sex": 1,
  "address": "donghu"
}
PUT /es_db/_doc/4
{
  "name": "yaoguai",
  "age": 1000,
  "sex": 1
}
PUT /es_db/_doc/5
{
  "name": "yaoxian",
  "age": 19,
  "sex": 1
}

• 修改文档
  格式：PUT /索引名称/类型/id

put /es_db/_doc/1
{
  "name":"白起",
  "age":30,
  "sex":0
}

• 查询文档
  GET /索引名称/类型/id

GET /es_db/_doc/1

• 删除文档
  格式: DELETE /索引名称/类型/id

Delete /es_db/_doc/1

• 查询索引库下的某类型中的所有文档
  格式： get /索引名/_search

get /es_db/_search

• 条件等值查询
  格式: GET /索引名称/类型/_search?q=:**

GET /es_db/_doc/_search?q=age:19

• 范围查询1
  格式: GET /索引名称/类型/_search?q=***[ start TO end ]

GET /es_db/_doc/_search?q=age[20 TO 27]

• 范围查询2： >= ,<=
  查询年龄小于等于20岁的 :<=

GET /es_db/_doc/_search?q=age:<=20

• 多个ID批量查询_mget
  格式: GET /索引名称/类型/_mget

GET /es_db/_doc/_mget
{
  "ids" : [2,3]
}
//SQL: select * from student where id in (1,2)

• 分页查询 from=&size=
  格式: GET /索引名称/类型/_search?q=age[25 TO 26]&from=0&size=1

 GET /es_db/_doc/_search?q=age[25 TO 26]&from=0&size=1

• 只查询某些字段 _source
  格式: GET /索引名称/类型/_search?_source=字段,字段

 GET /es_db/_doc/_search?_source=name,age&&q=age[25 TO 26]&from=0&size=1

• 查询结果排序 sort=字段:desc/asc
  格式: GET /索引名称/类型/_search?sort=字段 desc

 GET /es_db/_doc/_search?_source=name,age&&q=age[10 TO 50]&from=0&size=10&&sort=age:desc