ElasticSearch 基础知识点与安装部署
1.ES是什么
ElasticSearch,简称ES,是一个开源的、高扩展的、分布式全文搜索引擎，
是整个ElasticStack技术栈的核心，它可以近乎实时的存储、检索数据。
它具有非常优秀的扩展性，可以扩展到上百台服务器，处理PB级别的数据。
一句话总结：是一个分布式、RESTful风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。
2.全文索引
Google，百度类的网站搜索，它们都是根据网页中的关键字生成索引，我们在搜索的时候输入关键字，它们会将该关键字即索引匹配到的所有网页返回；还有常见的项目中应用日志的搜索等等。对于这些非结构化的数据文本，关系型数据库搜索不是能很好的支持。一般传统数据库，全文检索都实现的很鸡肋，因为一般也没人用数据库存文本字段。进行全文检索需要扫描整个表，如果数据量大的话即使对 SQL 的语法优化，也收效甚微。建立了索引，但是维护起来也很麻烦，对于 insert 和 update 操作都会重新构建索引。基于以上原因可以分析得出，在一些生产环境中，使用常规的搜索方式，性能是非常差
的：
- 搜索的数据对象是大量的非结构化的文本数据。
- 文件记录量达到数十万或数百万个甚至更多。
- 支持大量基于交互式文本的查询。
- 需求非常灵活的全文搜索查询。
- 对高度相关的搜索结果但有特殊需求，但是没有可用的关系数据库可以满足。
- 对不同记录类型、非文本数据操作或安全事务处理的需求相对较少的情况。
为了解决结构化数据搜索和非结构化数据搜索性能问题，我们就需要专业，健壮，强大的全文搜索引擎，全文搜索引擎指的是目前广泛应用的主流搜索引擎。它的工作原理是计算机索引程序通过扫描文章中的每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置，当用户查询时，检索程序就根据事先建立的索引进行查找，并将查找的结果反馈给用户的检索方式。这个过程类似于通过字典中的检索字表查字的过程。
3.Lucene
Lucene 是 Apache 软件基金会 Jakarta 项目组的一个子项目，提供了一个简单却强大的应用程式接口，能够做全文索引和搜寻。在 Java 开发环境里 Lucene 是一个成熟的免费开源工具。就其本身而言，Lucene 是当前以及最近几年最受欢迎的免费 Java 信息检索程序库。但 Lucene 只是一个提供全文搜索功能类库的核心工具包，而真正使用它还需要一个完善的服务框架搭建起来进行应用。
目前市面上主流的两款搜索引擎软件：Elasticsearch 和 Solr,
这两款都是基于 Lucene 搭建的，可以独立部署启动的搜索引擎服务软件。由于内核相同，所以两者除了服务器安装、部署、管理、集群以外，对于数据的操作 修改、添加、保存、查询等等都十分类似。
4.ES和Solr
Elasticsearch 和 Solr 都是开源搜索引擎，那么我们在使用时该如何选择呢？
- 根据Google搜索趋势结果表明，与 Solr 相比，Elasticsearch 具有很大的吸引力，但这并不
意味着 Apache Solr 已经死亡。虽然有些人可能不这么认为，但 Solr 仍然是最受欢迎的搜索引擎之一，它拥有强大的社区和开源支持。 - 与 Solr 相比，Elasticsearch 易于安装且非常轻巧，你可以在几分钟内安装并运行Elasticsearch。但是，如果 Elasticsearch 管理不当，这种易于部署和使用可能会成为一个问题。基于 JSON 的配置很简单，但如果要为文件中的每个配置指定注释，那么它不适合您。总的来说，如果你的应用使用的是JSON，那么 Elasticsearch 是一个更好的选择。否则，请使用 Solr，因为它的 schema.xml 和 solrconfig.xml 都有很好的文档记录。
- Solr 拥有更大，更成熟的用户，开发者和贡献者社区。ES 虽拥有的规模较小但活跃的用户社区以及不断增长的贡献者社区。
- Solr 更成熟，但 ES 增长迅速，更稳定。
- Solr 是一个非常有据可查的产品，具有清晰的示例和 API 用例场景。 Elasticsearch 的文档组织良好，但它缺乏好的示例和清晰的配置说明。
- Elasticsearch 在开源日志管理用例中占据主导地位，许多组织在 Elasticsearch 中索引它们的日志以使其可搜索。
| 特征 | Solr/SolrCloud | ElasticSearch |
|---|---|---|
| 社区和开发者 | Apache软件基金和社区支持 | 单一商业实体及员工 |
| 节点发现 | zookeeper,在大量项目中成熟且经过实战实测 | Zen内置与ES本身，需要专用的主节点才能进行分裂脑保护 |
| 碎片放置 | 本质上是静态，需要手动工作来迁移分片，从Solr7开始Autoscaling API允许一些动态操作 | 动态，可以根据集群状态按需一栋分片 |
| 高速缓存 | 全局，每个段更改无效 | 每段，更适合动态更改数据 |
| 分析引擎性能 | 非常适合精确计算的静态数据 | 结果的准确性取决于数据放置 |
| 全文搜索功能 | 基于Lucene的语言分析，多建议，拼写检查，丰富的高亮显示支持 | 基于Lucene的语言分析，单一建议API实现，高亮显示，重新计算 |
| DevOps支持 | 尚未完全，但即将到来 | 非常好的API |
| 非平面数据处理 | 嵌套文档和父-子支持 | 嵌套和对象类型的自然支持允许几乎无限的嵌套和父-子支持 |
| 查询DSL | JSON(有限)，XML(有限) 或URL参数 | JOSN |
| 索引/收集领导控制 | 领导者安置控制和领导者重新平衡甚至可以节点上的负载 | 不可能 |
| 机器学习 | 内置-在流聚合之上，专注于逻辑回归和学习排名贡献模块 | 商业功能，专注于异常值以及时间顺序数据 |
5.ES应用案例
- GitHub：2013年初，抛弃了Solr,采取ES来做PB级别的搜索，GitHub使用ES搜索20TB的数据，包括13亿文件和1300亿行代码。
- 百度：目前广泛使用ES作为文本数据分析，采集百度所有服务器上的各类指标及用户自定义数据，通过各种数据进行多维分析展示，辅助定位分析实例异常或业务层面异常。目前覆盖百度内部20多个业务线（包括：云分析，网盟，预测，百度文库，直达号，钱包，风控等等）
- 新浪：使用ES分析处理32亿条实时日志
- 阿里：使用ES构建日志采集和分析体系
- Stack Overflow:解决Bug问题的网站，全英文，编程人员交流的网站
6.ES安装部署
ES官网：https://www.elastic.co/cn
截止2022年3月27日，ES最新版本8.1.1。本文使用的版本为7.15.2
6.1 windows单点
windows版的ES安装非常简单，解压即安装完毕，解压后的ES的目录结构如下：
| 目录 | 含义 |
|---|---|
| bin | 可执行脚本目录 |
| config | 配置目录 |
| jdk | 内置JDK目录 |
| lib | 类库 |
| logs | 日志目录 |
| modules | 模块目录 |
| plugins | 插件目录 |
解压完成后进入bin目录，点击elasticsearch.bat即可启动ES服务
**注意：**9300 端口为 Elasticsearch 集群间组件的通信端口，9200 端口为浏览器访问的
Elasticsearch 是使用 java 开发的，且 7.8 版本的 ES 需要 JDK 版本 1.8 以上，默认安装包带有 jdk 环境，如果系统配置 JAVA_HOME，那么使用系统默认的 JDK，如果没有配置使用自带的 JDK，一般建议使用系统配置的 JDK。
ES默认JVM初始内存配置为4G，根据电脑/服务器配置自行修改config/jvm.options
-Xms1g
-Xmx1g
6.2 Linux单机
Linux单点服务与windows基本一直，进入bin目录，运行./elasticsearch脚本即可启动
注意：
因为安全问题，Elasticsearch 不允许 root 用户直接运行，所以要创建新用户，在 root 用户中创建新用户
useradd es #新增 es 用户
passwd es #为 es 用户设置密码
userdel -r es #如果错了，可以删除再加
chown -R es:es /opt/module/es #文件夹所有者
6.3 Linux集群
准备好ES包和es用户后
更改配置文件
修改/config/elasticsearch.yml 文件
# 加入如下配置
#集群名称
cluster.name: cluster-es
#节点名称，每个节点的名称不能重复
node.name: node-1
#ip 地址，每个节点的地址不能重复
network.host: hadoop102
#是不是有资格主节点
node.master: true
node.data: true
http.port: 9200
# head 插件需要这打开这两个配置
http.cors.allow-origin: "*"
http.cors.enabled: true
http.max_content_length: 200mb
#es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举 master
cluster.initial_master_nodes: ["node-1"]
#es7.x 之后新增的配置，节点发现
discovery.seed_hosts: ["hadoop102:9300","hadoop103:9300","hadoop104:9300"]
gateway.recover_after_nodes: 2
network.tcp.keep_alive: true
network.tcp.no_delay: true
transport.tcp.compress: true
#集群内同时启动的数据任务个数，默认是 2 个
cluster.routing.allocation.cluster_concurrent_rebalance: 16
#添加或删除节点及负载均衡时并发恢复的线程个数，默认 4 个
cluster.routing.allocation.node_concurrent_recoveries: 16
#初始化数据恢复时，并发恢复线程的个数，默认 4 个
cluster.routing.allocation.node_initial_primaries_recoveries: 16
修改Linux：/etc/security/limits.conf
es soft nofile 65536
es hard nofile 65536
修改Linux：/etc/security/limits.d/20-nproc.conf，分发文件
# 在文件末尾中增加下面内容
es soft nofile 65536
es hard nofile 65536
* hard nproc 4096
# 注：* 带表 Linux 所有用户名称
修改Linux：/etc/sysctl.conf
vm.max_map_count=655360
重新加载：
sysctl -p
分别在不同节点服务器上启动ES
#启动
bin/elasticsearch
#后台启动
bin/elasticsearch -d
启动完成后，验证：
也可使用Google浏览器插件：ElasticSearch Head
标星号的node-1即为配置的主节点master
提问：当手动杀掉node-1ES进程，集群会怎样？全挂还是推举出新的主节点？
如图：当结束掉主节点的进程，集群会重新推选出新的主节点，此时变成node-3成为主节点，集群健康值已变成yellow。并且此时访问的是hadoop103。主节点hadoop102已访问不通。
6.4 知识关联：集群分发脚本
当服务是集群方式部署时，我们只需改动一个服务器的配置文件，再执行脚本分发，即可将改动的配置文件同步至所有集群内的服务器中：详细可见文章大数据笔记(四)-Hadoop集群脚本分发和群起
#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi
#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname
#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir
#4 获取当前用户名称
user=`whoami`
#5 循环
for((host=102; host<105; host++)); do
echo ------------------- hadoop$host --------------
rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
done