Elasticsearch（二）——Es 数据存储细节（动态映射、静态映射、类型推断）、核心类型、二十三种映射参数、官方文档地址
一、Es 数据存储细节
虽然 Es 是 NoSQL ，但是底层也是有数据类型的。
1、动态映射
底层会自动的根据存入的数据判断数据类型，这种自动分析就叫动态映射。
我们可以先创建一个索引，在创建好的索引信息中，可以看到，mappings 为空，这个 mappings 中保存的就是映射信息。
接着存入下面这么个数据：
然后查看索引信息：
然后查看 mappings，mappings 里面就是定义数据的详细信息：
再往里面细看，可以发现有个 “keywork”，里面还有 type：keyword。text 和 keyword 都是存字符串，但是 keyword 存的是像 邮箱地址和电话号码 这种不需要分词的，是什么就直接是什么，一整个去存。
所以：
text：字符串，存储需要分词的。
keyword：字符串，存储不需要分词的。
当然，同一个字段可以有多种类型去存。
动态映射还有一个日期检测的问题。可以看到 publishDate 的数据类型会被推断是日期类型。如果这个时候再存一本书，publishDate 不是日期，而是其他数据类型，那么存储一定会报错；如果是要存字符串类型，我们存数字类型，都一样可以，因为字符串跟数字可以转换，但是日期类型不能转换。
要解决这个问题，可以使用静态映射，即在索引定义时，将 remark 指定为 text 类型。也可以关闭日期检测：
此时日期类型就回当成文本来处理。
默认情况下，文档中如果新增了字段，mappings 中也会自动新增进来。
有的时候，如果希望新增字段时，能够抛出异常来提醒开发者，这个可以通过 mappings 中 dynamic属性来配置。但是这么设置，其实也就是变成静态映射了。
2、静态映射
如果希望新增字段时，能够抛出异常来提醒开发者，这个可以通过 mappings 中 dynamic属性来配置。
dynamic 属性有三种取值：
- true：默认即此。自动添加新字段。
- false：忽略新字段。
- strict：严格模式，发现新字段会抛出异常。
比如下图（严格模式）：
静态映射的意思就是在定义索引时，就把索引中的所有字段类型，统统提前定义枚举好，那么以后往索引中加数据和字段时，就只能按照规定好的加。
如果加了类型不对等的数据，会报 400 错误。
3、类型推断
二、核心类型
1、字符串类型
- string：这是一个已经过期的字符串类型。在 es5 之前，用这个来描述字符串，现在的话，它已经被 text 和 keyword
替代了。 - text：如果一个字段是要被全文检索的，比如说博客内容、新闻内容、产品描述，那么可以使用text。用了 text
之后，字段内容会被分析，在生成倒排索引之前，字符串会被分词器分成一个个词项。text类型的字段不用于排序，很少用于聚合。这种字符串也被称为 analyzed 字段。 - keyword：这种类型适用于结构化的字段，例如标签、email地址、手机号码等等，这种类型的字段可以用作过滤、排序、聚合等。这种字符串也称之为 not-analyzed 字段。
2、数字类型
- 在满足需求的情况下，优先使用范围小的字段。字段长度越短，索引和搜索的效率越高。
- 浮点数，优先考虑使用 scaled_float。
scaled_float 举例：
3、日期类型
由于 JSON 中没有日期类型，所以 es 中的日期类型形式就比较多样：
- 2020-11-11 或者 2020-11-11 11:11:11
- 一个从 1970.1.1 零点到现在的一个秒数或者毫秒数。
es 内部将时间转为 UTC，然后将时间按照 millseconds-since-the-epoch 的长整型来存储。
自定义日期类型：
这个能够解析出来的时间格式比较多。
上面三个文档中的日期都可以被解析，内部存储的是毫秒计时的长整型数。
4、布尔类型（boolean）
JSON 中的 “true”、“false”、true、false 都可以。
5、二进制类型（binary）
二进制接受的是 base64 编码的字符串，默认不存储，也不可以搜索。
6、范围类型
- integer_range
- float_range
- long_range
- double_range
- date_range
- ip_range
定义的时候，指定范围类型即可：
插入文档的时候，需要指定范围的界限：
指定范围的时候，可以使用 gt、gte、lt、lte。
7、 复合类型
a、数组类型
es 中没有专门的数组类型。默认情况下，任何字段都可以有一个或者多个值。需要注意的是，数组中的元素必须是同一种类型。
添加数组时，数组中的第一个元素决定了整个数组的类型。
b、对象类型（object）
由于 JSON 本身具有层级关系，所以文档包含内部对象。内部对象中，还可以再包含内部对象。
c、嵌套类型（nested）
nested 是 object 中的一个特例。
如果使用 object 类型，假如有如下一个文档：
由于 Lucene 没有内部对象的概念，所以 es 会将对象层次扁平化，将一个对象转为字段名和值构成的简单列表。即上面的文档，最终存储形式如下：
扁平化之后，用户名之间的关系没了。这样会导致如果搜索 Zhang si 这个人，会搜索到。
此时可以 nested 类型来解决问题，nested 对象类型可以保持数组中每个对象的独立性。nested 类型将数组中的每一饿对象作为独立隐藏文档来索引，这样每一个嵌套对象都可以独立被索引。
优点：文档存储在一起，读取性能高。
缺点：更新父或者子文档时需要更新更个文档。比如更新 zhang 这个姓，需要连 san 这个名也一起更新。
8、地理类型
使用场景：
- 查找某一个范围内的地理位置
- 通过地理位置或者相对中心点的距离来聚合文档
- 把距离整个到文档的评分中
- 通过距离对文档进行排序
a、 geo_point
注意：使用数组描述，先经度后纬度。
地址位置转 geo_hash：http://www.csxgame.top/#/
b、geo_shape
9、特殊类型
a、IP
b、token_count
三、二十三种映射参数
1、analyzer
这里的结果就不贴图了，可自行尝试。
默认情况下，中文就是一个字一个字的分，这种分词方式没有任何意义。如果这样分词，查询就只能按照一个字一个字来查，像下面这样：
结果就不贴图了。
总之这么分词后，然后就可以通过词去搜索了：
词条向量：存到底层的词是怎么分词的；并不是说简单的存储分词，还有这个词在这句话中具体的位置，以及这个词在这句话中出现了多少次（频率）；因为这些将来都要作为搜索评分的标准。
2、search_analyzer
查询时候的分词器。默认情况下，如果没有配置 search_analyzer，则查询时，首先查看有没有search_analyzer，有的话，就用 search_analyzer 来进行分词，如果没有，则看有没有 analyzer，如果有，则用 analyzer 来进行分词，否则使用 es 默认的分词器。
3、normalizer
normalizer 参数用于解析前（索引或者查询）的标准化配置。
比如，在 es 中，对于一些我们不想切分的字符串，我们通常会将其设置为 keyword，搜索时候也是使用整个词进行搜索。如果在索引前没有做好数据清洗，导致大小写不一致，例如 javaboy 和JAVABOY，此时，我们就可以使用 normalizer 在索引之前以及查询之前进行文档的标准化。
先来一个反例，创建一个名为 blog 的索引，设置 author 字段类型为 keyword：
大写关键字可以搜到大写的文档，小写关键字可以搜到小写的文档。
如果使用了 normalizer，可以在索引和查询时，分别对文档进行预处理。
normalizer 定义方式如下：
在 settings 中定义 normalizer，然后在 mappings 中引用。
测试方式和前面一致。此时查询的时候，大写关键字也可以查询到小写文档，因为无论是索引还是查询，都会将大写转为小写。
4、boost
boost 参数可以设置字段的权重。
boost 有两种使用思路，一种就是在定义 mappings 的时候使用，在指定字段类型时使用；另一种就是在查询（搜索）时使用。
实际开发中建议使用后者，前者有问题：如果不重新索引文档，权重无法修改。
mapping 中使用 boost（不推荐）：
另一种方式就是在查询（搜索）的时候，指定 boost（推荐）：
5、coerce
6、copy_to
7、doc_values 和 fielddata
es 中的搜索主要是用到倒排索引，doc_values 参数是为了加快排序、聚合操作而生的。当建立倒排索引的时候，会额外增加列式存储映射。
doc_values 默认是开启的，如果确定某个字段不需要排序或者不需要聚合，那么可以关闭doc_values。
大部分的字段在索引时都会生成 doc_values，除了 text。text 字段在查询时会生成一个 fielddata 的数据结构，fieldata 在字段首次被聚合、排序的时候生成。
doc_values 默认开启，fielddata 默认关闭。
由于 doc_values 默认时开启的，所以可以直接使用该字段排序，如果想关闭 doc_values ，如下：
8、dynamic
这个讲动态映射的时候已经说过了，就是严格模式那些。
9、enabled
es 默认会索引所有的字段，但是有的字段可能只需要存储，不需要索引。此时可以通过 enabled 字段来控制：
10、format
日期格式。format 可以规范日期格式，而且一次可以定义多个 format。
- 多个日期格式之间，使用 || 符号连接，注意没有空格。
- 如果用户没有指定日期的 format，默认的日期格式是 strict_date_optional_time||epoch_mills
另外，所有的日期格式，可以在 https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-date-format.html网址查看。
11、ignore_above
igbore_above 用于指定分词和索引的字符串最大长度，超过最大长度的话，该字段将不会被索引，这个字段只适用于 keyword 类型。
12、ignore_malformed
ignore_malformed 可以忽略不规则的数据，该参数默认为 false。
13、include_in_all
这个是针对 _all 字段的，但是在 es7 中，该字段已经被废弃了。
14、index
index 属性指定一个字段是否被索引，该属性为 true 表示字段被索引，false 表示字段不被索引。
如果 index 为 false，则不能通过对应的字段搜索。
15、index_options
index_options 控制索引时哪些信息被存储到倒排索引中（用在 text 字段中），有四种取值：
16、norms
norms 对字段评分有用，text 默认开启 norms，如果不是特别需要，不要开启 norms。
17、null_value
在 es 中，值为 null 的字段不索引也不可以被搜索，null_value 可以让值为 null 的字段显式的可索引、可搜索：
18、position_increment_gap
被解析的 text 字段会将 term 的位置考虑进去，目的是为了支持近似查询和短语查询，当我们去索引一个含有多个值的 text 字段时，会在各个值之间添加一个假想的空间，将值隔开，这样就可以有效避免一些无意义的短语匹配，间隙大小通过 position_increment_gap 来控制，默认是 100。
sanli 搜索不到，因为两个短语之间有一个假想的空隙，为 100。
可以通过 slop 指定空隙大小。
也可以在定义索引的时候，指定空隙：
近似查询：比如查询 java，但实际输入了 jaav 或者 jvaa 这种，但是近似查询依然能搜索出 java，；近似查询解决的就是这种问题。
19、properties
这个就不说了，用了很多次了。
20、similarity
similarity 指定文档的评分模型，默认有三种：
21、store
默认情况下，字段会被索引，也可以搜索，但是不会存储，虽然不会被存储的，但是 _source 中有一个字段的备份。如果想将字段存储下来，可以通过配置 store 来实现。
22、term_vectors
term_vectors 是通过分词器产生的信息，包括：
- 一组 terms
- 每个 term 的位置
- term 的首字符/尾字符与原始字符串原点的偏移量
term_vectors 取值：
23、fields
fields 参数可以让同一字段有多种不同的索引方式。例如：
24、官方文档
二十三种映射参数官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-params.html