[大数据] springboot 整合 Elasticsearch

开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 大数据 -> springboot 整合 Elasticsearch -> 正文阅读

[大数据]springboot 整合 Elasticsearch

Elasticsearch

一个分布式的搜索引擎
支持各种类型的数据检索
搜索速度快，可以提供实时的搜索服务
便于水平扩展，每秒可以处理BP级海量数据。

Elasticsearch术语	意思
索引	相当于数据库
类型	数据库中的表（最新版本已弃用）
文档	一行数据（相当于一个对象全部数据）
字段	就是一列一个字段

然后我们要学习Elasticsearch的话，先下载
可以去 www.elastic.co 下载哦！

版本问题

这里要注意一下哈，7.0后的版本开始逐步遗弃掉类型的概念，用索引来代替拉，
但是俺还是用6.4.3的版本试试吧。
文件下载下来，就是一个压缩包哈，解压即可！

在这里插入图片描述

解压后以后呢，我们要对config配置文件进行配置一下哈。
进去后，打开 elasticsearch.yml 文件哈，然后进行如下配置即可

在这里插入图片描述

配置好文件后呢，我们还要去下载一个分词的软件

分词软件

那么啥是分词呢？
举个例子：互联网招聘
我要所搜互联网招聘，那么我们就要将其分成互联、联网、网招、招聘、互联网等等。
这样匹配多的那就放在最前面，方便我们的搜索！！

但是哈，下载的elasticsearch只有对英文的分词，没有中文的，所以我们还要进行下载一个对中文分词的插件
这个插件可以去 github 上下载哈，直接搜索 elasticsearch ik 即可，一般第一个就是。
然后我们要找到和自己下载的elastic版本相同的分词版本哈！！
这个也是个压缩包，你解压到原来elasticsearch文件里面的插件文件plugins 下面的 ik文件夹下即可。（ik文件夹自己创建哈）
到这里，我们就可以使用命令行，进行操作了，（记得将里面bin路径存放到环境变量里面去哈！）

bin路径下的 elasticsearch.bat 文件可以启动服务器，不用的时候直接关掉就行

完成后，我们就可以在cmd里面进行简单的测试了
我们可以试试以下命令


#  查看该es服务器的健康状态
curl -X GET "localhost:9200/_cat/health?v"

# 查看节点
curl -X GET "localhost:9200/_cat/nodes?v"

# 查看索引
curl -X GET "localhost:9200/_cat/indeces?v"

# 创建索引
curl -X PUT "localhost:9200/test"

# 删除索引
curl -X DELETE "localhost:9200/test"

这里就不给你们试了哈，不过记得试下哈，怕出问题。
然后命令行其实存东西是挺麻烦的，所以我们还要下载个东东 — postMan
让我们用起来更方便的下载地址：www.getpostman.com

postMan

先利用命令向里面存放点东西 localhost:9200/test/_doc/3

在这里插入图片描述

这里，我们 test索引里面就会有数据了，记得看清哈，我们使用的是Body里面的raw里面，数据采用JSON进行传输即可。
然后采用 localhost:9200/test/_search 命令进行数据的分词搜索

在这里插入图片描述

这不比cmd舒服？啊哈哈哈哈哈
搞定这些，我们就可以进行数据的整合啦！

spring 整合 Elasticsearch

三步走：
一、引入依赖
二、对Elasticsearch进行配置
三、使用Spring Data Elasticsearch

一、引入依赖

因为是spring boot项目，所以他的上面会有他自己调试好的版本，所以我们不需要写版本号

		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-data-elasticsearch</artifactId>
		</dependency>

二、配置Elasticsearch

在 application.properties 里面配置

# ElasticsearchProperties
spring.data.elasticsearch.cluster-name=nowcoder
spring.data.elasticsearch.cluster-nodes=127.0.0.1:9300

这里的cluster-name 就是前面配置的时候配置的。
Elasticsearch将绑定到HTTP和节点/传输API的单个端口。
它会先尝试最低的可用端口，如果已经被使用，请尝试下一个端口。如果在机器上运行单个节点，则只能绑定到9200和9300。

端口的区别

9200用于外部通讯，基于http协议，程序与es的通信使用9200端口。
9300jar之间就是通过tcp协议通信，遵循tcp协议，es集群中的节点之间也通过9300端口进行通信。

三、使用 Spring Data Elastisearch （6.4.3版本）

这里它有两个类可以使用哈！

ElasticsearchTemplate
ElasticsearchRepository

后者使用起来方便一点，所以我们使用后者哈！（高版本前者已经被取消了）

ElasticSearchRepository

先对我们的实体进行加注解，这样就能达到一个映射的目的
这里我们主要是对帖子进行查询，所以我们对帖子实体类进行加注解

    @Id
    private int id;

    @Field(type = FieldType.Integer)
    private int userId;

    @Field(type = FieldType.Text, analyzer = "ik_max_word", searchAnalyzer = "ik_smart")
    private String title;

    @Field(type = FieldType.Text, analyzer = "ik_max_word", searchAnalyzer = "ik_smart")
    private String content;

    @Field(type = FieldType.Integer)
    private int type;

    @Field(type = FieldType.Integer)
    private int status;

    @Field(type = FieldType.Date)
    private Date createTime;

    @Field(type = FieldType.Integer)
    private int commentCount;

    @Field(type = FieldType.Double)
    private double score;

在这里插入图片描述

最上面的四个，分别表示：索引、文档、节点数、副本数
id是设置主键哈，其余的跟着套用就行。
要查询的字段是 title 和content 所以我们还要设置他的查询方式。
Elasticsearch 其实就是一个特殊的数据库，所以我们也要搞一个数据访问层

在这里插入图片描述

可以看出哈，这个不需要我们做什么，只需要加个注解，然后继承个ElasticsearchRepository类，然后设置下泛型即可。
Mapper注解式 mybatis 专属的哈， Repository 才是 spring提供的数据访问层的注解哈！

冲突问题

这个划重点哈！
因为不重视的话，就会报错

available processors value [%d] did not match current value [%d]

这个我们要看看 Netty4Utils 类里面啦
原因就是原来的 Redis 服务将这个给占用了，然后我们的es也依赖这个，所以就冲突了，但是还好，人家给了解决方法，将那个类设置为false即可跳过这个检查！！！
但是在初始化的时候完成，所以这个时候，我们就可以用上 @PostPostConstruct 注解来完成初始化。我们写在CommunityApplication里面的哈

@SpringBootApplication
public class CommunityApplication {

	@PostConstruct
	public void init(){
		// 解决netty启动冲突问题
		// see Netty4Utils.setAvailableProcessors()
		System.setProperty("es.set.netty.runtime.available.processors","false");
	}

	public static void main(String[] args) {
		SpringApplication.run(CommunityApplication.class, args);
	}

}

搞完这些，我们就可以建立测试类，进行测试拉！！

@RunWith(SpringRunner.class)
@SpringBootTest
@ContextConfiguration(classes = CommunityApplication.class)
public class ElasticsearchTests {

    @Autowired
    private DiscussPostMapper discussMapper;

    @Autowired
    private DiscussPostRepository discussRepository;

    @Autowired
    private ElasticsearchTemplate elasticTemplate;
}

我们先整个测试类，并且将要用到的东东注进去

先来存单条数据

    @Test
    public void testInsert(){
        discussRepository.save(discussMapper.selectDiscussPostById(241));
        discussRepository.save(discussMapper.selectDiscussPostById(242));
        discussRepository.save(discussMapper.selectDiscussPostById(243));
    }

这样通过id就可将这个帖子存放进去。而他的索引就是 discusspost，在上面的实体类上的注解已经定义过啦！！

先来存多条数据

    @Test
    public void testInsertList(){
        discussRepository.saveAll(discussMapper.selectDiscussPosts(101,0,100));
        discussRepository.saveAll(discussMapper.selectDiscussPosts(102,0,100));
        discussRepository.saveAll(discussMapper.selectDiscussPosts(103,0,100));
        discussRepository.saveAll(discussMapper.selectDiscussPosts(111,0,100));
        discussRepository.saveAll(discussMapper.selectDiscussPosts(112,0,100));
        discussRepository.saveAll(discussMapper.selectDiscussPosts(131,0,100));
        discussRepository.saveAll(discussMapper.selectDiscussPosts(132,0,100));
        discussRepository.saveAll(discussMapper.selectDiscussPosts(133,0,100));
        discussRepository.saveAll(discussMapper.selectDiscussPosts(134,0,100));
    }

这里我们可以使用 postMan 进行查询一下哈

在这里插入图片描述

可以看出来，直接插入了一百多条哈！！

我们也可以利用Repository的save进行数据的修改

    @Test
    public void testUpdate(){
        DiscussPost post = discussMapper.selectDiscussPostById(231);
        post.setContent("我是大帅哥，请使劲灌水！！！");
        discussRepository.save(post);
    }

数据的删除

    @Test
    public void testDelete(){
        discussRepository.deleteById(231);
        // 删除所有数据
        discussRepository.deleteAll();
    }

删除全部，慎用哈！！！
回不来的那种哦！！

数据的查询（代码）

这个要重要说明哈！
我们对 “互联网招聘” 进行搜索，在 title 和 content 字段里面查询
然后先按类型排降序，再按成绩排降序，再按创建时间排降序
然后继续分页，从第0页，每页搞10 条

    @Test
    public void testSearchByRepository(){
        SearchQuery searchQuery = new NativeSearchQueryBuilder()
                .withQuery(QueryBuilders.multiMatchQuery("互联网招聘","title","content"))
                .withSort(SortBuilders.fieldSort("type").order(SortOrder.DESC))
                .withSort(SortBuilders.fieldSort("score").order(SortOrder.DESC))
                .withSort(SortBuilders.fieldSort("createTime").order(SortOrder.DESC))
                .withPageable(PageRequest.of(0,10))
                .withHighlightFields(
                        new HighlightBuilder.Field("title").preTags("<em>").postTags("</em>"),
                        new HighlightBuilder.Field("content").preTags("<em>").postTags("</em>")
                ).build();
        Page<DiscussPost> page = discussRepository.search(searchQuery);
        System.out.println(page.getTotalElements());
        System.out.println(page.getTotalPages());
        System.out.println(page.getNumber());
        System.out.println(page.getSize());
        for (DiscussPost post : page) {
            System.out.println(post);
        }
    }

但是这个没有关键字高亮显示哈。

数据的高亮显示

原理就是再关键字左右加上一个 < em> 标签，然后到页面的时候，利用css进行样式的调节即可。
有点长，这个

    @Test
    public void testSearchByTemplate(){
        SearchQuery searchQuery = new NativeSearchQueryBuilder()
                .withQuery(QueryBuilders.multiMatchQuery("互联网寒冬","title","content"))
                .withSort(SortBuilders.fieldSort("type").order(SortOrder.DESC))
                .withSort(SortBuilders.fieldSort("score").order(SortOrder.DESC))
                .withSort(SortBuilders.fieldSort("createTime").order(SortOrder.DESC))
                .withPageable(PageRequest.of(0,10))
                .withHighlightFields(
                        new HighlightBuilder.Field("title").preTags("<em>").postTags("</em>"),
                        new HighlightBuilder.Field("content").preTags("<em>").postTags("</em>")
                ).build();
        Page<DiscussPost> page = elasticTemplate.queryForPage(searchQuery, DiscussPost.class, new SearchResultMapper() {
            @Override
            public <T> AggregatedPage<T> mapResults(SearchResponse response, Class<T> aClass, Pageable pageable) {
                SearchHits hits = response.getHits();
                if(hits.getTotalHits()<=0){  // 没查到数据
                    return null;
                }
                List<DiscussPost> list = new ArrayList<>();
                for (SearchHit hit : hits) {
                    DiscussPost post = new DiscussPost();

                    String id = hit.getSourceAsMap().get("id").toString();
                    post.setId(Integer.parseInt(id));

                    String userId = hit.getSourceAsMap().get("userId").toString();
                    post.setUserId(Integer.parseInt(userId));

                    String title = hit.getSourceAsMap().get("title").toString();
                    post.setTitle(title);

                    String content = hit.getSourceAsMap().get("content").toString();
                    post.setContent(content);

                    String status = hit.getSourceAsMap().get("status").toString();
                    post.setStatus(Integer.parseInt(status));

                    String createTime = hit.getSourceAsMap().get("createTime").toString();
                    post.setCreateTime(new Date(Long.parseLong(createTime)));

                    String commentCount = hit.getSourceAsMap().get("commentCount").toString();
                    post.setCommentCount(Integer.parseInt(commentCount));

                    // 处理高亮显示
                    HighlightField titleField = hit.getHighlightFields().get("title");
                    if(titleField != null){
                        post.setTitle(titleField.getFragments()[0].toString());
                    }
                    HighlightField contentField = hit.getHighlightFields().get("content");
                    if(contentField != null){
                        post.setContent(contentField.getFragments()[0].toString());
                    }
                    list.add(post);
                }
                return new AggregatedPageImpl(list,pageable,
                        hits.getTotalHits(),response.getAggregations(),response.getScrollId(),hits.getMaxScore());
            }
        });

        System.out.println(page.getTotalElements());
        System.out.println(page.getTotalPages());
        System.out.println(page.getNumber());
        System.out.println(page.getSize());
        for (DiscussPost post : page) {
            System.out.println(post);
        }
    }