IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> ElasticSearch 通用化批量存储封装设计 -> 正文阅读

[大数据]ElasticSearch 通用化批量存储封装设计

一、设计需要满足的功能场景

为了满足在工作中,不用频繁的去写繁琐的 ES 存储的代码,一切都是为了偷懒,闲暇之余(想多了)经过多方考虑,将 ES 的存储进行了通用化封装。

  1. 封装必须保证通用型,绝大多数场景都能够直接通过调用来实现存储,而不再需要大量编码
  2. 封装的入参应该越简单越好,封装一定要保证好用
  3. 可以牺牲一定的灵活性以保证标准化以及易用性

二、约定

所谓的约定,就是牺牲一定的灵活性,以保证排除不可控性,来保障封装的可用,易用性

约定如下:

  1. ES 内存储的字段,代码中必须存在对象且字段与 ES 字段一一对应。这么做的目的不言而喻,一方面保证代码的可读性,易读性,ES 内的字段可以通过代码中 ES 对象很直观的看出有哪些字段,且不参杂其他乱七八糟的无用数据。另一方面,通过这种标准化的对象,能够保证 ES 内数据的精确性,大幅度降低出问题的风险,也易于排查问题。
  2. 对象中尽量以 id 字段作为 ES 的 _id。 这一点虽然很想定死,但是考虑到可能确实存在此参数需要灵活定义的情况,所以做了一些妥协,通过配置的形式指定,默认就配置为 id 即可。
  3. 枚举标准化。 将所有可自定义的参数标准化到枚举中,配置时以枚举来配置,这样便于维护,不至于各写各的乱七八糟。

三、功能封装

1、枚举

  • indexName: 很明确,ES 对应的索引名称。
  • name: 索引的名称,让别人明确知道这个索引是什么东西的索引干什么用的,起到一个说明的作用。
  • clazz: ES 对象对应的类,就是前文约定的标准化类。
/**
 1. ES索引枚举
 */
@Getter
@AllArgsConstructor
public enum EsIndexEnum {

    EsTestDTO("xxxx", "xx列表", EsTestDTO.class, "id")

    ;

    /**
     * 索引名
     */
    private String indexName;

    /**
     * 名称
     */
    private String name;

    /**
     * ES数据对象对应Class类型
     */
    private Class clazz;

    /**
     * _ID对应字段映射
     */
    private String idFieldName;
}

2、定义接口

定一个一个单条处理的接口,一个批量处理的接口

/**
 2. ES操作API
 */
public interface EsOperationApi {

    /**
     * 保存ES数据(单条数据)
     * @param data 数据
     * @param esIndexEnum ES对应索引
     * @param <T>
     * @param <R>
     */
    <T, R> void saveOne(T data, EsIndexEnum esIndexEnum);

    /**
     * 保存ES数据
     * @param data 数据
     * @param esIndexEnum ES对应索引
     * @param <T>
     * @param <R>
     */
    <T, R> void save(List<T> data, EsIndexEnum esIndexEnum);
}

3、功能实现

  1. 将范性对象转化为标准化的对象
  2. 构建 ES 的批量处理器 Bulk
  3. 将 ES 的操作依次添加进批量处理器中,用 upsert 方法,如果存在则更新,不存在则新增
  4. 获取返回结果,打印错误便与排查
/**
 * @author Jinpeng Lin
 * @description ES操作封装
 * @date 2022-05-30
 */
@Slf4j
@Service
public class EsOperationApiImpl implements EsOperationApi {

    @Resource
    private RestHighLevelClient restClient;

    @Override
    public <T, R> void saveOne(T data, EsIndexEnum esIndexEnum) {
        if (data != null) {
            this.save(CollUtil.newArrayList(data), esIndexEnum);
        }
    }

    @Override
    public <T, R> void save(List<T> data, EsIndexEnum esIndexEnum) {
        if (CollUtil.isEmpty(data) || esIndexEnum == null) {
            return;
        }
        // 数据和指定的 ES 对应进行对象映射,转化为 ES 标准化的对象
        List<R> datas = ReflectUtils.map(data, esIndexEnum.getClazz());
        // 批量处理器
        BulkRequest bulkRequest = new BulkRequest();
        // 向批量处理器里添加要处理的数据
        Map<String, Object> dataMap;
        for (R item : datas) {
            dataMap = BeanUtil.beanToMap(item, true, false);
            bulkRequest.add(new UpdateRequest(esIndexEnum.getIndexName(),
                String.valueOf(ReflectUtil.getFieldValue(item, esIndexEnum.getIdFieldName()))).doc(dataMap)
                    .upsert(dataMap));
        }

        try {
            // 发送处理,并接收结果
            BulkResponse response = this.restClient.bulk(bulkRequest, RequestOptions.DEFAULT);
            if (response.hasFailures()) {
                for (BulkItemResponse bulkItemResponse : response) {
                    if (bulkItemResponse.isFailed()) {
                        BulkItemResponse.Failure failure = bulkItemResponse.getFailure();
                        log.error("ES 数据同步单条数据失败,索引:{},ID:{},错误信息:{}", esIndexEnum.getIndexName(),
                            failure.getId(), failure.getMessage());
                    }
                }
            }
        } catch (Exception e) {
            log.error("ES 数据同步失败,索引:{},错误信息:{}", esIndexEnum.getIndexName(), e.getMessage());
        }
    }
}
  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-06-25 18:11:43  更:2022-06-25 18:15:42 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年5日历 -2024/5/19 22:28:39-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码