IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> Java知识库 -> Java多线程分批导入数据 -> 正文阅读

[Java知识库]Java多线程分批导入数据

package com.rk.iam.sys.service;

/**
 * @author wdy
 * @version 1.0
 * @date 2022/4/27 14:50
 */

import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.serializer.SerializerFeature;
import com.baomidou.mybatisplus.core.conditions.query.LambdaQueryWrapper;
import com.rk.iam.sys.common.vo.SysOrgVO;
import com.rk.iam.sys.entity.SysOrg;
import com.rk.unified.common.utils.JwtRequestUtils;
import com.rk.unified.common.vo.Cuser;
import com.sun.org.slf4j.internal.Logger;
import com.sun.org.slf4j.internal.LoggerFactory;
import org.apache.commons.collections4.CollectionUtils;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.concurrent.CountDownLatch;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;

/**
 * 组织导入线程类
 * @author wdy
 *
 */
@Service
public class OperationOrgsService {

    private static final Logger log = LoggerFactory.getLogger(OperationOrgsService.class);
    //线程计数器
    private CountDownLatch threadsSignal;
    //每个线程处理的数据量
    private static final int count=1000;
    @Autowired
    private SysOrgService sysOrgService;
    @Autowired
    private JwtRequestUtils jwtRequestUtils;
    //定义线程池数量为8,每个线程处理1000条数据
    private static ExecutorService execPool = Executors.newFixedThreadPool(8);

    /**
     * 多线程批量执行插入
     * @return
     */
    public String batchAddData(List<SysOrgVO> list) throws InterruptedException, Exception {
           Map<Integer,String> response=new HashMap<>();
        if(list.size()<=count) {
            threadsSignal=new CountDownLatch(1);
            execPool.submit(new InsertDate(list));
        }else {
            List<List<SysOrgVO>> li=createList(list, count);
            threadsSignal=new CountDownLatch(li.size());
            for(List<SysOrgVO> liop:li) {
                execPool.submit(new InsertDate(liop));
            }
        }
        response.put(0,"success");
        threadsSignal.await();
        return JSON.toJSONString(response, SerializerFeature.WriteMapNullValue);
    }

    /**
     * 数据拆分
     * @param targe
     * @param size
     * @return
     */
    public static List<List<SysOrgVO>>  createList(List<SysOrgVO> targe,int size) {
        List<List<SysOrgVO>> listArr = new ArrayList<List<SysOrgVO>>();
        //获取被拆分的数组个数
        int arrSize = targe.size()%size==0?targe.size()/size:targe.size()/size+1;
        for(int i=0;i<arrSize;i++) {
            List<SysOrgVO>  sub = new ArrayList<SysOrgVO>();
            //把指定索引数据放入到list中
            for(int j=i*size;j<=size*(i+1)-1;j++) {
                if(j<=targe.size()-1) {
                    sub.add(targe.get(j));
                }
            }
            listArr.add(sub);
        }
        return listArr;
    }


    /**
     * 内部类,开启线程批量保存数据
     * @author wdy
     *
     */
    class  InsertDate  extends Thread{
        List<SysOrgVO> lientity=new ArrayList<SysOrgVO>();
        Cuser cuser = jwtRequestUtils.getCuser();
        public  InsertDate(List<SysOrgVO> limodel){
            limodel.forEach((model)->{
                lientity.add(model);
            });
        }
        @Override
        public void run() {
            create(lientity, cuser);
            threadsSignal.countDown();
        }
    }

    /*
    *
    * 保存数据到数据库
    * */
    public void create(List<SysOrgVO> sysOrgVOList, Cuser cuser) {
        sysOrgVOList.forEach(sysOrgVO -> {
            String name = sysOrgVO.getName();
            Long id = 0L;
            List<SysOrg> sysOrgList = new ArrayList<>();
            boolean flag = false;
            if (name.contains("/")) {
                String[] split = name.split("/");
                if (split.length > 0) {
                    for (int i = 0; i < split.length; i++) {
                        sysOrgVO.setCid(cuser.getCid());
                        sysOrgVO.setRemark("批量导入组织");
                        if (i == 0) {
                            List<SysOrg> list = sysOrgService.lambdaQuery().eq(SysOrg::getCid, cuser.getCid()).eq(SysOrg::getName, split[i]).list();
                            if (CollectionUtils.isEmpty(list)) {
                                sysOrgVO.setParentId(0L);
                                sysOrgVO.setName(split[i]);
                                SysOrg sysOrg = sysOrgService.convertToEntity(sysOrgVO);
                                sysOrgService.save(sysOrg);
                                id = sysOrg.getId();
                            } else {
                                /*
                                 * 获取根目录下父级目录
                                 * */
                                for (SysOrg sysOrg : list) {
                                    sysOrgList = sysOrgService.getBaseMapper()
                                            .selectList(new LambdaQueryWrapper<SysOrg>()
                                                    .eq(SysOrg::getCid, cuser.getCid())
                                                    .eq(SysOrg::getParentId, sysOrg.getId()));

                                }
                                id = list.get(0).getId();
                            }
                        } else {
                            if (CollectionUtils.isNotEmpty(sysOrgList)) {
                                for (SysOrg sysOrg : sysOrgList) {
                                    if (split[i].equals(sysOrg.getName())) {
                                        flag = true;
                                        break;
                                    }
                                }

                            }

                            if (!flag) {
                                sysOrgVO.setParentId(id);
                                sysOrgVO.setName(split[i]);
                                SysOrg sysOrg = sysOrgService.convertToEntity(sysOrgVO);
                                sysOrgService.save(sysOrg);
                                id = sysOrg.getId();
                            }
                        }
                    }
                }
            }
        });
    }
}

  Java知识库 最新文章
计算距离春节还有多长时间
系统开发系列 之WebService(spring框架+ma
springBoot+Cache(自定义有效时间配置)
SpringBoot整合mybatis实现增删改查、分页查
spring教程
SpringBoot+Vue实现美食交流网站的设计与实
虚拟机内存结构以及虚拟机中销毁和新建对象
SpringMVC---原理
小李同学: Java如何按多个字段分组
打印票据--java
上一篇文章      下一篇文章      查看所有文章
加:2022-04-29 11:57:32  更:2022-04-29 12:01:04 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 1:50:39-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码