IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 多线程快速导入大量数据到mysql -> 正文阅读

[大数据]多线程快速导入大量数据到mysql

加入事物都成功则成功,其中一个环节失败则回滚

    @Autowired
    private UserTestService userTestService;

    @Autowired
    private UserTestItemService userTestItemService;

    @Autowired
    private PlatformTransactionManager platformTransactionManager;
    @Autowired
    private TransactionDefinition transactionDefinition;


    /**
     * 2w 3.7秒/3.9秒/6.3秒/8秒/9秒
     *
     * @param size1
     * @return
     */
    //@Transactional(rollbackFor = Exception.class,propagation = Propagation.REQUIRED)
    @RequestMapping(value = "/save1/{size1}")
    public String save(@PathVariable("size1") Integer size1) throws ExecutionException, InterruptedException {
        // 事务
        List<TransactionStatus> statusList = new ArrayList<>();
        long startTime = System.currentTimeMillis();
        log.info("开始时间[{}]", startTime);
        List<UserTest> userTests = createDate(size1);
        //开启10个线程
        int nThreads = 10;
        //过大list的数据总条数
        final int size = userTests.size();
        //开启一个有10个线程的线程池
        ExecutorService executorService = Executors.newFixedThreadPool(nThreads);
        //通过实现Callback接口,并用Future可以来接收多线程的执行结果
        List<CompletableFuture<Integer>> futures = new ArrayList<>(nThreads);
        //遍历生成50个线程来执行任务,每个线程处理50条数据
        for (int i = 0; i < nThreads; i++) {
            final List<UserTest> allusersEntityImportList = userTests.subList(size / nThreads * i, size / nThreads * (i + 1));
            //线程执行,实现callable接口,批量保存
            CompletableFuture<Integer> exceptionally = CompletableFuture.supplyAsync(() -> {
                // 事务传递 TransactionDefinition.PROPAGATION_REQUIRES_NEW = 3
                statusList.add(platformTransactionManager.getTransaction(new DefaultTransactionDefinition(3)));
                log.info("主表线程名称是=[{}],线程id=[{}]",Thread.currentThread().getName(),Thread.currentThread().getId());
                //保存主表信息
                //int a=10/0;
                userTestService.save(allusersEntityImportList);
                return allusersEntityImportList;
            }).thenApply(list -> {
                try {
                    int a=10/0;
                    log.info("从表线程名称是=[{}],线程id=[{}]",Thread.currentThread().getName(),Thread.currentThread().getId());
                    List<UserTestItem> dateItem = createDateItem(list);
                    int save = userTestItemService.save(dateItem);
                    return save;
                }catch (Exception e){
                    throw new NullPointerException(e.getMessage());
                }
            }).exceptionally(error -> {
                System.out.println("发生了异常信息");
                throw new NullPointerException(error.getMessage());
            });
            //每50条数据提交一次任务,报异常则执行事务回滚,并将结果添加到furures中用于展示
            futures.add(exceptionally);
        }

        try {
            // List列表转成CompletableFuture的Array数组,使其可以作为allOf()的参数
            // 使用join()方法使得主线程阻塞,并等待所有并行线程完成
            CompletableFuture.allOf(futures.toArray(new CompletableFuture[]{})).join();
        }catch (Exception e){
            log.error("1111111");
            // 异常进行所有子任务回滚
            statusList.forEach(i->platformTransactionManager.rollback(i));
        }
        //执行提交
        statusList.forEach(i->platformTransactionManager.commit(i));
        executorService.shutdown();

        long endTime = System.currentTimeMillis();
        log.info("结束时间[{}]", startTime - endTime);

        return "2002";
    }

**单个CompletableFuture controll代码
注意事务注解Transactional要写在servicce 写在controller会失效
**

       @RequestMapping(value = "/save2/{size2}")
    public String save(@PathVariable("size2") Integer size2) {
        long startTime = System.currentTimeMillis();
        log.info("开始时间[{}]", startTime);
        List<UserTest> userTests = createDate(size2);
        //开启10个线程1
        int nThreads = 10;
        //过大list的数据总条数
        final int size = userTests.size();
        //开启一个有10个线程的线程池
        ExecutorService executorService = Executors.newFixedThreadPool(nThreads);
        //通过实现Callback接口,并用Future可以来接收多线程的执行结果
        List<CompletableFuture<Integer>> futures = new ArrayList<>(nThreads);
        //遍历生成50个线程来执行任务,每个线程处理50条数据
        for (int i = 0; i < nThreads; i++) {
            final List<UserTest> allusersEntityImportList = userTests.subList(size / nThreads * i, size / nThreads * (i + 1));
            //线程执行,实现callable接口,批量保存
            CompletableFuture<Integer> exceptionally = CompletableFuture.supplyAsync(() -> {
                log.info("主表线程名称是=[{}],线程id=[{}]", Thread.currentThread().getName(), Thread.currentThread().getId());
                //保存主表信息
                userTestService.save(allusersEntityImportList);
                return 1;
            }).exceptionally(error -> {
                System.out.println("发生了异常信息[]===");
                throw new NullPointerException(error.getMessage());
            });
            //每50条数据提交一次任务,报异常则执行事务回滚,并将结果添加到furures中用于展示
            futures.add(exceptionally);
        }
        // List列表转成CompletableFuture的Array数组,使其可以作为allOf()的参数
        // 使用join()方法使得主线程阻塞,并等待所有并行线程完成
        CompletableFuture.allOf(futures.toArray(new CompletableFuture[]{})).join();

        executorService.shutdown();

        long endTime = System.currentTimeMillis();
        log.info("结束时间[{}]", startTime - endTime);

        return "2002";
    }

service代码

    @Transactional(rollbackFor = Exception.class)
    @Override
    public List<UserTest> save(List<UserTest> userTests) {
        userTestMapper.insertList(userTests);
        List<UserTestItem> dateItem = createDateItem(userTests);
        if (Thread.currentThread().getId()==90){
            int a=10/0;
        }
        userTestItemService.save(dateItem);
        return null;
    }
  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-05-09 12:46:25  更:2022-05-09 12:47:38 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/23 23:06:20-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码