[大数据]JDBC 批处理

批处理基本介绍

1. 当需要成批插入或者更新记录时，可以采用java的批量更新机制，这一机制允许多条语句一次性提交给数据库批量处理，通常情况下比单独提交处理更有效率
2. JDBC的批量处理语句包括下面方法：
   addBatch（）：添加需要批量处理的sql语句或参数
   executeBatch（）：执行批量处理语句
   clearBatch（）：清空批处理包的语句
3. JDBC连接 mysql 时，如果要使用批处理功能，需要在 url 中加参数 ?rewriteBatchedStatements=true
4. 批处理往往和 PreparedStatement 一起搭配使用，可以既减少编译次数，又减少运行次数，效率大大提高

package com.ftn.jdbc.batch_;

import com.ftn.jdbc.JDBCutils.JDBCUtils;
import org.junit.jupiter.api.Test;

import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.SQLException;

//演示JAVA批处理
public class Batch_ {

    //传统方法，添加5000条数据到admin2
    @Test
    public void noBatch(){
        Connection connect = null;
        String sql = "insert into admin2 values(null,?,?)";
        PreparedStatement preparedStatement = null;
        try {
            connect = JDBCUtils.connect();
            preparedStatement = connect.prepareStatement(sql);
            System.out.println("开始执行");
            long start = System.currentTimeMillis();
            for (int i = 0; i < 5000; i++) {
                preparedStatement.setString(1,"jack" + i);
                preparedStatement.setString(2,"123456" + i);
                preparedStatement.executeUpdate();
            }
            long end = System.currentTimeMillis();
            System.out.println("传统方法耗时：" + (end-start));    //传统方法耗时：192857
        } catch (SQLException e) {
            e.printStackTrace();
        }finally {
            JDBCUtils.close(null,preparedStatement,connect);
        }
    }

    //批处理方法，添加5000条数据到admin2
    @Test
    public void Batch(){
        Connection connect = null;
        String sql = "insert into admin2 values(null,?,?)";
        PreparedStatement preparedStatement = null;
        try {
            connect = JDBCUtils.connect();
            preparedStatement = connect.prepareStatement(sql);
            System.out.println("开始执行");
            long start = System.currentTimeMillis();
            for (int i = 0; i < 5000; i++) {
                preparedStatement.setString(1,"jack" + i);
                preparedStatement.setString(2,"123456" + i);
                //将sql语句加入到批处理包中
                /*addBatch 源码
                1.第一步先创建 ArrayList - elementData => Object[]
                2.elementData => Object[] 存放sql语句
                3.当 elementData => Object[] 满后，就会按照1.5倍扩容
                4.当增加到指定值后，就执行sql
                5.批量处理会减少我们发送sql语句的网络开销，而且减少编译次数，因此效率提高
                public void addBatch(Object batch) {
                        if (this.batchedArgs == null) {
                            this.batchedArgs = new ArrayList();
                        }

                        this.batchedArgs.add(batch);
                    }
                 */
                preparedStatement.addBatch();
                //当包中有1000条数据时，再执行
                if ((i+1)%1000==0){
                    //执行sql
                    preparedStatement.executeBatch();
                    //执行后清空批处理包中的语句
                    preparedStatement.clearBatch();
                }

            }
            long end = System.currentTimeMillis();
            System.out.println("批处理方法耗时：" + (end-start));   //批处理方法耗时：893
        } catch (SQLException e) {
            e.printStackTrace();
        }finally {
            JDBCUtils.close(null,preparedStatement,connect);
        }
    }
}