直接贴自己总结的结论,网上的资料汇总之后自己总结的。
1.不要使用for循环一条一条插入,慢到离谱
2.saveBatch模式其实是?个假的批处理模式,实质还是for循环?条条来执?,但是也会缓存?定量后?次性刷盘(?真正的for insert要好很多),当字段?较少的时候,效率?不过foreach?次性执?效率?
3.foreach是sql拼接,?在字段?较少的表插?时候,性能确实?BATCH模式好,但字段多的时候,效率会下降严重,?不过BATCH模式,并且?动拼接sql,还容易出错,且繁琐耗时。
4.saveBatch需要配置rewriteBatchedStatements=true,
例如:jdbc:mysql://数据库地址/数据库名?useUnicode=true&characterEncoding=UTF8&allowMultiQueries=true&rewriteBatchedStatements=true
如果不配置不生效,不会按照预期的拼接sql为一条,使用配置解决的方式太麻烦,在微服务情况下又要改很多地方
结论:如果配置改起来方便,可以rewriteBatchedStatements=true,选择saveBatch的方式配合多线程,否则使用继承DefaultSqlInjector的方法,以下是继承DefaultSqlInjector的使用。
1.先创建一个类,继承DefaultSqlInjector 类
public class MySqlInjector extends DefaultSqlInjector {
@Override
public List<AbstractMethod> getMethodList(Class<?> mapperClass) {
List<AbstractMethod> methodList = super.getMethodList(mapperClass);
methodList.add(new InsertBatchSomeColumn()); // 加入批量插入方法
return methodList;
}
}
2.?创建一个Mybatis的配置类,然后把上面创建的类注入到spring容器
@Configuration
public class MybatisConfig {
@Bean
public MySqlInjector mySqlInjector(){
return new MySqlInjector();
}
}
3. 创建一个接口,直接复制粘贴
public interface BaseMapperPlus<T> extends BaseMapper<T> {
Integer insertBatchSomeColumn(Collection<T> entityList);
int batchSize = 1000; // 应为mysql对于太长的sql语句是有限制的,所以我这里设置每1000条批量插入拼接sql
default Integer batchInsert(Collection<T> entityList) {
int result = 0;
Collection<T> tempEntityList = new ArrayList<>();
int i = 0;
for (T entity : entityList) {
tempEntityList.add(entity);
if (i > 0 && (i % batchSize == 0)) {
result += insertBatchSomeColumn(tempEntityList);
tempEntityList.clear();
}
i++;
}
result += insertBatchSomeColumn(tempEntityList);
return result;
}
}
4.使用这个自己创建的
public interface userMapper extends BaseMapperPlus<User>{
}
这样之后就可以用mapper中的batchInsert来批量插入了,两种方法底层都是将sql语句拼接起来,只不过一个是我们手动拼接,另一个使用saveBatch且rewriteBatchedStatements=true是mysql帮我们拼接。
|