[大数据]mybatis JDBC 批量插入慢的其中一种情况

????????在新项目排查一个定时任务处理慢的情况，数据库是pgsql，发现耗时最长的是插入操作，2000条耗时能到4秒，9000条能到25秒，20w条能到惊人的750秒。

搜索出来解决慢插入的方案，大概是以下两种：

1、jdbc url 加一个参数，重写insert语句，将多句合成一句，以以提高速度。?

????????mysql 加?rewriteBatchedStatements=true

????????pgsql 加 reWriteBatchedInserts=true

我这个项目使用的是pgsql，即使加上了参数依然无效，又人说是驱动版本问题，改了版本也无效，所以暂时不知道问题在哪。如果这种方式能生效当然最好，最方便。

2、不要使用mybatis默认的saveBatch方式，而在mapper.xml中自定义insert语句，并通过foreach连接要插入的value。这种方式原理和上面其实差不都。但是要注意如果语句过长是会报错的，sql语句大小是又限制的。

?用这种方式还有一个不好的地方就是，比如设置了自动生成id 和 时间戳的字段就得手动创建了，所以当时也没有用这个方案。

我的情况

? ? ? ? 当头疼怎么弄的时候，发现日志打印中出现多次preparing，如：

Preparing: INSERT INTO data ( id, create_time, name, kpi_id, unit, month_expect, year_total, data_type, config_id, wd ) VALUES ( ?, ?, ?, ?, ?, ?, ?, ?, ?, ? )

Preparing: INSERT INTO data ( id, create_time, name, kpi_id, unit, data_type, config_id, wd ) VALUES ( ?, ?, ?, ?, ?, ?, ?, ? )

Preparing: INSERT INTO data ( id, create_time, name, kpi_id, unit, month_expect, year_total, data_type, config_id, wd ) VALUES ( ?, ?, ?, ?, ?, ?, ?, ?, ?, ? )

由此可知，mybatis的默认插入规则会忽略null的属性插入，导致insert语句在不断的变化，如 有三条记录，有A B C 三个字段，每条记录都只有其中一个字段不为null。则即使是批量插入，还是会preparing不同的sql:

Preparing: INSERT INTO data ( A?) VALUES ( ? )

Preparing: INSERT INTO data ( B?) VALUES ( ? )

Preparing: INSERT INTO data ( C?) VALUES ( ? )

而我项目中的那个实体对象，其中有6、7个属性是可能为null的。这也导致9000条数据插入时，preparing sql会不断的变化，导致耗时25秒。

解决

所以知道这个情况了，就好处理了，查了下mybatis默认策略是会忽略null值插入，当然也可以手动指定不忽略。只需要在属性上加上注解：

@TableField(insertStrategy = FieldStrategy.IGNORED)

A B C 加上后的效果，不管插入多少条都只会有一次preparing:

Preparing: INSERT INTO data ( A, B, C?) VALUES ( ? ,?,?)

实测修改后，项目中9000条数据插入时间缩短到 3秒。