发现异常
上线完成后，巡检日志。
发现druid报了一个slow sql的错
ERROR c.a.druid.filter.stat.StatFilter - slow sql 1909 millis.
看了下，发现这个sql有些不一样：筛选条件重复了
select id, biz_filed_1
from table1
WHERE status IN (?, ?)
AND biz_date IS NOT NULL
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id > ?
AND id
因为id是主键，经过mysql优化器的处理【计算PRIMARY需要成本】，上面sql的执行结果也是对的。
但是，MySQL默认sql语句最大为1M。如果不解决，当超过这个限制时，就报错了
初步分析
问题的范围应该在MyBatis-Plus的条件构造器。
拼sql使用的是MyBatis-Plus的查询条件构造器QueryWrapper。
涉及到代码如下：
public class BizDataService {
public void doTask() {
log.info("任务开始");
QueryWrapper<BizData> queryWrapper = new QueryWrapper<>();
queryWrapper.in("status", 1, 2, 3);
queryWrapper.isNotNull("biz_filed_1");
queryWrapper.select("id", "biz_filed_1");
queryWrapper.orderByAsc("id");
queryWrapper.last("limit 10 ");
List<BizData> bizDataList = bizDataService.list(queryWrapper);
if (CollectionUtils.isEmpty(bizDataList)) {
log.info("没有满足条件的数据");
return;
}
while (true) {
updateData(traceId, bizDataList);
if (CollectionUtils.isEmpty(bizDataList)) {
log.info("任务 完成 ");
return;
}
Long lastId = bizDataList.get(bizDataList.size() - 1).getId();
log.info(" lastId {} ", lastId);
queryWrapper.gt("id", lastId);
bizDataList = bizDataService.list(queryWrapper);
}
}
}
有问题的sql，应该出现在构建 id>? 环节 ：
queryWrapper.gt("id",lastId);
因为要取已经处理过的最大的id，所以放在while循环中了。 为了复用，直接使用了方法最开始的条件构造器queryWrapper。
结合上面的慢sql，很可能是MyBatis-Plus拼sql的条件构造器没有做去重处理。
不过单从上面这个场景来看，MyBatis-Plus作为基础框架也不知道应该保留那一次，最多能做的是遇到重复的做个去重。
复现
case :
- 使用MyBatis-Plus的条件构造器来构建查询语句
- 条件构造器的Wrapper.gt对同一个字段要执行多次
@Slf4j
@SpringBootTest(classes = {MpIntroductionApplication.class})
class TaskServiceImplTest {
@Autowired
private TaskService taskService;
@Test
public void testWrapperWhen2Gt() {
QueryWrapper<Task> queryWrapper = new QueryWrapper<>();
queryWrapper.select("id", "name");
queryWrapper.orderByAsc("id");
queryWrapper.last("limit 10");
for (int i = 0; i < 2; i++) {
queryWrapper.gt("id", 10);
}
List<Task> taskList = taskService.list(queryWrapper);
log.info("{} ", taskList);
}
}
执行结果：
2022-08-16 10:04:29.535 DEBUG 57006 --- [ main] c.d.m.a.r.t.m.TaskMapper.selectList : ==> Preparing: SELECT id,name FROM task WHERE deleted=false AND (id > ? AND id > ?) ORDER BY id ASC limit 10
2022-08-16 10:04:29.560 DEBUG 57006 --- [ main] c.d.m.a.r.t.m.TaskMapper.selectList : ==> Parameters: 10(Integer), 10(Integer)
2022-08-16 10:04:29.584 DEBUG 57006 --- [ main] c.d.m.a.r.t.m.TaskMapper.selectList : <== Total: 10
复现了。
MyBatis-Plus的Wrapper生成sql时，是一种append操作。
解决办法
使用条件构造器Wrapper时，单独构建每次用到的SQL。
public class BizDataService {
public void doTask() {
log.info("任务开始");
QueryWrapper<BizData> queryWrapper = new QueryWrapper<>();
queryWrapper.in("status", 1, 2, 3);
queryWrapper.isNotNull("biz_filed_1");
queryWrapper.select("id", "biz_filed_1");
queryWrapper.orderByAsc("id");
queryWrapper.last("limit 10 ");
List<BizData> bizDataList = bizDataService.list(queryWrapper);
if (CollectionUtils.isEmpty(bizDataList)) {
log.info("没有满足条件的数据");
return;
}
while (true) {
updateData(traceId, bizDataList);
if (CollectionUtils.isEmpty(bizDataList)) {
log.info("任务 完成 ");
return;
}
Long lastId = bizDataList.get(bizDataList.size() - 1).getId();
log.info(" lastId {} ", lastId);
queryWrapper = new QueryWrapper<>();
queryWrapper.in("status", 1, 2, 3);
queryWrapper.isNotNull("biz_filed_1");
queryWrapper.select("id", "biz_filed_1");
queryWrapper.orderByAsc("id");
queryWrapper.last("limit 10 ");
queryWrapper.gt("id", lastId);
bizDataList = bizDataService.list(queryWrapper);
}
}
}
小结
这次的问题，是由于对MyBatis-Plus的条件构造器不熟悉，在使用时想当然认为会自动进行去重造成的。
后面，在使用新的API或组件时，要有重点地进行测试。若是核心的场景要适当的为这些新API增加UT。
语法糖虽好，用不好会粘牙哦
思路比结论重要
拓展：源码分析
展开聊一下。
拼SQL的逻辑是由类com.baomidou.mybatisplus.core.conditions.AbstractWrapper承担的。
AbstractWrapper 的实际上实现了五大接口：嵌套接口Nested、比较接口Compare、拼接接口Join、函数接口Func、SQL片断函数接口ISqlSegment。 Wrapper的gt
由比较接口Compare和SQL片断函数接口ISqlSegment来承接。
public interface Compare<Children, R> extends Serializable {
default Children gt(R column, Object val) {
return this.gt(true, column, val);
}
Children gt(boolean condition, R column, Object val);
}
public abstract class AbstractWrapper<T, R, Children extends AbstractWrapper<T, R, Children>> extends Wrapper<T> implements Compare<Children, R>, Nested<Children, Children>, Join<Children>, Func<Children, R> {
public Children gt(boolean condition, R column, Object val) {
return this.addCondition(condition, column, SqlKeyword.GT, val);
}
protected Children addCondition(boolean condition, R column, SqlKeyword sqlKeyword, Object val) {
return this.maybeDo(condition, () -> {
this.appendSqlSegments(this.columnToSqlSegment(column), sqlKeyword, () -> {
return this.formatParam((String) null, val);
});
});
}
protected void appendSqlSegments(ISqlSegment... sqlSegments) {
this.expression.add(sqlSegments);
}
}
gt
gt(R column, Object val)
gt(boolean condition, R column, Object val)
大于 >
例: gt(“age”, 18)—>age > 18
https://baomidou.com/pages/10c804/#ne
MyBatis-Plus唯一进行过去重的是last方法：
last
last(String lastSql)
last(boolean condition, String lastSql)
无视优化规则直接拼接到 sql 的最后
注意事项:
只能调用一次,多次调用以最后一次为准 有sql注入的风险,请谨慎使用
例: last(“limit 1”)
|