[大数据] mysql数据多，多线程分页查询

开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 大数据 -> mysql数据多，多线程分页查询 -> 正文阅读

[大数据]mysql数据多，多线程分页查询

业务：定时从MySQL数据库中读取数据保存到ES中，但MySQL数据量很大，单sql查询非常耗时，同时用List接收处理也有问题。刚开始想到直接分页处理，但发现处理效率很慢。最终想到使用多线程+分页形式处理，效率真的提高了很多。

@Component
@Slf4j
public class TestHandler {
 private static ThreadFactory namedFactory = new ThreadFactoryBuilder().setNameFormat("test-thread").build();

    ThreadPoolExecutor threadPool = new ThreadPoolExecutor(10, 20,
            30, TimeUnit.MINUTES, new LinkedBlockingQueue<>(),namedFactory);

}

//使用的mybatisplus，查询数据库中总条数
int count = testService.count();
//每页按照1000条进行分页
int size = 1000;
//循环次数
long cycles = count / size;
for (int i = 0; i <= cycles+1; i++) {
long offset = i * size;
threadPool.execute(new Runnable() {
@Override
public void run() {
    List<Test> list= testService.pageList(offset,size);
    
    try {
    //到这里基本算计算，list就是我们拿到的数据库查询结果，之后进行业务处理即可
        esProcess(list);
    } catch (Exception e) {
        e.printStackTrace();
    }
}
});
}