[Java知识库]论springbatch实用性-技术人产品思维修炼(16)

springbatch一个所谓的批处理框架，更准确的描述是支持单机多线程并行处理的批处理框架。

为什么是这样？一起看看关键源码

try {
			taskExecutor.execute(new Runnable() {

				@Override
				public void run() {
					try {
						logger.info("Job: [" + job + "] launched with the following parameters: [" + jobParameters
								+ "]");
						job.execute(jobExecution);
						Duration jobExecutionDuration = BatchMetrics.calculateDuration(jobExecution.getStartTime(), jobExecution.getEndTime());
						logger.info("Job: [" + job + "] completed with the following parameters: [" + jobParameters
								+ "] and the following status: [" + jobExecution.getStatus() + "]"
								+ (jobExecutionDuration == null ? "" : " in " + BatchMetrics.formatDuration(jobExecutionDuration)));
					}
					catch (Throwable t) {
						logger.info("Job: [" + job
								+ "] failed unexpectedly and fatally with the following parameters: [" + jobParameters
								+ "]", t);
						rethrow(t);
					}
				}

				private void rethrow(Throwable t) {
					if (t instanceof RuntimeException) {
						throw (RuntimeException) t;
					}
					else if (t instanceof Error) {
						throw (Error) t;
					}
					throw new IllegalStateException(t);
				}
			});
		}

采用场景

1、如果你的项目没有多线程处理能力，还是可以用这个框架的

2、如果单机出现了jvm 堆栈问题，你可能要考虑重构你的业务设计和技术架构设计了，技术上如果采用了1，那么你就要采用消息中间件来分流，可中间件分流做不到任务调度，或者用k8s来做调度，可k8s也太厚重了，这么小的问题要他干啥？何况k8s最大的能力是做资源调度的，大材小用，累死你去。

3、场景设计(高性价比最优解)

1、如果同一批数据QPS达超万/s，建议采用springbatch+分布式任务调度框架

2、如果同一批数据QPS小于万/s，分布式任务调度框架搞定

3，如果同一批数据QPS大于千/s，自己写线程池处理

关于分布式任务调度框架可参考

分布式任务调度框架设计与实现解读(1)_luozhonghua2000的博客-CSDN博客

分布式任务调度框架设计与实现解读(2)_luozhonghua2000的博客-CSDN博客