我的spring批处理作业每3分钟运行一次。
步骤应该是
每个用户的记录应该并行执行。每个用户最多可以有15万条记录。
每个用户都可以更新和删除记录。更新记录应在删除前运行。
更新/删除集应自行并行运行。但严格来说，所有的更新都应该在删除之前完成。
有谁能提出在多个级别上实现并行性的最佳方法，并遵循更新和删除级别的顺序。我正在研究spring异步执行器服务、并行流和其他spring库。rx，只有当它提供了一些耀眼的性能，上述规定无法提供。
我的spring批处理作业每3分钟运行一次。
步骤应该是
每个用户的记录应该并行执行。每个用户最多可以有15万条记录。
每个用户都可以更新和删除记录。更新记录应在删除前运行。
更新/删除集应自行并行运行。但严格来说，所有的更新都应该在删除之前完成。
有谁能提出在多个级别上实现并行性的最佳方法，并遵循更新和删除级别的顺序。我正在研究spring异步执行器服务、并行流和其他spring库。rx，只有当它提供了一些耀眼的性能，上述规定无法提供。
1条答案
按热度按时间pxyaymoc1#
引人注目的性能是基于springbatch实现的设计，我们确信您将得到springbatch，因为我们正在处理数百万条记录，选择delete和update。
每个用户的记录都应该并行执行。每个用户最多可拥有150万条记录。”根据用户对选择进行分区，每个用户将作为并行步骤运行。”
每个用户都可以更新和删除记录。更新记录应在删除前运行。“创建一个复合编写器，并为“更新ist编写器和删除第二个编写器”添加委托
更新/删除集应自行并行运行。但严格来说，所有更新都应在删除前完成。”每个writer步骤update和delete管理事务，并确保首先执行update”。
请参阅下文
Spring批多工序重载多线程下的每道工序
复合编写器示例
spring批处理-读取一个字节流，处理，写入两个不同的csv文件，将它们转换为输入流并存储到ecs，然后写入数据库