我有大量的数据要核实。然后设置一个对象，最后逐个保存到数据库中。所以要花很多时间。我计划使用springbatch在一次处理之后存储大量的数据。这样我就可以省去每次和db交谈的时间。我可以将整个数据存储在一个列表中，并使用spring批处理存储，还是有其他方法？请帮我举个例子。coading语言-java-struts数据库-mysql服务器
gxwragnw1#
存储大量数据我能把所有的数据存储在一个列表里吗如果你的“大量”数据适合内存，那么你可以这样做。但我不确定如果你的数据足够大，而且无法存储在内存中，这是不是一种可行的方法。springbatch中面向块处理的思想不是将整个数据集加载到内存中，而是将其分块加载。这个模型是健壮的，可以处理任意数量的输入数据，内存占用率很低（只有块大小的项目加载到内存中）。
1条答案
按热度按时间gxwragnw1#
存储大量数据
我能把所有的数据存储在一个列表里吗
如果你的“大量”数据适合内存，那么你可以这样做。但我不确定如果你的数据足够大，而且无法存储在内存中，这是不是一种可行的方法。
springbatch中面向块处理的思想不是将整个数据集加载到内存中，而是将其分块加载。这个模型是健壮的，可以处理任意数量的输入数据，内存占用率很低（只有块大小的项目加载到内存中）。