python在大数据集上的查询

kg7wmglp 于 2021-08-01 发布在 Java

关注(0)|答案(1)|浏览(223)

我在excel中有数据（~10000+行），我需要匹配sql表（~20000+）中的每一行。查询结果如下

select field1, field2, case 
when condition 1 then 'Output 1'
when condition 2 then 'Output 2'
5-6 more such when conditions
End as Title
from Table

由于这两个数据集的数据量都很大，我应该将所有数据通过python加载到一个数组中（一次select，然后用python代码执行操作）还是通过sqlselect（迭代每一行）。
哪一个性能最好，还有其他有效的解决方案吗？

1条答案

老实说，10000行甚至20000行是相当小的，除非你有10000列。我建议您将其加载到本地Dataframe中，并在那里执行所有转换。