如何在一个非常大的CSV文件(超过400万条记录)上运行SQL代码，而无需打开它

8gsdolmq 于 5个月前发布在其他

关注(0)|答案(1)|浏览(60)

我有一个非常大的文件，其中有400万条记录，我想在上面运行SQL查询。然而，当我打开文件时，它只会返回100万个联系人，而不会加载其余的联系人。有没有一种方法可以让我在不打开文件的情况下运行查询，这样我就不会丢失任何记录？PS我使用的是Macbook，所以有些功能和插件对我来说不可用。

1条答案

您可以使用DuckDB来摄取数百万行CSV并在MacBook上运行SQL命令
下面是加载文件的命令

CREATE TABLE steam AS SELECT * from read_csv_auto('bigfile.csv');

字符串
你甚至可以通过在SQL查询中添加一个“WHERE”命令来导入/加载部分内容