从python脚本读取大型hdfs文件

niknxzdl  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(460)

我有一个python脚本,需要处理一个大文件。如果我减少原始文件并运行脚本,那么代码可以正常工作,但是当我在原始数据上运行脚本时,我的脚本将永远无法执行。我正在考虑使用hdfs来存储文件并从python脚本读取它。但是为了使用hdfs,我必须将python脚本转换成map reduce程序,或者我可以使用相同的代码。

mw3dktmi

mw3dktmi1#

您需要调整python代码,然后使用hadoop流处理它。这正是流媒体的目的所在。

相关问题