我有一个python脚本,需要处理一个大文件。如果我减少原始文件并运行脚本,那么代码可以正常工作,但是当我在原始数据上运行脚本时,我的脚本将永远无法执行。我正在考虑使用hdfs来存储文件并从python脚本读取它。但是为了使用hdfs,我必须将python脚本转换成map reduce程序,或者我可以使用相同的代码。
mw3dktmi1#
您需要调整python代码,然后使用hadoop流处理它。这正是流媒体的目的所在。
1条答案
按热度按时间mw3dktmi1#
您需要调整python代码,然后使用hadoop流处理它。这正是流媒体的目的所在。