在amazon emr上处理15gb的日志文件数据需要多长时间？

aoyhnmkz 于 2021-05-29 发布在 Hadoop

关注(0)|答案(0)|浏览(145)

我有一个集群，有1个主节点（m4.large）、6个核心节点（m4.large）和4个任务节点（m4.large）。15gb的cloudfront日志数据分为35个Map器和64个还原器。目前，完全处理要花30多分钟——对我来说太长了，所以我停止了作业来重新配置。
我希望处理此设置需要多长时间？什么样的调整才能使作业在15分钟内运行？

hadoop Hive amazon-emr

来源：https://stackoverflow.com/questions/51952722/how-long-should-it-take-to-process-15gb-of-logfile-data-on-amazon-emr