为什么mapreduce任务的处理速度开始变慢然后又增加?

rseugnpd  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(282)

我在linux中运行了一个mapreduce作业,并记录了任务的处理速率(每秒处理的字节数)。我注意到处理速度开始缓慢,并不断增加,直到它变得稳定。请注意,每个任务都在单独的jvm中运行。启动缓慢是因为jvm吗?
下图显示了在不同机器上以不同速度运行的两个任务的累积处理率。一台机器比第二台快2倍。请注意,任务运行速度较快,机器达到稳定的速度较快。


知道为什么会这样吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题