spark工作需要更多的时间和更多的内存

carvr3hs  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(243)

为什么spark工作需要更多的时间和更多的记忆。
scenario:in 3 节点spark cluster,我正在运行一个spark作业,从文件中读取记录并将其写入cassandra。spark作业大约需要1.5分钟,应用程序内存512mb,驱动程序内存256mb。而当我将应用程序内存和驱动程序内存分别增加到2gb和1gb时,spark作业大约需要1.9分钟才能完成。
在这两种情况下,芯数均为8。
下面是gc日志:
2.427:[gc[psyounggen:132096k->18186k(153600k)]132096k->18258k(503296k),0.0286130秒][次数:user=0.06 sys=0.01,real=0.03秒]
9.122:[gc[psyounggen:135158k->21493k(153600k)]135230k->24832k(503296k),0.0614060秒][次数:user=0.10 sys=0.06,real=0.06秒]
338.579:[gc[psyounggen:153589k->21489k(153600k)]156928k->51431k(503296k),0.0619670秒][次数:user=0.10 sys=0.02,real=0.06秒]
随着记忆力的提高,spark工作应该花费更少的时间,但为什么它需要更多的时间呢?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题