disk读取速度差异

fslejnso  于 2021-06-26  发布在  Hive
关注(0)|答案(0)|浏览(274)

我正在测试使用spark加载hdfs中存储的表需要多少时间(我使用的是javahivecontext)。
我的表是22,4gb,分为215块,所以当我读到它时,我得到了215个任务。
从结果来看,每个任务的读取速度为42mb/秒(每个任务读取107mb的速度为2,54秒)(在我的测试中,我使用一个带一个内核的执行器),但在我的主机上,磁盘速度不低于100mb/秒。
为什么我会有这种差异?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题