当默认值为4时,sqoopMap器如何将数据分割成块?

vs91vp4v  于 2021-07-15  发布在  Hadoop
关注(0)|答案(0)|浏览(196)

我知道sqoopMap器的默认值是4,我们可以更改该值。但是由于在sqoop导入期间数据保存在hdfs中,所以假设我的块大小是128mb,数据的总大小是3gb。这意味着我的数据将被分成24个部分,不包括跨所有datanode的复制。我的问题是,如果我使用4个sqoopMap器,那么如何将它拆分为24个部分?每个Map器是否在内部将数据拆分为6个部分?这里到底发生了什么?我糊涂了!有人能帮我吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题