如何在同一主机上跨多个reducer共享数据

ulmd4ohb  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(266)

在这种情况下,我需要使数据集跨多个减速器可用。我不想在内存中为每个reducer加载相同的数据,因为我不认为它是最佳行为,而且文件大小很大。我不想将数据存储在集群之外,而是进行网络调用。

5gfr0r5j

5gfr0r5j1#

将其放入distributedcache可能是唯一的选择。

相关问题