我有一个导入作业到配置单元外部表（hbase）。由于我的数据太大，我看到500个Map器被打开并执行。但是我想控制需要同时执行的并发Map程序的数量。我的期望是。让hive仍然创建500个Map器。但我希望一次只能执行100个Map器。不知道如何控制并发Map程序。非常感谢您的帮助。提前谢谢！！
yhuiod9q1#
我的期望是。让hive仍然创建500个Map器。但我希望一次只能执行100个Map器。不知道这是什么意思。但是，如果您希望控制Map器的数量，一种方法是按如下方式控制输入拆分：
set mapreduce.input.fileinputformat.split.maxsize= <some number>; set mapreduce.input.fileinputformat.split.minsize= <some number>;
设置输入的最大和最小大小将帮助您控制Map器。您还可以尝试设置配置单元中Map器的数量：
SET mapreduce.job.maps=100
希望这有帮助：）
1条答案
按热度按时间yhuiod9q1#
我的期望是。让hive仍然创建500个Map器。但我希望一次只能执行100个Map器。
不知道这是什么意思。但是，如果您希望控制Map器的数量，一种方法是按如下方式控制输入拆分：
设置输入的最大和最小大小将帮助您控制Map器。
您还可以尝试设置配置单元中Map器的数量：
希望这有帮助：）