我正在创建一个验证工具来检查apache tez是否在hadoop的hortonworks发行版中工作，为了做到这一点，我需要检查一个简单的map reduce程序是否在tez上执行，我可以看到 mapred-default.xml 必须改变。
mapreduce.framework.name = yarn-tez (ref: http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.0.2/bk_installing_manually_book/content/rpm-chap-tez-2.html)我不想更改集群的任何设置，那么有没有什么方法可以让我不用触摸就用tez运行mapreduce mapred-default.xml ?
1条答案
按热度按时间7z5jn7bk1#
您可以使用“bin/hadoopjar hadoop-mapreduce-examples.jar wordcount-dmapreduce.framework.name=yarn-tez input-output”。
“-dkey=value”可用于重写在*-site.xml文件中指定的大多数配置属性。
或者，您可以运行本机tez示例来验证设置（根据tez版本，从tez-examples.jar/tez-mapreduce-examples.jar），而不是依赖于在tez模式下运行mapreduce作业。