如何有选择地将tez设置为pig作业的执行引擎？我们可以在pig.properties中设置执行引擎，但是它在集群中的位置会影响集群的所有作业。
du7egjpx1#
如果作业是通过templeton提交的，这是可能的。powershell使用示例
New-AzureHDInsightPigJobDefinition -Query $QueryString -StatusFolder $statusFolder -Arguments @("-x”, “tez")
curl 用法示例：
curl -s -d file=<file name> -d arg=-v -d arg=-x -d arg=tez 'https://<dnsname.azurehdinsight.net>/templeton/v1/pig?user.name=admin'
资料来源：http://blogs.msdn.com/b/tiny_bits/archive/2015/09/19/pig-tez-as-execution-at-job-level.aspx
hec6srdp2#
您可以将执行引擎作为参数传递，如下所示，对于mapreduce，它是mr，对于tez，它是tez。 pig -useHCatalog -Dexectype=mr -Dmapreduce.job.queuename=<queue name> -param_file dummy.param dummy.pig
pig -useHCatalog -Dexectype=mr -Dmapreduce.job.queuename=<queue name> -param_file dummy.param dummy.pig
2条答案
按热度按时间du7egjpx1#
如果作业是通过templeton提交的，这是可能的。
powershell使用示例
curl 用法示例：
资料来源：http://blogs.msdn.com/b/tiny_bits/archive/2015/09/19/pig-tez-as-execution-at-job-level.aspx
hec6srdp2#
您可以将执行引擎作为参数传递，如下所示，对于mapreduce，它是mr，对于tez，它是tez。
pig -useHCatalog -Dexectype=mr -Dmapreduce.job.queuename=<queue name> -param_file dummy.param dummy.pig