我们可以强加自定义的dag计划在生成的dag计划在tez?如果可能,怎么做?

brccelvz  于 2021-06-26  发布在  Hive
关注(0)|答案(1)|浏览(311)

我不想在hive中使用tez生成的dag计划,而是希望使用自己创建的自定义dag计划。有可能吗?如果是,有人能解释一下吗?

5lwkijsr

5lwkijsr1#

如果使用配置单元运行查询,则不能使用自定义dag。如果您使用api对tez应用程序进行底层编程,您可以。请参见此处的高级文档:https://hortonworks.com/blog/expressing-data-processing-in-apache-tez/
像这样:

//Define DAG
DAG dag = new DAG();
Vertex map1 = new Vertex(MapProcessor.class) 
and so on...

请参见apache项目示例:https://git-wip-us.apache.org/repos/asf?p=tez.git;a=水滴;f=tez examples/src/main/java/org/apache/tez/examples/hashjoinexample.java

相关问题