目前我们正在开发hive，它在mapr集群中默认使用mapreduce作为处理框架。现在我们要从map reduce更改为spark以获得更好的性能。根据我的理解，我们需要设置hive.execution.engine=spark。现在我的问题是spark上的hive当前是否受mapr支持？如果是，我们需要做哪些配置更改？非常感谢你的帮助。谢谢
8aqjt8rx1#
不，mapr（5.2）不支持这个。从他们的文件里，mapr不支持spark上的配置单元。因此，不能将spark用作配置单元的执行引擎。但是，可以在同一集群上运行hive和spark。您还可以使用sparksql和drill来查询配置单元表。干杯。
fkvaft9z2#
我知道并理解您的问题是关于使用spark作为hive的数据处理引擎；正如你在不同的答案中看到的，它现在还没有得到mapr的官方支持。但是，如果您的目标是使hive更快，并且不使用mapreduce，您可以切换到tez，为此安装mep3.0。请参见：http://maprdocs.mapr.com/home/hive/hiveandtez.html
2条答案
按热度按时间8aqjt8rx1#
不，mapr（5.2）不支持这个。从他们的文件里，
mapr不支持spark上的配置单元。因此，不能将spark用作配置单元的执行引擎。但是，可以在同一集群上运行hive和spark。您还可以使用sparksql和drill来查询配置单元表。
干杯。
fkvaft9z2#
我知道并理解您的问题是关于使用spark作为hive的数据处理引擎；正如你在不同的答案中看到的，它现在还没有得到mapr的官方支持。
但是，如果您的目标是使hive更快，并且不使用mapreduce，您可以切换到tez，为此安装mep3.0。
请参见：http://maprdocs.mapr.com/home/hive/hiveandtez.html