在服务器a上，我有用于在hadoop上执行任务的hadoop和python脚本。在服务器b上，我有hive/hadoop。是否可以将服务器a上的hadoop客户端配置为连接到服务器b上的hadoop？
eaf3rand1#
不清楚您使用的是什么python库，但是假设pyspark，您可以复制或配置 HADOOP_CONF_DIR 它可以与任何外部hadoop系统通信。至少，您需要配置core-site.xml与hdfs通信，配置hive-site.xml与hive通信。如果您使用的是pyhive库，则只需连接到 user@hiveserver2:1000
HADOOP_CONF_DIR
user@hiveserver2:1000
1条答案
按热度按时间eaf3rand1#
不清楚您使用的是什么python库，但是假设pyspark，您可以复制或配置
HADOOP_CONF_DIR它可以与任何外部hadoop系统通信。至少，您需要配置core-site.xml与hdfs通信，配置hive-site.xml与hive通信。
如果您使用的是pyhive库，则只需连接到
user@hiveserver2:1000