apache配置单元未正确返回应用程序结果

68de4m5k  于 2021-05-27  发布在  Hadoop
关注(0)|答案(2)|浏览(446)

我正在aws ec2上运行一个从头开始的集群。我有一个用s3上的数据定义的外部表(分区)。我可以通过简单的select*语句查询此表并将结果接收到控制台:

hive> set hive.execution.engine=tez;
hive> select * from external_table where partition_1='1' and partition_2='2';
<correct results returned>

运行需要tez的查询不会将结果返回到控制台:

hive> set hive.execution.engine=tez;
hive> select count(*) from external_table where partition_1='1' and partition_2='2';
Status: Running (Executing on YARN cluster with App id application_1572972524483_0012)

OK
+------+
| _c0  |
+------+
+------+
No rows selected (8.902 seconds)

但是,如果我在日志和文件系统中挖掘,我可以从该查询中找到结果:

(yarn.resourcemanager.log) org.apache.hadoop.yarn.server.resourcemanager.RMAuditLogger: USER=root     OPERATION=AM Released Container TARGET=SchedulerApp     RESULT=SUCCESS  APPID=application_1572972524483_0022      CONTAINERID=container_1572972524483_0022_01_000002      RESOURCE=<memory:1024, vCores:1>        QUEUENAME=default
(container_folder/syslog_attempt) [TezChild] |exec.FileSinkOperator|: New Final Path: FS file:/tmp/<REALLY LONG FILE PATH>/000000_0
[root #] cat /tmp/<REALLY LONG FILE PATH>/000000_0
SEQ"org.apache.hadoop.io.BytesWritableorg.apache.hadoop.io.Textl▒ꩇ1som}▒▒j¹▒    2060

2060是分区的正确计数。
现在,奇怪的是,如果我在hdfs上插入overwrite目录,我就能从应用程序中得到结果:

hive> set hive.execution.engine=tez;
hive> INSERT OVERWRITE DIRECTORY '/tmp/local_out' select count(*) from external_table where partition_1='1' and partition_2='2';
[root #] hdfs dfs -cat /tmp/local_out/000000_0
2060

但是,尝试插入或覆盖本地目录失败:

hive> set hive.execution.engine=tez;
hive> INSERT OVERWRITE LOCAL DIRECTORY '/tmp/local_out' select count(*) from external_table where partition_1='1' and partition_2='2';
[root #] cat /tmp/local_out/000000_0
cat: /tmp/local_out/000000_0: No such file or directory

如果我对这个查询的容器结果文件进行cat,它只是数字,没有类名或特殊字符:

[root #] cat /tmp/<REALLY LONG FILE PATH>/000000_0
2060

我能找到的唯一不合适的日志消息来自yarn resourcemanager日志:

(yarn.resourcemanager.log) INFO org.apache.hadoop.yarn.server.resourcemanager.RMAuditLogger: USER=root     OPERATION=AM Released Container TARGET=SchedulerApp     RESULT=SUCCESS  APPID=application_1572972524483_0023      CONTAINERID=container_1572972524483_0023_01_000004      RESOURCE=<memory:1024, vCores:1>        QUEUENAME=default
(yarn.resourcemanager.log) WARN org.apache.hadoop.yarn.server.resourcemanager.RMAuditLogger: USER=root     IP=NMIP   OPERATION=AM Released Container TARGET=Scheduler        RESULT=FAILURE    DESCRIPTION=Trying to release container not owned by app or with invalid id.    PERMISSIONS=Unauthorized access or invalid container    APPID=application_1572972524483_0023    CONTAINERID=container_1572972524483_0023_01_000004

根据最模糊的印象,我猜测结果写入本地文件系统时会出现字符编码问题(因此容器结果文件中会出现特殊字符),但这实际上只是猜测,我不知道如何验证/解决该问题。非常感谢您的帮助!

sy5wg1nm

sy5wg1nm1#

如何将数据插入配置单元表?hive从metastore提供count(*)结果,而不是运行count作业来优化性能。首先在此表上尝试msck修复,以让配置单元知道新的外部文件,并相应地修改配置单元元存储。

9wbgstp7

9wbgstp72#

apachehive邮件列表中有人认为这是由yarn容器将其结果文件写入运行它的本地计算机而不是hdfs引起的。我在源代码中做了一些挖掘,发现:

mapreduce.framework.name=local

这是hadoop3.2.1中的默认值,是导致问题的原因。
解决方法:

set mapreduce.framework.name=yarn

相关问题