从vertica读取hdfs中的orc数据时出现hdfs配置错误

z3yyvxxp  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(323)

我正在使用Vertica7.2,并试图访问hdfs中的orc数据。hdfs中的目录位置是 '/user/<path_to_ORC_dir>/' 所有的orc文件都位于以orc格式存储的配置单元表之下。
vertica中的hadoopconfdir参数已设置为 /etc/hadoop/conf . 单独hadoop集群中的hadoop conf目录已经复制到vertica集群中的每个节点 /etc/hadoop/conf/ . 我制作了一个外部vertica表,可以使用以下命令从hdfs位置读取:

CREATE EXTERNAL TABLE test (col1 INT, etc...) AS COPY FROM 'hdfs:///user/<path_to_ORC_dir>/*' on any node orc;

但是,当我试图从表中查询时,我得到以下错误

select * from test;

Error opening file [hdfs:///user/<path_to_ORC_dir>/000004_0] for read: Could not find HDFS configurations for [hdfs:///user/<path_to_ORC_dir>/000004_0]

我的orc文件名为0…\u 0,每次查询时,错误中指定的文件都会更改。
当我错误地使用指定的文件创建表时,而不是整个目录,我可以毫无问题地查询表。

CREATE EXTERNAL TABLE test1 (col1 INT, etc...) AS COPY FROM 'hdfs:///user/<path_to_ORC_dir>/000004_0' on any node orc;

select * from test1;
...correct results...

当试图读取整个目录而不是单个文件时,hdfs配置错误的原因是什么?还要注意的是,我可以查询构建在“hdfs:///user//”上的配置单元表,没有任何问题。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题