我正在使用Vertica7.2,并试图访问hdfs中的orc数据。hdfs中的目录位置是 '/user/<path_to_ORC_dir>/'
所有的orc文件都位于以orc格式存储的配置单元表之下。
vertica中的hadoopconfdir参数已设置为 /etc/hadoop/conf
. 单独hadoop集群中的hadoop conf目录已经复制到vertica集群中的每个节点 /etc/hadoop/conf/
. 我制作了一个外部vertica表,可以使用以下命令从hdfs位置读取:
CREATE EXTERNAL TABLE test (col1 INT, etc...) AS COPY FROM 'hdfs:///user/<path_to_ORC_dir>/*' on any node orc;
但是,当我试图从表中查询时,我得到以下错误
select * from test;
Error opening file [hdfs:///user/<path_to_ORC_dir>/000004_0] for read: Could not find HDFS configurations for [hdfs:///user/<path_to_ORC_dir>/000004_0]
我的orc文件名为0…\u 0,每次查询时,错误中指定的文件都会更改。
当我错误地使用指定的文件创建表时,而不是整个目录,我可以毫无问题地查询表。
CREATE EXTERNAL TABLE test1 (col1 INT, etc...) AS COPY FROM 'hdfs:///user/<path_to_ORC_dir>/000004_0' on any node orc;
select * from test1;
...correct results...
当试图读取整个目录而不是单个文件时,hdfs配置错误的原因是什么?还要注意的是,我可以查询构建在“hdfs:///user//”上的配置单元表,没有任何问题。
暂无答案!
目前还没有任何答案,快来回答吧!