hcatalog/hive表创建不会将数据导入hadoop集群中的/app/hive/warehouse文件夹

kyks70gy  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(374)

我在amazonec2中设置的hadoop集群(hdp2.2)中遇到了一个非常奇怪的问题(3个数据节点+一个名称节点+一个辅助名称节点)。配置单元服务器在主名称节点上运行,而配置单元服务器在次名称节点上运行。我使用HueWeb界面在hcatalog中创建表“mytable”,使用加载到hdfs中的csv文件。表创建成功返回,没有错误。该表已创建并显示在web界面中。但是,当我试图查询该表时,它返回了0条记录。我转到/app/hive/warehouse文件夹,可以看到表文件夹“mytable”已创建,但csv文件从未复制到该文件夹中。我用Hive壳复制了同样的行为。
如果我在hdp沙盒vm中执行相同的操作,那么一切都会正常工作。创建表之后,/app/hive/warehouse/mytable文件夹包含我导入到表中的csv文件。
非常感谢您的帮助。

qvtsj1bj

qvtsj1bj1#

我解决了这个问题。我意识到集群中运行配置单元服务器的服务器物理内存不足。在框中释放一些内存后,hcatalog表创建操作按预期工作。

相关问题