我刚刚开始使用基于hadoop的系统，目前正在使用cloudera5.2。我正在尝试将元数据从hdfs/hive中取出，并放入其他一些软件中。当我说元数据时，我的意思是：-对于配置单元：数据库模式和表模式-对于hdfs：hdfs中的目录结构，创建和修改时间，所有者和访问控制有人知道如何将表架构从配置单元导出到表或csv文件中吗？似乎配置单元导出函数不支持只提供模式。我找到了pig descripe函数，但我不知道如何将输出转换成一个类似于表的结构；似乎只能在屏幕上看到。谢谢
mrzz3bfm1#
clouderanavigator可用于管理/导出hdfs和hive中的元数据。navigator元数据服务器定期收集集群的元数据信息，并提供用于检索元数据信息的restapi。更多详情请访问http://www.cloudera.com/content/cloudera/en/documentation/cloudera-navigator/v2-latest/cloudera-navigator-installation-and-user-guide/cnui_metadata_arch.html.我不熟悉hive，但您也可以通过以下方式提取hdfs元数据：正在获取hdfs图像。“hdfs dfsadmin-fetchimage./fsimage“使用offlineimageviewer处理fsimage。“hdfs oiv xml-i./fsimage-o./fsimage.out“有关hdfs oiv的更多信息，请访问https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/hdfsimageviewer.html.
1条答案
按热度按时间mrzz3bfm1#
clouderanavigator可用于管理/导出hdfs和hive中的元数据。navigator元数据服务器定期收集集群的元数据信息，并提供用于检索元数据信息的restapi。更多详情请访问http://www.cloudera.com/content/cloudera/en/documentation/cloudera-navigator/v2-latest/cloudera-navigator-installation-and-user-guide/cnui_metadata_arch.html.
我不熟悉hive，但您也可以通过以下方式提取hdfs元数据：
正在获取hdfs图像。“hdfs dfsadmin-fetchimage./fsimage“
使用offlineimageviewer处理fsimage。“hdfs oiv xml-i./fsimage-o./fsimage.out“
有关hdfs oiv的更多信息，请访问https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/hdfsimageviewer.html.