如何确定配置单元的数据库大小 Bash 或来自 Hive CLI ? hdfs 以及 hadoop 命令在中也可用 Bash .
Bash
Hive CLI
hdfs
hadoop
plicqrtu1#
配置单元中的数据库是元数据存储—这意味着它保存有关表的信息并具有默认位置。数据库中的表也可以存储在 hdfs 如果 location 在创建表时指定。可以使用查看数据库中的所有表 show tables 命令输入 Hive CLI .然后,对于每个表,您可以在 hdfs 使用 describe formatted <table name> (再次在 Hive CLI ).最后,对于每个表,您可以使用 hdfs dfs -du -s -h /table/location/ 我认为没有一个命令可以测量数据库中所有表的大小之和。但是,编写一个自动化上述步骤的脚本应该相当容易。配置单元也可以从 bash CLI 使用: hive -e '<hive command>'
location
show tables
describe formatted <table name>
hdfs dfs -du -s -h /table/location/
bash CLI
hive -e '<hive command>'
oiopk7p52#
如果你想知道整个数据库的大小,在你的“仓库”上运行这个
hdfs dfs -du -h /apps/hive/warehouse
这将为您提供仓库中每个数据库的大小如果需要特定数据库运行中表的大小:
hdfs dfs -du -h /apps/hive/warehouse/<db_name>
在hive-site.xml上运行“grep仓库”以找到仓库路径
eaf3rand3#
在hdfs上显示配置单元数据库
sudo hadoop fs -ls /apps/hive/warehouse
显示配置单元数据库大小
sudo hadoop fs -du -s -h /apps/hive/warehouse/{db_name}
3条答案
按热度按时间plicqrtu1#
配置单元中的数据库是元数据存储—这意味着它保存有关表的信息并具有默认位置。数据库中的表也可以存储在
hdfs
如果location
在创建表时指定。可以使用查看数据库中的所有表
show tables
命令输入Hive CLI
.然后,对于每个表,您可以在
hdfs
使用describe formatted <table name>
(再次在Hive CLI
).最后,对于每个表,您可以使用
hdfs dfs -du -s -h /table/location/
我认为没有一个命令可以测量数据库中所有表的大小之和。但是,编写一个自动化上述步骤的脚本应该相当容易。配置单元也可以从bash CLI
使用:hive -e '<hive command>'
oiopk7p52#
如果你想知道整个数据库的大小,在你的“仓库”上运行这个
这将为您提供仓库中每个数据库的大小
如果需要特定数据库运行中表的大小:
在hive-site.xml上运行“grep仓库”以找到仓库路径
eaf3rand3#
在hdfs上显示配置单元数据库
显示配置单元数据库大小