hive 查询表数据量大小

Posted 2020-12-07 foolaround

为什么要查询表数据量

在做数据仓库管理时，数据导入hive或向表生成数据后形成的数据资产，表里的数据量和占用存储空间是总要的元数据属性。为方便数据使用时对数据有基本的了解，需要对表的数据量做统计。

使用 analyze table 主动生成元数据信息

analyze table  tableName   [partition(partCol[=‘value‘])] compute statistics;

分区表必须添加partition字段才能执行，执行

使用desc extended tableName 方法

desc extended databaseName.tableName;

使用可以查看非分区表

parameters:{totalSize=126532790, 
rawDataSize=125773613, 
numRows=759177, 
COLUMN_STATS_ACCURATE={"BASIC_STATS":"true"}, 
numFiles=6, 
transient_lastDdlTime=1590736183, 
comment=单位基本信息},

使用 show create table tableName 查看

show create table tableName;

......
TBLPROPERTIES (
  ‘COLUMN_STATS_ACCURATE‘=‘{"BASIC_STATS":"true"}‘,
  ‘numFiles‘=‘6‘,
  ‘numRows‘=‘759177‘,
  ‘rawDataSize‘=‘125773613‘,
  ‘totalSize‘=‘126532790‘,
  ‘transient_lastDdlTime‘=‘1590736183‘)

使用 show create table 也只能查看非分区表.
‘‘‘
show tblproperties tableName("rawDataSize")
可以查看单个属性
‘‘‘

使用 explain select * from tableName

hive> explain select * from  tableName;
OK
STAGE DEPENDENCIES:
  Stage-0 is a root stage

STAGE PLANS:
  Stage: Stage-0
    Fetch Operator
      limit: -1
      Processor Tree:
        TableScan
          alias: ab01
          Statistics: Num rows: 759177 Data size: 125773613 Basic stats: COMPLETE Column stats: NONE
          Select Operator

使用explain可以查看分区表和非分区表，但后面带上where条件后结果将不准确或错误。

查hive元数据库

查询元数据需要连接postgres hive库。
通过databaseName和tableName查询表tbl_id
DBS　　　　 -- 存储Hive中所有数据库的基本信息
TBLS　　　　 -- 存储Hive表、视图、索引表的基本信息
使用tbl_id 查询table_params 数据

使用shell 命令查看表存储文件大小

-- 单位b
hadoop fs -ls  /user/hive/warehouse/table_name | awk -F ‘ ‘ ‘{print $5}‘|awk ‘{a+=$1}END {print a}‘
--#查看分区表的容量 单位GB

$ hadoop fs -ls  /user/hive/warehouse/table_name/yyyymm=202005 | awk -F ‘ ‘ ‘{print $5}‘|awk ‘{a+=$1}END {print a/(1024*1024*1024)}‘
-- 自动转换单位
hadoop fs -du /user/hive/warehouse/table_name/ | awk ‘{ sum=$1 ;dir2=$2 ; hum[1024**3]="Gb";hum[1024**2]="Mb";hum[1024]="Kb"; for (x=1024**3; x>=1024; x/=1024){ if (sum>=x) { printf "%.2f %s 	 %s
",sum/x,hum[x],dir2;break } }}‘