使用命令“插入覆盖目录”使用配置单元导出数据时如何打印输出文件大小

Posted 2023-02-16

【中文标题】使用命令“插入覆盖目录”使用配置单元导出数据时如何打印输出文件大小

【英文标题】：How to print output file size when use hive export data with command "insert overwrite directory"

【发布时间】：2020-12-04 08:45:05

【问题描述】：

我正在使用beeline通过命令将数据导出到hdfs：

INSERT OVERWRITE  DIRECTORY $export_tmp
  ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe' 
   select * from xxx_table_name;

我想设置回显输出文件大小如1024M。

【参考方案1】：

如果它在最后一个顶点的多个映射器或缩减器上运行，它可以是多个文件。

最简单的方法是在shell中执行

hadoop fs -ls <directory> 

或

hdfs dfs -ls <directory> 

你也可以尝试使用!sh在直线内执行它

!sh hdfs dfs -ls <directory> 

也可以使用在作业结束时打印的计数器，例如 HDFS：写入的字节数（不确定这个数字是否正确）