Parquet模式写入分区错误修改

Posted 2020-12-16 chhyan-dream

一、概述

  将数据以parquet模式写入到hive的分区表中时，底层源码有个错误，在进行分割字段判断时，没有引用已传入字符，多了一个“=”；该错误在hive的client中也会碰到

错误原因是底层分割符引用错误，

 

 

 

 

 

  二、解决方法

  从https://github.com/apache/parquet-mr/tree/apache-parquet-1.11.0中下载源码，将该缺陷修改掉并重新编译，然后将jar替换为修复后的，问题解决。