parquet(2)读写

Posted 2023-03-10

参考技术A 1、大多数情况下，我们会使用高级工具来处理parquet文件，比如hive spark impala,不过有时候我们也需要进行低级顺序访问

2、parquet具有一个可插入式的内存数据模型，其作用是要让parquet文件格式更好地与类型广泛的各种工具集成，在java中，这种集成体现在readSupport 和 WriteSupport上

3、parquet写入

3.1、创建(MessageType)schema

3.2、创建parquet message实例 Group group

3.3、创建Groupwritersupport

3.4、创建parquetWriter

3.5、调用parquetwriter的write方法，最后closewriter

4、parquet读文件，更简单，不需要设置文件属性

4.1、创建groupreadsupport

4.2、创建parquetreader

4.3、调用read方法

5、大多数程序更倾向于使用avro、protocol buffers 或者thrift这样的框架来定义数据模型，parquet则迎合了这些需求

6、如avroparquetwriter protoparquetwriter thriftparquetwriter以及其分别对应的writer

上回话周朝东迁洛阳，此回话春秋时代

周王朝所属的每一个封国，都有自己完整的本国史，但是只有鲁国的留传下来，鲁国史称为“春秋”，所以史学家把公元前722年到公元前481年称为春秋时代。

卫国首先于719年政变，政变失败，接下来鲁国政变，宋国政变

宋国国君子与夷跟他的国防总司令孔父嘉是好朋友，孔父嘉的妻子十分美丽，大臣华督见了，立刻神魂颠倒，但是她的身份高贵，华督不能直接抢夺。那时，子与夷堂弟子冯流亡郑国，华督派人跟他联络，恰好孔父嘉积极训练军队准备出猎，华督散步谣言，“孔父嘉每次都被郑国打败”，煽动士兵，士兵祈求华督伸手援救，华督就率领他们攻杀孔父嘉，顺便把子与夷也杀了，子冯到了国君位置，华督得到了孔父嘉的妻子。

因为妻子过于漂亮引来杀身之祸的，孔父嘉是历史上第一人，但是因为美女而引起政权转移，王朝瓦解国家覆灭的却在以后经常出现。