Parquet + Spark SQL

Posted Uncle Nucky

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Parquet + Spark SQL相关的知识,希望对你有一定的参考价值。

海量数据存储 推荐用 Parquet列式存储 替代 HDFS上的文件

下面两篇文章讲解 用Parquet列式存储来存储数据,主要是提高查询性能、和存储压缩

《Spark SQL下的Parquet使用最佳实践和代码实战》http://blog.csdn.net/sundujing/article/details/51438306
《操作技巧:将 Spark 中的文本转换为 Parquet 以提升性能》http://www.ibm.com/developerworks/cn/analytics/blog/ba-parquet-for-spark-sql/index.html

离线:Kafka -> HDFS -> Parquet -> Spark SQL
实时:Kafka -> Spark Streaming -> Parquet -> Spark SQL(ML、Graphx等)

 



以上是关于Parquet + Spark SQL的主要内容,如果未能解决你的问题,请参考以下文章

Spark 中关于Parquet的应用与性能初步测试

Spark + Parquet + Snappy:spark shuffle 数据后整体压缩率下降

Parquet + Spark SQL

如何并行化 spark.read.parquet()?

尝试在 Spark 中读取 Parquet 时出错

Spark 数据帧 CSV 与 Parquet