Spark:读取hdfs gz压缩包

Posted 2020-08-20 yy

spark 1.5.1是支持直接读取gz格式的压缩包的，和普通文件没有什么区别：

使用spark-shell进入spark shell 交互界面：

输入命令：

sc.textFile("\huawei\mr\20161120\880873\*.gz").foreach(println)

回车后是可以看到该目下很多个gz压缩包文件都被打印出来了。

 

 

参考文章：

http://blog.csdn.net/xuyaoqiaoyaoge/article/details/52943606