基于spark2.0整合spark-sql + mysql + parquet + HDFS
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了基于spark2.0整合spark-sql + mysql + parquet + HDFS相关的知识,希望对你有一定的参考价值。
一、概述 spark 2.0做出的改变大家可以参考官网以及其他资料,这里不再赘述由于spark1.x的sqlContext在spark2.0中被整合到sparkSession,故而利用spark-shell客户端操作会有些许不同,具体如下文所述
二、spark额外配置
1. 正常配置不再赘述,这里如果需要读取mysql数据,则需要在当前用户下的环境变量里额外加上JDBC的驱动jar包 例如我的是:mysql-connector-java-5.1.18-bin.jar 存放路径是$SPARK_HOME/jars 所以需要额外配置环境变量
export PATH = $PATH:$SPARK_HOME/jars
2. 启动spark-shell
bin/spark-shell --master=spark://h4:7077 --driver-class-path=./jars/mysql-connector-java-5.1.18-bin.jar --jars=./jars/mysql-connector-java-5.1.18-bin.jar
3. spark-sql采用sql方式执行操作正常启动之后可以先通过spark-sql建立数据库并切换到当前新建的数据库
spark.sql("create database spark")
可以查看下是否新建成功
spark.sql("show databases ").show
创建成功之后切换数据库
spark.sql("use spark")
现在开始读取远程MySQL数据
val sql = """CREATE TABLE student USING org.apache.spark.sql.jdbc OPTIONS ( url "jdbc:mysql://worker2:3306/spark", dbtable "student", user "root", password "root" )"""
执行:
spark.sql(sql);
等待执行完毕之后,将表数据存入缓存
spark.sql("cache table student")
此时即可进行操作,例如:val studentDF = spark.sql("select id,name from student")
完成需求查询之后,可将结果以parquet的格式保存到HDFS
studentDF.write.parquet("hdfs://h4:9000/test/spark/parquet")
也可以写成json格式
studentDF.write.json("hdfs://h4:9000/test/spark/json")
三、拓展
集群状态下,硬件配置32G内存 2T硬盘,spark配了4核,内存分配了20G的情况下,测试速度如下: 2700万条记录的表导入spark用时1秒以内 sparksql将其以json格式存入HDFS用时288秒,共1.0G,将其以parquet格式存入HDFS用时207秒,共86.6M,可见parquet的优势还是比较明显
以上是关于基于spark2.0整合spark-sql + mysql + parquet + HDFS的主要内容,如果未能解决你的问题,请参考以下文章
presto,dremio,spark-sql与ranger的整合记录