Spark读取Mysql,Redis,Hbase数据
Posted 知晓的老巢
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spark读取Mysql,Redis,Hbase数据相关的知识,希望对你有一定的参考价值。
1、读取mysql数据
object JdbcRddDemo { def getConn() = { Class.forName("com.mysql.jdbc.Driver").newInstance() DriverManager.getConnection("jdbc:mysql://hadoop000:3306/hive", "root", "root") } def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setAppName("jdbcRdd").setMaster("local[*]") val sc = new SparkContext(sparkConf) val jdbcRDD = new JdbcRDD( sc, getConn, "select * from TBLS where TBL_ID >= ? and TBL_ID <= ?", 1, 10, 2, rs => { val id = rs.getInt(1) val name = rs.getString(2) val age = rs.getInt(3) (id,name,age) } ) jdbcRDD.collect().toBuffer } }
以上是关于Spark读取Mysql,Redis,Hbase数据的主要内容,如果未能解决你的问题,请参考以下文章
Spark 读取 Hbase 优化 --手动划分 region 提高并行数
Spark如何写入HBase/Redis/MySQL/Kafka
Spark 读取 Hbase 优化 --手动划分 region 提升并行数