SparkSQL JDBC和JDBCServer区别

Posted 2021-01-28 mxgboy

注意SparkSQL JDBC和SparkSQL JDBCSever是完全两种不同的场景。

SparkSQL JDBC

SparkSQL可以使用JDBC的方式访问其他数据库，和普通非spark程序访问jdbc的方式相同。只是Spark中访问jdbc提供了接口能够将得到的数据转化成DataFrame。而操作数据库的过程和Spark没什么关系。这个功能优先于使用JDBCRDD。因为它返回一个DataFrame，而DataFrame在SparkSQL中具有更加丰富的API，操作更加简单，由于其具有结构化schema，所以更容易个来自其他的半结构化和结构化数据源的数据进行交互关联。

val jdbcDF = sqlContext.read.format("jdbc").options( Map("url" -> "jdbc:postgresql:dbserver", "dbtable" -> "schema.tablename")).load() 

SparkSQL JDBCServer

SparkSQL JDBCServer是Spark提供的一个独立运行的driver，用于在其他应用中执行SparkSQL查询。例如其他的非Spark应用，可能处于数据共享的原因，需要在一个Spark集群上面执行一个SQL操作，它本身和Spark没有什么关系，也不需要安装Spark运行环境，只是通过Spark提供的JDBC接口（不同于上面说的接口）将SQL命令下发到SparkSQL，后续的工作就是JDBCServer的事情了。