DataFrame编程模型初谈与Spark SQL

Posted 大数据和人工智能躺过的坑

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了DataFrame编程模型初谈与Spark SQL相关的知识,希望对你有一定的参考价值。

 

  Spark SQL在Spark内核基础上提供了对结构化数据的处理,在Spark1.3版本中,Spark SQL不仅可以作为分布式的SQL查询引擎,还引入了新的DataFrame编程模型。

  在Spark1.3版本中,Spark SQL不再是Alpha版本,除了提供更好的SQL标准兼容之外,还引进了新的组件DataFrame。同时,Spark SQL数据源API也实现了与新组件DataFrame的交互,允许用户直接通过Hive表、Parquet文件以及一些其他数据源生成DataFrame。用户可以在同一个数据集上混合使用SQL和DataFrame操作符。新版本还提供了从JDBC读写表的能力,可以更原生地支持Postgres、mysql及其他RDBMS系统。

  Spark SQL所有功能的入口点是SQLContext,或它的一个子类。只需要一个SparkContext实例就可以构建一个基本的SQLContext。

package cn.spark.study.sql

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.sql.SQLContext

/**
* @author Administrator
*/
object DataFrameCreate {

def main(args: Array[String]) {
val conf = new SparkConf()
.setAppName("DataFrameCreate")
.setMaster("local");
val sc = new SparkContext(conf)
val sqlContext = new SQLContext(sc)

// val df = sqlContext.read.json("hdfs://spark1:9000/students.json")//从hdfs

// val df = sqlContext.read.json("./data/people.json")
val df = sqlContext.read.json("./data/aa.json")
//Spark DataFrame小试牛刀,见https://segmentfault.com/a/1190000002614456
//Spark DataFrames入门指南:创建和操作DataFrame,见http://blog.csdn.net/lw_ghy/article/details/51480358
//创建dataframe ,就是把数据 和数据元封装一起 形成一个数据表。
//spark DataFrame用法,见http://blog.csdn.net/dreamer2020/article/details/51284789
//RDD与DataFrame的转换,见http://www.cnblogs.com/namhwik/p/5967910.html

df.show()

}

}

 

//输入
//{"name":"Michael"}
//{"name":"Andy", "age":30}
//{"name":"Justin", "age":19}


//输出
//+----+-------+
//| age| name|
//+----+-------+
//|null|Michael|
//| 30| Andy|
//| 19| Justin|
//+----+-------+

 

 


//输入
//{"name":"中国","provinces":[{"name":"黑龙江","citys":["佳木斯","大庆","哈尔滨","齐齐哈尔","牡丹江"]},{"name":"辽宁","citys":["沈阳","大连","盘锦"]},{"name":"吉林","citys":["吉林市","长春市","四平市"]}]}


//输出
//+----+--------------------+
//|name| provinces|
//+----+--------------------+
//| 中国|[[WrappedArray(佳木...|
//+----+--------------------+

 

 

 

  再次强调,spark-shell除了帮我们构建了SQLContext实例外,还帮我们导入了隐式转换:import sqlContext.implicits._。在以spark-submit方式提交的应用程序中,需要手动导入该隐式转换才能访问某些API。

 

  DataFrame编程模型极大地简化了Spark SQL的编程复杂度。

  Spark SQL允许Spark执行用SQL语言,HiveQL语言或者Scala语言表示的关系查询。在Spark1.3之前,这个模块的核心是SchemaRDD类型。SchemaRDD由行(Row)对象组成,行对象通过scheme来描述行中每一列的数据类型。

  而在Spark1.3中,开始引入了DataFrame来重命名SchemaRDD类型,在Spark1.3中,DataFrame是一个以命名列方式组织的分布式数据集,在概念上类似于关系型数据库中的一个表,也相当于R/Python中的Dta Frames。DataFrame可以由结构化数据文件转换得到,或从Hive中的表得来,也可以转换自外部数据库或现有的RDD

 

 

 

 

  DataFrame编程模型具有的功能特性有:

  1、从KB到PB级的数据量支持

  2、多种数据格式和多种存储系统支持

  3、通过Spark SQL的Catalyst优化器进行先进的优化,生成代码

  4、位Python、Java、Scala和R语言(Spark R)提供API。

以上是关于DataFrame编程模型初谈与Spark SQL的主要内容,如果未能解决你的问题,请参考以下文章

Spark SQL

spark-sql的概述以及编程模型的介绍

Spark编程--Spark SQL DataFrame

Spark SQL实战(04)-API编程之DataFrame

4.2 Spark SQL DataFrame 编程操作大全 (超详细)

Spark SQL怎么创建编程创建DataFrame