Spark SQL 编程

Posted 百里登风

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spark SQL 编程相关的知识,希望对你有一定的参考价值。

Spark SQL的依赖

 

Spark SQL的入口:SQLContext

 

官方网站参考 https://spark.apache.org/docs/1.6.2/sql-programming-guide.html#starting-point-sqlcontext

 

 

针对几种不同的语言来写。

 

Spark SQL的入口:HiveContext

 

 

SQLContext vs HiveContext

 

Spark SQL的作用与使用方式

 

 

Spark SQL支持的API

 

从程序中使用SparkSQL的基本套路

 

DataFrame--推荐使用

 

 

为什么要用DataFrame

 

 

SparkSQL数据源:从各种数据源创建DataFrame

 

 

SparkSQL数据源:RDD

 

 

SparkSQL数据源:Hive

 

 

 

 sparkSQL数据源:Hive读写

 

 

 

 SparkSQL数据源:访问不同版本的metastore

 

 

SparkSQL数据源:Parquet

 

 

SparkSQL数据源:Parquet -- Partition Discovery

 

 

SparkSQL数据源:Json

 

 

SparkSQL数据源:JDBC

 

DataFrame上的各种操作

 

以上是关于Spark SQL 编程的主要内容,如果未能解决你的问题,请参考以下文章

Spark SQL怎么创建编程创建DataFrame

第五周周二练习:实验 5 Spark SQL 编程初级实践

Spark SQL 编程

Spark SQL编程指南(Python)

DataFrame编程模型初谈与Spark SQL

Spark学习记录:Spark SQL编程