《OD学spark》20160925 Spark Core
Posted 沙漏哟
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了《OD学spark》20160925 Spark Core相关的知识，希望对你有一定的参考价值。
一、引言
Spark内存计算框架
中国Spark技术峰会
十二场演讲
大数据改变世界，Spark改变大数据
大数据：
以Hadoop 2.x为主的生态系统框架（MapReduce并行计算框架）
存储数据、处理数据
分布式
Spark：
类似于MapReduce的另外一种分布式计算框架
核心：
数据结构：RDD，集合List[T]
MapReduce
最大的痛点：
IO性能瓶颈，也是所有分布式计算框架的痛点
（1）磁盘IO，
input(disk) -> map -> DISK(local)->reduce->output(DISK)
（2）网络IO，
shuffle
2015年Spark Submit
阿里巴巴和databricks
全球，每天使用Spark处理数据最大的公司
数据量： 1PB = 1024TB
腾讯：集群规模 8000台
Spark：内存计算框架
为什么要将中间结果存储到磁盘中呢？要进行写呢？我放入内存不行吗？
input(disk) -> flatMap -> memory->map->memory->groupByKey->memory->map->output(DISK)
分析：
（1）将中间处理的数据，存储在内存中
（2）提供很多的Operation，上百种
list.map(_ * 2).filter(_ % 5 == 1).map(_ + 100)
对于迭代计算、机器学习
Scala->Java->JVM
作业：
假期期间，MapReduce Shuffle过程，好好再理解
Spark处理分析数据：
（1）读取输入数据
Core： Rdd
SQL: DataFrame
Streaming：DStream
（2）process data
Core： rdd#xxx
SQL: df#xxx
Streaming：dstream#xxx
里面的方法基本上95%以上都是高阶函数，依据你自己的需求，定义操作
（3）ouputdata
resultRdd.saveAsTextFile("")
resultDF.write.jdbc.(url, tableName, props)
resultDStream.foreach(Redis\HBase\RDBMS)
以上是关于《OD学spark》20160925 Spark Core的主要内容，如果未能解决你的问题，请参考以下文章