Spark : Spark入门
Posted wbyixx
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Spark : Spark入门相关的知识，希望对你有一定的参考价值。
Spark拥有hadoop mapreduce所具有的优点，但输出结果可以保存在内存中，从而不需要读写hdfs
spark负责数据的计算，用来替代mapreduce编程模型，不能替代hdfs等存储系统
spark的特点：
- 运算速度快，内存中计算可达hadoop的100倍，硬盘中也能快10倍
- 易于使用，可以使用java，scala，python等进行编程
- 通用，SQL，streaming实时计算，MLib机器学习，graphX图计算
- 可以运行在各种平台上
BatchProcessing：批处理
Stream Processing：流式处理
Ad-hoc Queries：即席查询
快不仅是因为基于内存，还有DAG
- Lineage：血统
- 每个看做一个RDD，即RDD之间的依赖关系形成的链
以上是关于Spark : Spark入门的主要内容，如果未能解决你的问题，请参考以下文章