大数据的特征
Posted 火丶日月明
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了大数据的特征相关的知识，希望对你有一定的参考价值。
一、大数据特征
1. 数据体量巨大
2. 数据类型多样（文本，图像，视频，音频）
3. 价值密度低，商业价值高
4.速度要求快，数据输出输入的速度
二、大数据之核心
1.数据的存储
2. 数据的计算（处理）
三、Hadoop
1. Apache开源软件基金会开发的
2. 运行于大规模普通服务器上的
3. 大数据存储、计算、分析
4. 分布式存储系统和分布式运算框架
Hadoop2.0由三部分组成
1. 分布式文件系统HDFS
2. 资源分配系统yarn
3. 分布式运算框架MapReduce
四、Hadoop分布式架构
1. Master/Slave
2.Mater节点
NameNode NN
SecondaryNameNode SNN
ResourceManager rm
3. Slave节点
DodeManager NM
DataNode DN
五、MapReduce 计算框架
1. 将计算移动到数据
硬盘存储成本不断降低
传输速率提升不大
磁头定位时间无提升
2. MapReduce的特性
自动实现分布式并行计算
容错
提供状态监控工具
模型抽象简洁，程序员易用
六、MapReduce函数式编程
Map
映射和分发
Reduce
汇聚和聚合
以上是关于大数据的特征的主要内容，如果未能解决你的问题，请参考以下文章