大数据技术原理与应用----大数据概述
Posted wake D
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了大数据技术原理与应用----大数据概述相关的知识，希望对你有一定的参考价值。
一、发展背景
1、大数据时代
（1）时代背景
大数据、物联网、云计算促成的第三次信息化浪潮。
（2）技术支撑
①存储（存储设备容量不断增加）；
②计算（CPU处理能力大幅提升）；
③网络（网络带宽不断增加）；
（3）大数据发展历程
二、大数据的概念和影响
1、大数据的经典特征
（1）4V
①数据量大；
②数据类型繁多；
③处理速度快；
④价值密度低；
2、大数据理论基础
（1）常用存储单位的换算关系
（2） 科学研究的四种范式
①第一种范式：实验科学；
②第二种范式：理论科学；
③第三种范式：计算科学；
④第四种范式：数据密集型科学；
（3）大数据对思维方式的影响
①全样而非抽样；
②效率而非精确；
③相关而非因果；
（4）大数据的应用
基本上各个行业都融入了大数据。
三、大数据技术及其原理概述
1、大数据关键技术
（1）大数据技术层面及其应用
（2）数据存储管理和数据处理与分析的两大核心技术
①分布式存储（解决海量数据存储问题，集群分布式处理）；
②分布式处理（解决海量数据的处理问题，集群分布式处理）；
2、大数据计算模式
（1）技术代表以及模式简述
大数据技术以谷歌公司技术为代表：
（2）批处理计算
MapReduce是批处理计算模式的典型代表，Spark也是批处理但是它解决了MapReduce的缺点，实时性更好，同时它也可以做迭代计算。
（3）流计算
流数据需要实时处理，给出实时响应，否则分析结果就会失去商业价值。
（4）大数据计算模式概述图
3、云计算
（1）云计算解决的两大核心问题
①分布式存储；
②分布式处理；
（2）云计算的优势
企业不需要自建IT基础设施，可以直接租用云端资源。
（3）云计算的三种模式
①公有云（面向全部用户）；
②私有云（面向企业内部）；
③混合云（部分自己用，部分外界用）；
模式图：
（4）云服务的三种类型
①SaaS（面向用户）；
②PaaS（面向应用开发者）；
③IaaS（面向网络架构师）；
类型图：
（5）云计算的关键技术
①虚拟化；
②分布式存储；
③分布式计算；
④多租户；
4、物联网
（1）物联网的概念定义
物物相连，互联网的延伸：
以上是关于大数据技术原理与应用----大数据概述的主要内容，如果未能解决你的问题，请参考以下文章