了解大数据

Posted 2023-01-02 彼得潘多

第一天：大数据学习

• 一.什么是大数据
• • 二.大数据特点
  • • 三.大数据计算模式

一.什么是大数据

1.大数据是指无法在容许的时间内用常规软件工具对其内容进行抓取，管理和处理的 数据。

二.大数据特点

1.数据量大(Volume),数据类型繁多(Variety),处理速度快(Velocity).价值密度低(Value)。
2.大数据时代对思维方式的重要影响是三种思维的转变：全样而非抽样，效率而非精确，相关而非因果。
3.批处理计算，流计算，图计算，查询分析计算。

三.大数据计算模式

（1）、批处理计算：批处理计算主要解决针对大规模数据的批量处理，也就是我们日常数据分析工作中非常常见的一类数据处理需求。
（2）、流计算：流数据是指在时间分布和数量上无限的一系列动态数据集合体，数据的价值随着时间的流逝而降低，因此必须采用实时计算的方式给出秒级响应。流计算可以实时处理来自不同数据源的、连续到达的流数据，经过实时分析处理，给出有价值的分析结果。
（3）、图计算：在大数据时代，许多大数据都是以大规模图或网络的形式呈现的，如社交网络、传染病传播途径、交通事故对路网的影响等，此外，许多非图结构的大数据也常常会被转换为图模型后再进行处理分析。
（4）、查询分析：针对超大规模数据的存储管理和查询分析，需要提供实时或准实时的响应，才能更好地满足企业经营管理需求。