大数据原理与应用笔记

Posted 2021-09-09 pokefade

大数据、物联网，云计算共同构建了数据信息时代。

大数据的4个特性：大量化，多样化，快速化，价值密度低。

大数据技术的4个层次：数据采集，数据存储与管理，数据处理与分析，数据隐私与安全。

大数据的两大核心技术：分布式存储，分布式处理。

大数据典型的4个计算模式：批处理计算，流计算，图计算，查询分析计算。
批处理计算主要是针对大规模数据做批量处理，代表的技术产品有mapreduce、spark；
流计算是针对流数据的实时计算，代表的技术产品有storm、s4、flume等；
图计算是针对大规模图结构数据的处理，主要代表技术产品有：pregel、graphx等；
查询分析计算是针对大规模数据的存储管理和查询分析，主要代表技术产品有：hive、dremel、cassandra、impala;