大数据组件

Posted 2021-11-28 fanshudada

一.大数据组件分类:

1.计算类: hadoop,spark,flink,hive

2.传输类:kafka,flume,redis

3.存储类:hbase,mongodb,Cassandra

4.调度类:zookeeper 5.配置类:mesos,yarn

二.流行的框架SMACK

Spark Mesos Akka Cassandra Kafka

三.Apache

Zookeeper 分布式调度

Spark 计算

Kafka 中心化传输整合数据,面向服务

Cassandra 线性增加容量,节省资源,consistency可调节

Mesos 分布式任务调度系统,智能调度硬件资源

四.大数据大数据对框架和工具的要求:

高可用性,高性能,高可扩展性

五.常见大数据架构包括:

数据注入层(webserver等)

数据存储层

数据处理层

六.大数据技术人员两个大方向

做大规模高并发的线上服务

做大数据分析

七.大数据指的是规模超过现有数据库工具获取、存储、管理和分析能力的数据集，并同时强调并不是超过某个特定数量级的数据集才是大数据

八.国际数据公司（IDC）用四个维度的特征来定义大数据，即数据集的规模（Volume）、数据流动的速度（Velocity）、数据类型的多少（Variety）和数据价值的大小（Value）