大数据概念及Hadoop介绍

Posted 识途老码

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据概念及Hadoop介绍相关的知识,希望对你有一定的参考价值。

大数据概念及Hadoop介绍

大数据概念

什么是数据?
数据的产生


数据存储单位


大数据定义


大数据的特点(5V特征)


大数据部门组织架构


分布式技术


负载均衡


故障转移


伸缩性


分布式技术总结


分布式和集群的区别

分布式是多台机器,每台机器上部署不同的组件, 不同机器和组件相互配合。相当于把一个整体拆碎分布在不同的机器上。

集群也是多台机器,每台机器上的组件和功能是一样的,一个任务所有机器一起参与工作。


Hadoop介绍


Hadoop核心组件

  • Hadoop HDFS(分布式存储系统): 解决海量数据存储
  • Hadoop YARN(集群资源管理和任务调度框架): 解决资源任务调度
  • Hadoop MapReduce(分布式计算框架): 解决海量数据计算


Hadoop发展简史




Hadoop特性优点与行业应用


Hadoop特性优点


行业应用








Hadoop发行版本及架构变迁


Hadoop发行版本



Hadoop架构变迁


以上是关于大数据概念及Hadoop介绍的主要内容,如果未能解决你的问题,请参考以下文章

1Hive数据仓库——概念及架构

大数据

Hadoop(一) HDFS概念及原理总结

大数据Flink学习系列文章(快学)---02 Flink基本概念及架构

数据湖:Iceberg概念及回顾什么是数据湖

2021年大数据Hadoop:Hadoop发展简史和特性优点