hadoop相关

Posted 2021-12-02 mrray

hadoop相关子系统：

• Apache Hadoop是Apache的一个分布式计算开源框架，提供了一个分布式文件系统子项目（HDFS）和支持MapReduce分布式计算的软件架构

• 那什么是MapReduce呢？
  举例来说，统计一系列的文档中的词汇。文档数量规模很大，有1000万个文档，英文单词的总数可能只有3000。那么input M=10000000，output N=3000.于是我们搞了10000个PC做Mapper，100个PC做Reducer。
  每个Mapper做1000个文档的词频统计，统计之后把凡是和同一个Word相关的统计中间结构传给同一个Reducer做汇总，这10000个MapperPC把各自处理后和词表中前30个词汇相关的中间结果都传给这个Reducer做最终的处理分析。
  其实MapReduce讲的就是分而治之的程序处理概念，把一个复杂的任务划分为若干个简单的任务分别来做。另外，就是程序的调度问题，哪些任务给哪些Mapper来处理是一个着重考虑的问题，MapReduce的根本原则是信息处理的本地化，哪台PC持有相应要处理的数据，哪台PC就负责该部分的数据，这样做的意义在于可以减少网络通讯负担。

• Apache Hive （昨天讲的Hive Over Hbase）基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

• Apache Hbase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用Hbase技术可以在廉价PC Server上搭建起大规模结构化存储集群。缺点是不能用SQL查询，必须使用Hive Over Hbase转成Hive表才能使用SQL
• Apache Ambari（昨天演示的界面） 是一种基于Web的工具，支持Hadoop集群的供应、管理和监控
• Apache Zookeeper 是一个为分布式应用所涉及的分布的、开源的协调服务，它主要是用来结果分布式应用中经常遇到的一些数据管理问题，简化分布式应用协调及其管理的难度，提供高性能的分布式服务
• Apache Sqoop 是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（mysql，Oracle，Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中

 

 

Apache Hive相关：

Apache Hive文档资料：	https://www.yiibai.com/hive/hive_installation.html