Apache Hadoop

Posted 2021-03-01 小鹏_戛然而止

 阿帕奇Hadoop

Apache™Hadoop®项目开发了用于可靠，可扩展的分布式计算的开源软件。

Apache Hadoop软件库是一个框架，该框架允许使用简单的编程模型跨计算机集群对大型数据集进行分布式处理。它旨在从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储。该库本身不依赖于硬件来提供高可用性，而是被设计用来检测和处理应用程序层的故障，因此可以在计算机集群的顶部提供高可用性服务，每台计算机都容易出现故障。

模组

该项目包括以下模块：

• Hadoop Common：支持其他Hadoop模块的通用实用程序。
• Hadoop分布式文件系统（HDFS™）：一种分布式文件系统，可提供对应用程序数据的高吞吐量访问。
• Hadoop YARN：用于作业调度和群集资源管理的框架。
• Hadoop MapReduce：基于YARN的系统，用于并行处理大数据集。
• Hadoop Ozone： Hadoop的对象存储。

相关项目

Apache的其他与Hadoop相关的项目包括：

• Ambari™：基于Web的工具，用于供应，管理和监视Apache Hadoop集群，其中包括对Hadoop HDFS，Hadoop MapReduce，Hive，HCatalog，HBase，ZooKeeper，Oozie，Pig和Sqoop的支持。Ambari还提供了一个仪表板，用于查看集群健康状况（例如热图）以及以可视方式查看MapReduce，Pig和Hive应用程序的功能，以及以用户友好的方式诊断其性能特征的功能。
• Avro™：数据序列化系统。
• Cassandra™：可扩展的多主数据库，没有单点故障。
• Chukwa™：一种用于管理大型分布式系统的数据收集系统。
• HBase™：可扩展的分布式数据库，支持大型表的结构化数据存储。
• Hive™：一种数据仓库基础结构，可提供数据汇总和即席查询。
• Mahout™：可扩展的机器学习和数据挖掘库。
• Pig™：用于并行计算的高级数据流语言和执行框架。
• Spark™：一种用于Hadoop数据的快速通用计算引擎。Spark提供了一种简单而富有表现力的编程模型，该模型支持广泛的应用程序，包括ETL，机器学习，流处理和图形计算。
• Submarine：一个统一的AI平台，允许工程师和数据科学家在分布式集群中运行机器学习和深度学习工作负载。
• Tez™：基于Hadoop YARN的通用数据流编程框架，它提供了强大而灵活的引擎来执行任意DAG任务，以处理批处理和交互用例的数据。Hadoop生态系统中的Hive™，Pig™和其他框架以及其他商业软件（例如ETL工具）都采用了Tez，以取代Hadoop™MapReduce作为基础执行引擎。
• ZooKeeper™：面向分布式应用程序的高性能协调服务。

 

我们建议您下载以下镜像站点：

https://mirrors.gigenet.com/apache/hadoop/common/hadoop-3.1.3/hadoop-3.1.3-src.tar.gz

下面建议其他镜像站点。

必须使用PGP签名（文件）或哈希（或文件）来验证下载文件的完整性。.asc.md5.sha*

请仅使用备用镜像下载KEYS，PGP签名和哈希（SHA *等），或者如果没有其他镜像在工作。

 

HTTP 

http://apache.mirrors.hoobly.com/hadoop/common/hadoop-3.1.3/hadoop-3.1.3-src.tar.gz

http://apache.mirrors.pair.com/hadoop/common/hadoop -3.1.3 / hadoop-3.1.3-src.tar.gz

http://apache.spinellicreations.com/hadoop/common/hadoop-3.1.3/hadoop-3.1.3-src.tar.gz

http：// /mirror.cc.columbia.edu/pub/software/apache/hadoop/common/hadoop-3.1.3/hadoop-3.1.3-src.tar.gz

http://mirror.cogentco.com/pub/apache/ hadoop / common / hadoop-3.1.3 / hadoop-3.1.3-src.tar.gz

http://mirror.metrocast.net/apache/hadoop/common/hadoop-3.1.3/hadoop-3.1.3-src .tar.gz

http://mirrors.advancedhosters.com/apache/hadoop/common/hadoop-3.1.3/hadoop-3.1.3-src.tar.gz

http://mirrors.ibiblio.org/apache/hadoop /common/hadoop-3.1.3/hadoop-3.1.3-src.tar.gz

http://www.gtlib.gatech.edu/pub/apache/hadoop/common/hadoop-3.1.3/hadoop-3.1.3-src.tar.gz

http://www.trieuvan.com/apache/hadoop /common/hadoop-3.1.3/hadoop-3.1.3-src.tar.gz

https://apache.claz.org/hadoop/common/hadoop-3.1.3/hadoop-3.1.3-src.tar。 gz

https://apache.cs.utah.edu/hadoop/common/hadoop-3.1.3/hadoop-3.1.3-src.tar.gz

https://apache.mirrors.lucidnetworks.net/hadoop/common/ hadoop-3.1.3 / hadoop-3.1.3-src.tar.gz

https://apache.osuosl.org/hadoop/common/hadoop-3.1.3/hadoop-3.1.3-src.tar.gz

https： //ftp.wayne.edu/apache/hadoop/common/hadoop-3.1.3/hadoop-3.1.3-src.tar.gz

https://mirror.olnevhost.net/pub/apache/hadoop/common/hadoop -3.1.3 / hadoop-3.1.3-src.tar.gz

https://mirrors.gigenet.com/apache/hadoop/common/hadoop-3.1.3/hadoop-3.1.3-src.tar.gz

https://mirrors.koehn.com/apache/hadoop/common/hadoop-3.1.3/hadoop-3.1.3-src.tar.gz

https://mirrors.ocf.berkeley.edu/apache/hadoop/common /hadoop-3.1.3/hadoop-3.1.3-src.tar.gz

https://mirrors.sonic.net/apache/hadoop/common/hadoop-3.1.3/hadoop-3.1.3-src.tar。 gz

https://us.mirrors.quenda.co/apache/hadoop/common/hadoop-3.1.3/hadoop-3.1.3-src.tar.gz

 

 

FTP 

ftp://apache.cs.utah.edu/apache.org/hadoop/common/hadoop-3.1.3/hadoop-3.1.3-src.tar.gz

ftp://ftp.osuosl.org/pub/apache /hadoop/common/hadoop-3.1.3/hadoop-3.1.3-src.tar.gz

 

备份站点

请仅使用备用镜像下载KEYS，PGP签名和哈希（SHA *等），或者如果没有其他镜像在工作。

https://downloads.apache.org/hadoop/common/hadoop-3.1.3/hadoop-3.1.3-src.tar.gz

也提供镜像站点的完整列表。

成为镜子

如何成为镜像中介绍了设置新镜像的过程。

验证文件的完整性

必须使用PGP签名（.asc文件）或哈希（.md5或.sha*文件）来验证下载文件的完整性。请阅读验证Apache Software Foundation版本，以获取有关为什么您应该验证我们的版本的更多信息。

可以使用PGP或GPG验证PGP签名。首先下载 KEYS以及asc相关分发的签名文件。确保从主分发站点而不是从镜像获取这些文件。然后使用

％gpg-导入密钥
％gpg-验证download_file.asc download_file

要么

％pgpk -a键
％pgpv download_file.asc

要么

％pgp -ka键
％pgp download_file.asc

或者，您可以验证文件上的哈希。

哈希可以使用GPG计算：

％gpg --print-md SHA256已下载文件

应将输出与SHA256文件的内容进行比较。类似地，对于可能提供的其他哈希（SHA512，SHA1，MD5等）。

Windows 7和更高版本的系统现在都应具有certUtil：

％certUtil -hashfile pathToFileToCheck 

哈希算法选项：MD2 MD4 MD5 SHA1 SHA256 SHA384 SHA512

类似于Unix的系统（和macOS）将具有称为md5，md5sum或shasum的实用程序

 

来源于：https://hadoop.apache.org/