适合 ubuntu 的 hadoop 框架

Posted 2023-04-18

【中文标题】适合 ubuntu 的 hadoop 框架

【英文标题】：Suitable hadoop framework for ubuntu

【发布时间】：2016-02-08 13:01:54

【问题描述】：

我想开始使用 Hadoop 和 BigData。我需要一个简单的图形界面来启动。我尝试了 Hue，但无法对其进行配置。

请帮我选择适合我的 Hadoop。 我使用的是 Ubuntu 14.04。

【参考方案1】：

我认为 Cloudera,sandbox(by hortonworks) 是一种简单的方法。很难安装到 Ubuntu。另外我有 ubuntu 14.04 和 Hadoop(hive,pig)，Apache spark 存在，我不需要打开虚拟机。

【参考方案2】：

您可以从 3 个主要的 Hadoop 发行版入手。

Cloudera 霍顿工厂 地图R

他们每个人都有一个 UI 安装程序和管理器。不过，我认为最适合您的是使用这些供应商提供的虚拟环境。

Hortonworks Developer Sandbox 是包含 Hue 作为开始使用的 UI 的图像。但是，可下载的沙盒镜像是基于 CentOS 的。

如果您想在 Ubuntu 上安装 Hortonworks 发行版，您需要运行 Ambari 安装 (Downloads - Hortonworks Hadoop)。请注意，Hue 不包含在默认的 Ambari 安装中，但可以轻松地单独安装 Hue。为了正常运行，Hortonworks 上的 Hue 仍然需要 Python 2.6.x。

【参考方案3】：

有一些发行版，例如 Cloudera 或 Hortonworks，但它们的软件包需要较高的机器配置。例如 RAM + 16GB，有时对用户来说是不可能的。此外，它们还包括一些用户根本不需要的 Hadoop 相关项目。如果你想认真进入这个领域，我强烈建议你自己安装 Hadoop。这样做您会进行一些配置，并且会熟悉许多 Hadoop 概念。

你可以开始使用this安装教程了。