我可以为大数据和 hadoop 学习啥类型的语言 [关闭]

Posted 2023-04-18

【中文标题】我可以为大数据和 hadoop 学习啥类型的语言 [关闭]

【英文标题】：what type of languages i can learn for big data and hadoop [closed]我可以为大数据和 hadoop 学习什么类型的语言 [关闭]

【发布时间】：2014-01-17 19:07:19

【问题描述】：

我想学习 Hadoop 和大数据。我知道核心 Java 概念就足够了，比如类、对象、多态性、抽象类、异常处理、多线程和小程序？我还有一个疑问。我可以为 hadoop 和大数据学习什么类型的数据库？我不知道数据库。我可以下载什么 IDE。请指导我。提前谢谢

【参考方案1】：

Java 是大数据的一个很好的开端，因为大多数技术都围绕 Hadoop 并用 Java 编写。

有些人也使用 Python，但 Python 通常只有二等支持。

Scala 是另一种拥有大量大数据库的语言。例如Twitter has a lot of big data technologies written in Scala。

这真的取决于你想做什么。正如我所说，Java 是一个好的开始。您可以尝试实现简单的 MapReduce “hello-worlds”，例如 word counting，然后快速学习库和语言，例如 Cascading 和 Pig。原因是在这种高级语言中你的生产力可能会更高。生成的作业可能不如手工制作的 mapreduce 代码高效，但您可以稍后再担心。

【讨论】：

对于 Hadoop，您无需了解 Spring、Struts 或 Hibernate。即使是您通常不需要的 JDBC。从例如开始hadoop.apache.org/docs/r1.2.1/…

Spring（主要）是关于构建 Web 应用程序，Struts 也是如此。您需要的 Hibernate 和 JBoss 主要用于企业软件。对于大数据处理，它们不是必需的。

嗯，Hadoop 和“大数据”的重点是补充传统的关系数据库。因此，一方面您不需要了解任何特定的数据库，但您必须了解这些概念。也就是说，核心 Java 是一个好的开始，但你也应该了解关系数据库的理论，为什么会有 NoSQL 数据库这样的东西，你应该知道一两件事关于数据库实现（B-trees，索引，. ..)，您应该了解算法（排序、搜索等）。

请编辑您的问题以添加其他问题，以便我们删除这些 cmets。

【参考方案2】：

我建议从基础开始。下载 HortonWorks 或 Cloudera 提供的免费沙箱。这两家公司都提供 Hadoop 介绍和深入研究 Hadoop 工具（即 Pig、Hive 等）的免费教程。从那里开始，我建议您尝试使用 Java 与 Hadoop 交互，因为您已经熟悉 Java 作为一种语言。