hadoop集群搭建在阿里云服务器上 云服务器配置要求是多少
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了hadoop集群搭建在阿里云服务器上 云服务器配置要求是多少相关的知识，希望对你有一定的参考价值。
如果是集群的话，我考虑需要流畅运行的话，2核4G配置是可以满足的。因为这个集群形式，用于适用于物联网、车联网、监控、安全风控、即时通讯、消息存储等行业场景，所以数据量是比较大的，所以配置太低了跑不动，会卡死的。因为hadoop是海量数据的处理能力，所以服务器一定不能太小配置了，跑不动了就没实际用途了。最好使用4核8G内存及以上配置。
因为这方面内容较多，这里也写不开那么多内容，所以你可以留言或到我的博客上搜索相关内容，老魏有写过教程，还不止一篇，都挺详细的内容，可以帮助你入门。 参考技术A 做毕设需要用到Hadopp数据库，但是考虑到给自己的电脑中装n个虚拟机一定会使自己电脑的速度和效率变得很低，所以选择使用阿里云的云服务器来进行项目的开发。
在阿里云官网租用一个服务器（学生服务有优惠:P），创建时公共镜像选择Ubuntu14.04，其他设置不变，创建好了以后需要安装各种相关软件才能搭建Hadoop的环境。
可以使用PuTTY来远程管理我们的云服务器。打开PuTTY后输入云服务器的公网IP，进入管理界面。本回答被提问者采纳
阿里云ECS服务器部署HADOOP集群：Pig 安装
本篇将在阿里云ECS服务器部署HADOOP集群（一）：Hadoop完全分布式集群环境搭建的基础上搭建。
1 环境介绍
- 一台阿里云ECS服务器：master
- 操作系统：CentOS 7.3
- Hadoop：hadoop-2.7.3.tar.gz
- Java: jdk-8u77-linux-x64.tar.gz
- Pig: pig-0.17.0.tar.gz
2 Pig 下载
下载 pig-0.17.0.tar.gz 并在合适的位置解压缩，笔者这里解压缩的路径为:
/usr/local
将解压得到的目录改名为 hbase
1 cd /usr/local 2 mv pig-0.17.0/ pig/
3 添加 Pig 环境变量
在"/etc/profile"中添加内容：
1 export PIG_HOME=/usr/local/pig 2 export PATH=$PATH:$PIG_HOME/bin
重新加载环境：
source /etc/profile
4 启动 Pig
4.1 验证是否安装成功
pig -help
4.2 本地模式执行
若操作的是 Linux 系统下的文件，则运行下面的命令。
pig -x local
4.3 MapReduce 模式执行（Pig 默认模式）
需要确保已启动 HDFS 和 YARN， 再运行下面的命令。
pig
5 安装完成
阿里云ECS服务器部署HADOOP集群系列：
以上是关于hadoop集群搭建在阿里云服务器上 云服务器配置要求是多少的主要内容，如果未能解决你的问题，请参考以下文章
阿里云ECS服务器部署HADOOP集群：Hadoop完全分布式集群环境搭建
阿里云ECS服务器部署HADOOP集群：ZooKeeper 完全分布式集群搭建
阿里云ECS服务器部署HADOOP集群：HBase完全分布式集群搭建（使用外置ZooKeeper）