hadoop集群安装20181016

Posted 2021-01-13 懒惰的星期六

安装jdk

一、通过ppa源下载：

1.添加ppa元，

sudo add-apt-repository ppa:webupd8team/java

#等待一会儿

sudo apt-get update

2.安装oracle-java-installer

sudo apt-get install oracle-java8-installer

或者免除点击同意条款安装方式

echo oracle-java8-installer shared/accepted-oracle-license-v1-1 select true | sudo /usr/bin/debconf-set-selections

 

二、设置jdk路径：通过ppa源安装好像不需要设置

jdk默认位置在/usr/lib/jvm/java-8-oracle

在/etc/profile文件末尾追加下列代码：

export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export JRE_HOME=$JAVA_HOME/jre  
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib :$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH

三、测试

java -version

javac -version

 

增加hadoop用户

 

sudo adduser hadoop

 

安装hadoop

 

1.下载hadoop3.1.1到/home/hadoop路径下

 

2.解压 tar -zxvf hadoop-3.1.1.tar.gz

将会解压到：当前路径下/home/hadoop/hadoop-3.1.1

安装ssh免密登录

生成密钥并配置SSH无密码登录本机，输入命令：

ssh-keygen -t dsa - P ‘ ‘ -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

将文件拷贝到其他的slave主机相同的文件夹内，输入命令：

scp: authorized_keys slave1:~.ssh/

查看是否可以从master主机无密码登录slave，输入命令：

ssh slave1

具体流程：

 

生成密钥并配置SSH无密码登录本机，输入命令：

 

ssh-keygen -t dsa - P ‘ ‘ -f ~/.ssh/id_dsa

 

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

 

将文件拷贝到其他的slave主机相同的文件夹内，输入命令：

 

scp: authorized_keys slave1:~.ssh/

 

查看是否可以从master主机无密码登录slave，输入命令：

ssh slave1

 

在所有主机上分别设置/etc/hosts及/etc/hostname。

hosts这个文件用于定义主机名与IP地址之间的对应关系。

/etc/hosts：

127.0.0.1localhost

202.202.5.141 master

202.202.5.××× slave1

hosname这个文件用于定义ubuntu的主机名/

/etc/hostsname:

你的主机名（eg：master，slave等等）

 

配置所有主机的Hadoop文件：

conf/Hadoop-env.sh:

export JAVA_HOME="安装java地址"

core-site.xml：

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
<description>HDFS的URI，文件系统://namenode标识：端口号</description>
</property>
<property>
<name>Hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
<description>hadoop存储数据快的位置</description>
</property>
</configuration>

hdfs-site.xml：

<configuration>
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/hdfs/name</value>
<description>namenode上存储hdfs名字空间元数据</description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/hdfs/data</value>
<description>datanode上数据块的物理存储位置</description>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
<description>副本个数，配置默认是3.应小于datanode机器数量</description>
</property>
</configuration>

mapred-site.xml：

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
<description></description>
</property>
</configuration>