大数据实践--Hadoop单机搭建（Ubuntu）

Posted 2021-02-18 cgl_dong

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了大数据实践--Hadoop单机搭建（Ubuntu）相关的知识，希望对你有一定的参考价值。

大数据实践（一）--Hadoop单机搭建（Ubuntu）

前置环境及工具：

Ubuntu 16

VirtualBox

Hadoop 2.7.3

xftp6

jdk1.8

1、VirtualBox环境准备

001、设置网卡

双网卡：选择桥接模式与仅主机模式。

保证主机与虚拟机之间相互ping通、关闭防火墙。

sudo ufw disable

002、更新apt-get(最好更新)

使用以下命令更新apt-get。

sudo apt-get update

如果速度太慢，可以更换源。

步骤如下：

sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak #备份原源列表文件

将原源文件(/etc/apt/sources.list)中地址替换为以下地址：

deb http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse

deb http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse

deb http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse

deb http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse

deb http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse

deb-src http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse

deb-src http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse

deb-src http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse

deb-src http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse

deb-src http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse

003、下载vim（可略去）

使用gedit也是可以的。

sudo apt-get install vim

004、下载ssh

通过以下命令查看是否存在ssh服务,不存在需要安装：

ps -e|grep ssh

5310 ?        00:00:00 sshd # 存在ssh

安装openssh相关组件：

sudo apt-get install openssh-server

此时如果报错openssh-client的话，是Ubuntu自带的client版本不适配server，安装一个适配的版本：

启动ssh服务。

service sshd restart

005、配置本地ssh登录服务

cd ~/.ssh/ # 若没有该目录，请先执行一次 ssh localhost 

ssh-keygen -t rsa # 会有提示，都按回车就可以 

cat ./id_rsa.pub >> ./authorized_keys # 加入授权

2、Hadoop环境准备

001、上传jdk以及hadoop

使用xftp等工具都可以。

注意Ubuntu下需要给与文件夹上传的权限。

sudo chmod 777 xxx

002、解压并配置环境变量（略去）

配置jdk、hadoop的环境变量。

# java_home
export JAVA_HOME=/usr/local/jdk/jdk1.8.0_191
export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
export PATH=$PATH:${JAVA_HOME}/bin

#hadoop home
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin

003、修改读写权限（可略去）

使用以下命令可以使当前用户具有对文件的读写修改权限。

sudo chmod -R xxx(用户)
/..    #R代表队当前目录及其子目录拥有权限

004、修改Hadoop配置文件

hadoop-env.sh 记录脚本要用的环境变量，以运行hadoop

core-site.xml hadoop core的配置项，例如hdfs和mapreduce常用的i/o设置等

hdfs-site.xml hadoop守护进程的配置项，包括namenode、辅助namenode和datanode等

mapred-site.xml mapreduce守护进程的配置项，包括jobtracker和tasktracker

.....

单机只设置前面三个就可以。

1、修改hadoop-env.sh文件

建议修改并配置jdk环境。

# The java implementation to use.
export JAVA_HOME=/usr/local/jdk/jdk1.8.0_191

2、修改core-site.xml文件

<property>
        <name>hadoop.tmp.dir</name>
        <value>file:///usr/local/hadoop/hadoopTmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.56.102:9000</value>
    </property>

3、修改hdfs-site.xml 文件

<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///usr/local/hadoop/hadoopTmp/dfs/name</value>
    </property>
<property>
        <name>dfs.namenode.data.dir</name>
        <value>file:///usr/local/hadoop/hadoopTmp/dfs/data</value>
    </property>

3、测试

001、格式化NameNode

hdfs namenode -format

002、启动hdfs守护进程

start-dfs.sh

# 使用jps出现以下进程
7952 DataNode
8246 Jps
8135 SecondaryNameNode
7804 NameNode

003、在Web端查看相关信息

打开浏览器，输入local host:50070,出现相关页面。

004、停止守护进程

stop-dfs.sh

此时进程停止。

以上是关于大数据实践--Hadoop单机搭建（Ubuntu）的主要内容，如果未能解决你的问题，请参考以下文章

大数据实践总结－－两个故障的处理及思路总结

京东大数据实践

Storm技术内幕与大数据实践

有赞大数据实践: 敏捷型数据仓库的构建及其应用

大数据实践总结分享