UNtubu16安装hive

Posted 2022-03-21 寒冀

继林子雨老师安装的教程，我对hive的安装进行总结和常遇到的错误
1.安装VMvare，推荐最新版本，目前16版本
2.对在Vmvare安装Untubu后，不能进行复制粘贴的问题，可以在终端打如下的代码

sudo apt-get autoremove open-vm-tools
sudo apt-get install open-vm-tools-desktop

然后重启虚拟机
准备步骤
1.创建hadoop用户（可有可无，也可以直接从2直接开始）

sudo useradd -m hadoop -s /bin/bash

sudo passwd hadoop #对hadoop用户设置密码

sudo adduser hadoop sudo

2.更新 apt

sudo apt-get update
sudo apt-get install vim

3.安装ssh

sudo apt-get install openssh-server

ssh localhost
exit                           # 退出刚才的 ssh localhost
cd ~/.ssh/                     # 若没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa              # 会有提示，都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys  # 加入授权

安装JDK

cd /usr/lib
sudo mkdir jvm #创建/usr/lib/jvm目录用来存放JDK文件
cd ~ #进入hadoop用户的主目录
cd Downloads  #注意区分大小写字母，刚才已经通过FTP软件把JDK安装包jdk-8u162-linux-x64.tar.gz上传到该目录下
sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm  #把JDK文件解压到/usr/lib/jvm目录下

下面进行路径的配置

cd ~
vim ~/.bashrc

在开头的位置添加如下信息

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$JAVA_HOME/bin:$PATH

让文件生效一下

source ~/.bashrc

java -version

Hadoop 安装

sudo tar -zxf ~/下载/hadoop-3.1.3.tar.gz -C /usr/local    # 解压到/usr/local中
cd /usr/local/
sudo mv ./hadoop-3.1.3/ ./hadoop            # 将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop       # 修改文件权限

修改文件权限的命令，第一个hadoop,如果按照小编的步骤从头开始做的，则无需修改，如果没有添加新用户，则把第一个hadoop改成自己的用户名
例：sudo chown -R xxx ./hadoop
2.下面把hadoop的路径添加到里面

cd ~
vim ~/.bashrc 

添加之后，完整代码如下所示

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=$JAVA_HOME/jre
export HADOOP_HOME=/usr/local/hadoop
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

source ~/.bashrc #生效文件

Hadoop伪分布式配置
在配置之前一定不要登录ssh localhost

cd  /usr/local/hadoop/etc/hadoop/
gedit core-site.xml

将

<configuration>
</configuration>

改成

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

hdfs-site.xml修改如下

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

执行 NameNode 的格式化

cd /usr/local/hadoop
./bin/hdfs namenode -format

cd /usr/local/hadoop
./sbin/start-dfs.sh  #start-dfs.sh是个完整的可执行文件，中间没有空格

以上大部分的代码来自于林子雨老师,如有侵权请告知