mysql与hive2.1.1安装和配置

Posted 2020-09-27 K_artorias

1.mysql安装

这个安装很简单，是在线安装，只需要按顺序执行一下几个命令就ok了。

（1）sudo apt-get install mysql-server

（2）sudo apt-get install mysql-client

（3）sudo apt-get install libmysqlclient-dev

安装过程会让你给数据库root用户输入密码，不要忽略。然后通过如下命令检查是否安装成功：

sudo netstat -tap | grep mysql

登录验证：

mysql -u root -p

就可以登录到mysql了，可以执行show databases;查看数据库：

2 hive配置

2.1 下载hive2.1.1安装包，解压到/usr/local目录下，然后用mv命令重命名为hive，然后通过以下命令修改hive目录的读写权限

chown -R 当前用户名 /usr/local/hive

比如我当前用户为hadoop，那么命令就如下：

chown -R hadoop /usr/local/hive

2.2 配置hive环境变量

export HIVE_HOME=/usr/local/hive

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$HIVE_HOME/bin:$JAVA_HOME:$PATH

2.3 进入/usr/local/hive/conf目录，这个目录下存在的文件都是模板，需要复制和改名，要修改的如下

cp hive-env.sh.template hive-env.sh
cp hive-default.xml.template hive-site.xml
cp hive-log4j2.properties.template hive-log4j2.properties
cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties

2.4 在hdfs目录下建立三个文件，用来存放hive信息，并赋予777权限

hdfs dfs -mkdir -p /user/hive/warehouse
hdfs dfs -mkdir -p /user/hive/tmp
hdfs dfs -mkdir -p /user/hive/log
hdfs dfs -chmod -R 777 /user/hive/warehouse
hadoop fs -chmod 777 /user/hive/tmp
hdfs dfs -chmod -R 777 /user/hive/tmp 
hdfs dfs -chmod -R 777 /user/hive/log

2.5 修改hive-env.sh文件

export JAVA_HOME=/usr/java/jdk1.7.0_79
export HADOOP_HOME=/usr/local/hadoop
export HIVE_HOME=/usr/local/hive
export HIVE_CONF_DIR=/usr/local/hive/conf 

2.6 修改hive-site.xml文件

<property>
    <name>hive.exec.scratchdir</name>
    <value>/user/hive/tmp</value>
</property>
<property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/user/hive/warehouse</value>
</property>
<property>
    <name>hive.querylog.location</name>
    <value>/user/hive/log</value>
</property>

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8&amp;useSSL=false</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
  </property>

2.7 创建/usr/local/hive/tmp文件夹

mkdir /usr/local/hive/tmp

然后在配置文件hive-site.xml中，把所有的${system:java.io.tmpdir} 都替换为/usr/local/hive/tmp，把所有的${system:user.name}替换为${user.name}

2.8 配置jdbc的驱动

下载mysql-connector-java-5.1.30-bin.jar 包，复制放到/usr/local/hive/lib目录下就可以了

2.9 初始化hive，在hive2.0以后的版本，初始化命令都是：

schematool -dbType mysql -initSchema

2.10 初始化成功后，就可以运行hive了，可以检测一下hive是否正常

如果配置了hive的bin环境变量，就可以在任意目录下输入hive，就可以进入hive了