hadoop学习记录hadoop2.6 hive配置

Posted kinsomy

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hadoop学习记录hadoop2.6 hive配置相关的知识,希望对你有一定的参考价值。

一、安装mysql

1安装服务器

sudo apt-get install mysql-server

2安装mysql客户端

sudo apt-get install mysql-client
sudo apt-get install libmysqlclient-dev

3检查是否有mysql服务开启如果出现第二行则成功开启

netstat -tap|grep mysql
tcp        0      0 *:mysql                 *:*                     LISTEN      6153/mysqld 

4开启mysql服务命令

service mysql start

5root登录新建新用户

mysql -u root -p

root初始密码为空,输入命令后直接回车即可。

6在database中user表里增加用户,用户名hive,用户密码hive

CREATE USER hive\' IDENTIFIED BY \'hive\'; 

7更新user表的host

update user set host=‘localhost\' where user=\'hive\';
GRANT ALL PRIVILEGES ON *.*  TO \'hive\'@\'localhost\' IDENTIFIED BY \'hive\';
FLUSH PRIVILEGES;

8创建hive数据库

create database hive;

二、安装hive

1下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hive/,这里我选择Hive-2.0.0版本的。

2解压

tar -zxvf apache-hive-2.0.0-bin.tar.gz

3我安装在/usr/local/hive下

4配置hive环境变量

vim /etc/profile

 

按自己需要配置 但是hive和java必须配置

配置完后记得一定要

source /etc/profile

5在hdfs上创建Hive数据文件目录并设置权限

hadoop fs -mkdir /tmp
hadoop fs -mkdir /user/hive/warehouse
hadoop fs -chmod g+w /tmp
hadoop fs -chmod g+w /user/hive/warehouse

6复制hive/conf下的几个template模板,并重命名

cp hive-env.sh.template hive-env.sh
cp hive-default.xml.template hive-site.xml

7配置hive-env.sh文件,指定HADOOP_HOME

HADOOP_HOME=/usr/local/hadoop

8修改hive-site.xml文件,指定MySQL数据库驱动、数据库名、用户名及密码,修改的内容如下所示

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>

<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
  <description>JDBC connect string for a JDBC metastore</description>
</property>


<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
  <description>Driver class name for a JDBC metastore</description>
</property>


<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>hive</value>
  <description>username to use against metastore database</description>
</property>


<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>hive</value>
  <description>password to use against metastore database</description>
</property>

<property>
  <name>hive.metastore.local</name>
  <value>true</value>
  <description></description>
</property>
  <property>
        <name>datanucleus.readOnlyDatastore</name>
        <value>false</value>
    </property>
    <property> 
        <name>datanucleus.fixedDatastore</name>
        <value>false</value> 
    </property>
    <property> 
        <name>datanucleus.autoCreateSchema</name> 
        <value>true</value> 
    </property>
    <property>
        <name>datanucleus.autoCreateTables</name>
        <value>true</value>
    </property>
    <property>
        <name>datanucleus.autoCreateColumns</name>
        <value>true</value>
    </property>
</configuration>

最后五个如果不配置,在2.0.0版本会报错

 

 这只是其中一个错误 ,但是每个错误的建议修改都是

9下载对应mysql jdbc驱动包,并放在hive安装目录下的lib文件夹里

10启动hive服务

hive --service metastore

jps命令后你会发现多了一些runjar

11启动hive

bin/hive

便进入了hive操作界面

 

以上是关于hadoop学习记录hadoop2.6 hive配置的主要内容,如果未能解决你的问题,请参考以下文章

在apache hadoop2.6 上部署hive 并将hive数据源存储于Mysql

Hadoop2.6.0安装 — 集群

hadoop全分布虚拟机网络配置

学习笔记Hive—— Hive安装配置

hadoop2.6.5+sqoop1.4.6环境部署与测试

hive1.2伪分布mysql数据库配置具体解释