hadoop学习记录hadoop2.6 hive配置
Posted kinsomy
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hadoop学习记录hadoop2.6 hive配置相关的知识,希望对你有一定的参考价值。
一、安装mysql
1安装服务器
sudo apt-get install mysql-server
2安装mysql客户端
sudo apt-get install mysql-client sudo apt-get install libmysqlclient-dev
3检查是否有mysql服务开启如果出现第二行则成功开启
netstat -tap|grep mysql tcp 0 0 *:mysql *:* LISTEN 6153/mysqld
4开启mysql服务命令
service mysql start
5root登录新建新用户
mysql -u root -p
root初始密码为空,输入命令后直接回车即可。
6在database中user表里增加用户,用户名hive,用户密码hive
CREATE USER hive\' IDENTIFIED BY \'hive\';
7更新user表的host
update user set host=‘localhost\' where user=\'hive\';
GRANT ALL PRIVILEGES ON *.* TO \'hive\'@\'localhost\' IDENTIFIED BY \'hive\'; FLUSH PRIVILEGES;
8创建hive数据库
create database hive;
二、安装hive
1下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hive/,这里我选择Hive-2.0.0版本的。
2解压
tar -zxvf apache-hive-2.0.0-bin.tar.gz
3我安装在/usr/local/hive下
4配置hive环境变量
vim /etc/profile
按自己需要配置 但是hive和java必须配置
配置完后记得一定要
source /etc/profile
5在hdfs上创建Hive数据文件目录并设置权限
hadoop fs -mkdir /tmp hadoop fs -mkdir /user/hive/warehouse hadoop fs -chmod g+w /tmp hadoop fs -chmod g+w /user/hive/warehouse
6复制hive/conf下的几个template模板,并重命名
cp hive-env.sh.template hive-env.sh cp hive-default.xml.template hive-site.xml
7配置hive-env.sh文件,指定HADOOP_HOME
HADOOP_HOME=/usr/local/hadoop
8修改hive-site.xml文件,指定MySQL数据库驱动、数据库名、用户名及密码,修改的内容如下所示
<?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value> <description>JDBC connect string for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> <description>Driver class name for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>hive</value> <description>username to use against metastore database</description> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>hive</value> <description>password to use against metastore database</description> </property> <property> <name>hive.metastore.local</name> <value>true</value> <description></description> </property> <property> <name>datanucleus.readOnlyDatastore</name> <value>false</value> </property> <property> <name>datanucleus.fixedDatastore</name> <value>false</value> </property> <property> <name>datanucleus.autoCreateSchema</name> <value>true</value> </property> <property> <name>datanucleus.autoCreateTables</name> <value>true</value> </property> <property> <name>datanucleus.autoCreateColumns</name> <value>true</value> </property> </configuration>
最后五个如果不配置,在2.0.0版本会报错
这只是其中一个错误 ,但是每个错误的建议修改都是
9下载对应mysql jdbc驱动包,并放在hive安装目录下的lib文件夹里
10启动hive服务
hive --service metastore
jps命令后你会发现多了一些runjar
11启动hive
bin/hive
便进入了hive操作界面
以上是关于hadoop学习记录hadoop2.6 hive配置的主要内容,如果未能解决你的问题,请参考以下文章