Hive的连接和运行模式

Posted 2021-03-04 bqwzy

原文链接：

https://www.toutiao.com/i6771018203687551495/

 

Hive的连接

启动hadoop的时候将history也启动，如果出问题，可以方便我们后续定位

 

首先将Hive变成对外开放

启动hiveserver2

我们查看下

如果杀掉需要用kill -9 PID的方式

启动beeline

查看帮助信息

简单使用下，和mysql中显示一样

官网

我们往下拉

!connect jdbc:hive2://localhost:10000

我们直接使用root登录，不被允许

User: root is not allowed to impersonate root(state=08S01,code=0)

错误原因是

在core-site.xml中，有一个配置

这个地方可以理解为

hadoop.proxyuser.xxx.hosts和hadoop.proxyuser.xxx.groups

xxx设置为root(即你的错误日志中显示的User：xxx为什么就设置为什么)

“*”表示可通过超级代理“xxx”操作hadoop的用户、用户组和主机

 

主要原因是hadoop引入了一个安全伪装机制，使得hadoop 不允许上层系统直接将实际用户传递到hadoop层，而是将实际用户传递给一个超级代理，由此代理在hadoop上执行操作，避免任意客户端随意操作hadoop

 

而hadoop内部还是延用linux对应的用户和权限。即你用哪个linux用户启动hadoop，对应的用户也就成为hadoop的内部用户

 

修改core-site.xml（我之前这个地方写的其它用户）

重新连接

退出

登录之后，可以使用一些命令

JDBC连接

我们新建项目执行代码

执行代码

我们看hive中，已经新建了表格，其它语句可以完成官网示例，不再一一练习

Hive的运行模式

依据Hive的安装和metastore的设置机器，分为下面三个模式：

嵌入模式：使用自带的derby数据库

本地模式：将metastore放在mysql，并且mysql和hive安装在同一台机器上

远程模式：将metastore放在mysql，并且mysql和hive安装在不同一台机器上

其中配置远程的配置文件是

配置内容是

指定hive连接数据库(mysql所在的机器)

端口号默认是9083

也可以启动服务:bin/hive –service metastore &（不建议这种方式）

有时候我们发现hive会跑mapreduce有时候不会，那是因为fetch模式

在hive-site.xml.template中

None模式

不管写什么SQL都会跑mapreduce

Minimal模式

当select*、针对分区字段进行过滤、以及limit不会跑mapreduce

More模式

当select*、过滤、以及limit不会跑mapreduce

虚拟列

官网

我们查询下

进入db_deptemp,执行语句

select *, INPUT__FILE__NAME,BLOCK__OFFSET__INSIDE__FILE from emp;