Hive支持行级updatedelete时遇到的问题

Posted hongma

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hive支持行级updatedelete时遇到的问题相关的知识,希望对你有一定的参考价值。

 

 

 

Hive从0.14版本开始支持事务和行级更新,但缺省是不支持的,需要一些附加的配置。要想支持行级insert、update、delete,需要配置Hive支持事务。(行级的insert好像不配置也能运行)

 

1、修改hive-site.xml,添加如下语句:

<property> 
<name>hive.support.concurrency</name> 
<value>true</value> 
</property> 
<property> 
<name>hive.exec.dynamic.partition.mode</name> 
<value>nonstrict</value> 
</property> 
<property> 
<name>hive.txn.manager</name> 
<value>org.apache.hadoop.hive.ql.lockmgr.DbTxnManager</value> 
</property> 
<property> 
<name>hive.compactor.initiator.on</name> 
<value>true</value> 
</property> 
<property> 
<name>hive.compactor.worker.threads</name> 
<value>1</value> 
</property> 

 

2、修改hive-site.xml 后,执行更新语句,报错     FAILED: Error in acquiring locks: Error communicating with the metastore

网上查找,说要添加Hive元数据 

INSERT INTO NEXT_LOCK_ID VALUES(1);  
INSERT INTO NEXT_COMPACTION_QUEUE_ID VALUES(1);  
INSERT INTO NEXT_TXN_ID VALUES(1);  
COMMIT;  

但是mysql中以上三个表根本不存在。傻傻的手动在mysql建了这三个表,列名都取为id。还是报错。看来只能从源头查找为什么hive自己没有建立这几个表。

 

3、在mysql服务器上用wireshark抓包 ,发现是在执行sql语句时出的错误。再看出错时对应的sql语句,是在操作HIVE_LOCKS表,显示这个表也未创建。所以没有建立的表不止上面三个。

 

4、hive相关的表(schema)都应该是不存在时自动创建才对,百度之。找到hive创建schema的脚本是scripts/metastore/upgrade/mysql/hive-schema-2.1.0.mysql.sql。
但是这个脚本文件中并没有找到HIVE_LOCKS表的创建语句,在该目录下grep HIVE_LOCKS  ./  -R,发现创建的语句写在hive-txn-schema-2.1.0.mysql.sql。

 

5、查看hive-schema-2.1.0.mysql.sql文件,发现是通过"SOURCE hive-txn-schema-2.1.0.mysql.sq"来加入执行的。网查说是hive元数据库没有初始化。可以通过

schematool -dbType mysql -initSchema

来初始化所有schema,执行以上语句后,有报错,表还是没创建。于是手动执行

hive -f hive-txn-schema-2.1.0.mysql.sql

相应的表创建成功之后,再测试就可以了。(将hive-site.xml中的元数据库换了一个,重新新建了一个mysql元数据库,在执行 schematool -dbType mysql -initSchema 时竟然没有报错,那些表也都有了)

 

 

现在遗留的问题:
1. hive-schema-2.1.0.mysql.sql中SOURCE为什么没生效?

网上说是没有绝对路径当然找不到无法执行(如果试图手动改成绝对路径重新执行的话,因为其他的sql语句里有一些insert,就会报一些Duplicate key name,Duplicate entry等错误...而且txn那个文件里建表不检查是否exists,多执行几遍又会报表已经存在错误..

使用schemetool就可以避免这些麻烦,而且很明确的知道是否初始化成功.)...。

可是配置里不带绝对路径肯定是通常情况都可以执行的啊


2. 执行hive -f hive-txn-schema-2.1.0.mysql.sql时,为什么表就建立在mysql中了,而不是hive本地文件系统 。

3、 schematool -dbType mysql -initSchema  这个到底干了嘛?

 

网查资料:http://www.bubuko.com/infodetail-1834078.html

http://blog.csdn.net/wzy0623/article/details/51483674

http://blog.csdn.net/zxc2zxc120/article/details/40543589

 

以上是关于Hive支持行级updatedelete时遇到的问题的主要内容,如果未能解决你的问题,请参考以下文章

让Hive支持行级insertupdatedelete

hive执行更新和删除操作

Hive和传统数据库的区别

Hive 中的行级事务

Hive SQL之分区表与分桶表

mysql笔记(17)--UPDATEDELETE