无法使用 Hive 版本 1.1.0 HBase 版本 0.94.8 和 hadoop 版本 2.7.0 从 Hive 创建 Hbase 表

Posted

技术标签:

【中文标题】无法使用 Hive 版本 1.1.0 HBase 版本 0.94.8 和 hadoop 版本 2.7.0 从 Hive 创建 Hbase 表【英文标题】:Unable to create Hbase table from hive with Hive version 1.1.0 HBase version 0.94.8 and hadoop version 2.7.0 【发布时间】:2015-09-21 08:02:34 【问题描述】:

无法从 Hive 版本 1.1.0 HBase 版本 0.94.8 和 hadoop 版本 2.7.0 的 Hive 创建 Hbase 表

hive (default)> CREATE TABLE test_hive_hbase(eid int, ename string, esal double) 
              > STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
              > WITH SERDEPROPERTIES 
              > ("hbase.columns.mapping" = ":key,cfstr:enm,cfsal:esl")
              > TBLPROPERTIES ("hbase.table.name" = "test_hive_hbase");
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org/apache/hadoop/hbase/HBaseConfiguration

我在 hive 下创建了一个 auxlib 文件夹,并添加了来自 hive、hbase 和 hadoop 的所有 jar。

hduser@ubuntu:/usr/lib/hive/auxlib$ ls -latr
total 174536
-rw-r--r--  1 hduser hduser   822524 Oct 19  2011 mysql-connector-java-5.1.16.jar
drwxr-xr-x  5 hduser hduser     4096 May 22  2013 ruby
drwxr-xr-x  3 hduser hduser     4096 May 22  2013 native
-rw-r--r--  1 hduser hduser   779974 May 22  2013 zookeeper-3.4.5.jar1
-rw-r--r--  1 hduser hduser   449505 May 22  2013 velocity-1.7.jar
-rw-r--r--  1 hduser hduser   995720 May 22  2013 snappy-java-1.0.3.2.jar
-rw-r--r--  1 hduser hduser     8601 May 22  2013 slf4j-log4j12-1.4.3.jar
-rw-r--r--  1 hduser hduser    15345 May 22  2013 slf4j-api-1.4.3.jar
-rw-r--r--  1 hduser hduser   132368 May 22  2013 servlet-api-2.5-6.1.14.jar
-rw-r--r--  1 hduser hduser   449818 May 22  2013 protobuf-java-2.4.0a.jar
-rw-r--r--  1 hduser hduser   790250 May 22  2013 netty-3.2.4.Final.jar
-rw-r--r--  1 hduser hduser    82445 May 22  2013 metrics-core-2.1.2.jar
-rw-r--r--  1 hduser hduser   336580 May 22  2013 libthrift-0.8.0.jar1
-rw-r--r--  1 hduser hduser    33015 May 22  2013 jsr305-1.3.9.jar
-rw-r--r--  1 hduser hduser   134910 May 22  2013 jsp-api-2.1-6.1.14.jar
-rw-r--r--  1 hduser hduser  1024680 May 22  2013 jsp-2.1-6.1.14.jar
-rw-r--r--  1 hduser hduser 13312045 May 22  2013 jruby-complete-1.6.5.jar
-rw-r--r--  1 hduser hduser   177131 May 22  2013 jetty-util-6.1.26.jar
-rw-r--r--  1 hduser hduser   539912 May 22  2013 jetty-6.1.26.jar
-rw-r--r--  1 hduser hduser    67758 May 22  2013 jettison-1.1.jar
-rw-r--r--  1 hduser hduser   147933 May 22  2013 jersey-json-1.8.jar
-rw-r--r--  1 hduser hduser   458233 May 22  2013 jersey-core-1.8.jar
-rw-r--r--  1 hduser hduser   890168 May 22  2013 jaxb-impl-2.2.3-1.jar
-rw-r--r--  1 hduser hduser    89967 May 22  2013 jaxb-api-2.1.jar
-rw-r--r--  1 hduser hduser    76844 May 22  2013 jasper-runtime-5.5.23.jar
-rw-r--r--  1 hduser hduser   408133 May 22  2013 jasper-compiler-5.5.23.jar
-rw-r--r--  1 hduser hduser    20642 May 22  2013 jamon-runtime-2.3.1.jar
-rw-r--r--  1 hduser hduser    32353 May 22  2013 jackson-xc-1.8.8.jar
-rw-r--r--  1 hduser hduser   669065 May 22  2013 jackson-mapper-asl-1.8.8.jar
-rw-r--r--  1 hduser hduser    17884 May 22  2013 jackson-jaxrs-1.8.8.jar
-rw-r--r--  1 hduser hduser   227517 May 22  2013 jackson-core-asl-1.8.8.jar
-rw-r--r--  1 hduser hduser   181201 May 22  2013 httpcore-4.1.3.jar
-rw-r--r--  1 hduser hduser   352254 May 22  2013 httpclient-4.1.2.jar
-rw-r--r--  1 hduser hduser    95975 May 22  2013 high-scale-lib-1.1.1.jar
-rw-r--r--  1 hduser hduser  1648200 May 22  2013 guava-11.0.2.jar1
-rw-r--r--  1 hduser hduser  3566844 May 22  2013 core-3.1.1.jar
-rw-r--r--  1 hduser hduser    60686 May 22  2013 commons-logging-1.1.1.jar
-rw-r--r--  1 hduser hduser   279193 May 22  2013 commons-lang-2.5.jar1
-rw-r--r--  1 hduser hduser   163151 May 22  2013 commons-io-2.1.jar
-rw-r--r--  1 hduser hduser   305001 May 22  2013 commons-httpclient-3.1.jar
-rw-r--r--  1 hduser hduser   112341 May 22  2013 commons-el-1.0.jar
-rw-r--r--  1 hduser hduser   168042 May 22  2013 avro-ipc-1.5.3.jar
-rw-r--r--  1 hduser hduser   263268 May 22  2013 avro-1.5.3.jar
-rw-r--r--  1 hduser hduser    15010 May 22  2013 xmlenc-0.52.jar
-rw-r--r--  1 hduser hduser   253205 May 22  2013 junit-4.10-HBASE-1.jar
-rw-r--r--  1 hduser hduser   694352 May 22  2013 jersey-server-1.8.jar
-rw-r--r--  1 hduser hduser  3929148 May 22  2013 hadoop-core-1.0.4.jar1
-rw-r--r--  1 hduser hduser   180792 May 22  2013 commons-net-1.4.1.jar1
-rw-r--r--  1 hduser hduser    43033 May 22  2013 asm-3.1.jar
-rw-rw-r--  1 hduser hduser  4203147 Jul 22  2013 hadoop-core-1.2.1.jar
-rw-r--r--  1 hduser hduser   481535 May 20  2014 log4j-1.2.16.jar1
-rw-r--r--  1 hduser hduser    41123 May 20  2014 commons-cli-1.2.jar
-rw-r--r--  1 hduser hduser   575389 May 20  2014 commons-collections-3.2.1.jar
-rw-r--r--  1 hduser hduser   105112 May 20  2014 servlet-api-2.5.jar
-rw-r--r--  1 hduser hduser   143602 May 20  2014 commons-digester-1.8.jar
-rw-r--r--  1 hduser hduser   188671 May 20  2014 commons-beanutils-1.7.0.jar
-rw-r--r--  1 hduser hduser    65261 May 20  2014 oro-2.0.8.jar
-rw-r--r--  1 hduser hduser   392124 May 20  2014 velocity-1.5.jar
-rw-r--r--  1 hduser hduser    18336 May 20  2014 ant-launcher-1.9.1.jar
-rw-r--r--  1 hduser hduser  1997485 May 20  2014 ant-1.9.1.jar
-rw-r--r--  1 hduser hduser    62050 May 20  2014 commons-logging-1.1.3.jar
-rw-r--r--  1 hduser hduser    58160 May 20  2014 commons-codec-1.4.jar
-rw-r--r--  1 hduser hduser   279781 May 20  2014 commons-httpclient-3.0.1.jar
-rw-r--r--  1 hduser hduser    76643 May 20  2014 hamcrest-core-1.1.jar
-rw-r--r--  1 hduser hduser   433368 May 20  2014 httpclient-4.2.5.jar
-rw-r--r--  1 hduser hduser   227708 May 20  2014 httpcore-4.2.5.jar
-rw-r--r--  1 hduser hduser    26514 May 20  2014 stax-api-1.0.1.jar
-rw-r--r--  1 hduser hduser    62983 May 20  2014 activation-1.1.jar
-rw-r--r--  1 hduser hduser   185140 May 20  2014 commons-io-2.4.jar
-rw-r--r--  1 hduser hduser   298829 May 20  2014 commons-configuration-1.6.jar
-rw-r--r--  1 hduser hduser   206035 May 20  2014 commons-beanutils-core-1.8.0.jar
-rw-r--r--  1 hduser hduser   832410 May 20  2014 commons-math-2.1.jar
-rw-r--r--  1 hduser hduser    29555 May 20  2014 paranamer-2.3.jar
-rw-r--r--  1 hduser hduser   400680 May 20  2014 avro-1.7.5.jar
-rw-r--r--  1 hduser hduser   241367 May 20  2014 commons-compress-1.4.1.jar
-rw-r--r--  1 hduser hduser    94672 May 20  2014 xz-1.0.jar
-rw-r--r--  1 hduser hduser  1251514 May 20  2014 snappy-java-1.0.5.jar
-rw-r--r--  1 hduser hduser   110600 May 20  2014 bonecp-0.8.0.RELEASE.jar
-rw-r--r--  1 hduser hduser   339666 May 20  2014 datanucleus-api-jdo-3.2.6.jar
-rw-r--r--  1 hduser hduser    15071 May 20  2014 jta-1.1.jar
-rw-r--r--  1 hduser hduser   164368 May 20  2014 antlr-runtime-3.4.jar
-rw-r--r--  1 hduser hduser   201124 May 20  2014 jdo-api-3.0.1.jar
-rw-r--r--  1 hduser hduser   148627 May 20  2014 stringtemplate-3.2.1.jar
-rw-r--r--  1 hduser hduser   445288 May 20  2014 antlr-2.7.7.jar
-rw-r--r--  1 hduser hduser  1809447 May 20  2014 datanucleus-rdbms-3.2.9.jar
-rw-r--r--  1 hduser hduser  1890075 May 20  2014 datanucleus-core-3.2.10.jar
-rw-r--r--  1 hduser hduser   236660 May 20  2014 ST4-4.0.4.jar
-rw-r--r--  1 hduser hduser  6377448 May 20  2014 groovy-all-2.1.6.jar
-rw-r--r--  1 hduser hduser    12131 May 20  2014 jpam-1.1.jar
-rw-r--r--  1 hduser hduser    16030 May 20  2014 geronimo-jta_1.1_spec-1.1.1.jar
-rw-r--r--  1 hduser hduser    30548 May 20  2014 geronimo-jaspic_1.0_spec-1.0.jar
-rw-r--r--  1 hduser hduser    12452 May 20  2014 geronimo-annotation_1.0_spec-1.1.1.jar
-rw-r--r--  1 hduser hduser    21879 May 20  2014 asm-tree-3.1.jar
-rw-r--r--  1 hduser hduser    32693 May 20  2014 asm-commons-3.1.jar
-rw-r--r--  1 hduser hduser   447676 May 20  2014 mail-1.4.1.jar
-rw-r--r--  1 hduser hduser  1681148 May 20  2014 jetty-all-7.6.0.v20120127.jar
-rw-r--r--  1 hduser hduser  1683027 May 20  2014 jetty-all-server-7.6.0.v20120127.jar
-rw-r--r--  1 hduser hduser    55953 May 20  2014 tempus-fugit-1.1.jar
-rw-r--r--  1 hduser hduser   250546 May 20  2014 plexus-utils-1.5.6.jar
-rw-r--r--  1 hduser hduser   284220 May 27  2014 commons-lang-2.6.jar
-rw-r--r--  1 hduser hduser   245039 May 31  2014 junit-4.11.jar
-rw-r--r--  1 hduser hduser  2189117 Jul 15  2014 guava-14.0.1.jar
-rw-r--r--  1 hduser hduser    96221 Jul 16  2014 commons-pool-1.5.4.jar
-rw-r--r--  1 hduser hduser   160519 Jul 16  2014 commons-dbcp-1.4.jar
-rw-r--r--  1 hduser hduser    19827 Jul 29  2014 opencsv-2.3.jar
-rw-r--r--  1 hduser hduser    25429 Aug  1  2014 regexp-1.3.jar
-rw-r--r--  1 hduser hduser   792964 Aug 12  2014 zookeeper-3.4.6.jar
-rw-r--r--  1 hduser hduser  1208356 Aug 12  2014 netty-3.7.0.Final.jar
-rw-r--r--  1 hduser hduser    93210 Aug 12  2014 super-csv-2.2.0.jar
-rw-r--r--  1 hduser hduser    69858 Aug 20  2014 maven-scm-provider-svnexe-1.4.jar
-rw-r--r--  1 hduser hduser    40066 Aug 20  2014 maven-scm-provider-svn-commons-1.4.jar
-rw-r--r--  1 hduser hduser    94421 Aug 20  2014 maven-scm-api-1.4.jar
-rw-r--r--  1 hduser hduser    60527 Aug 20  2014 jcommander-1.32.jar
-rw-r--r--  1 hduser hduser   415578 Aug 20  2014 commons-vfs2-2.0.jar
-rw-r--r--  1 hduser hduser   117409 Aug 20  2014 accumulo-trace-1.6.0.jar
-rw-r--r--  1 hduser hduser    57420 Aug 20  2014 accumulo-start-1.6.0.jar
-rw-r--r--  1 hduser hduser   102069 Aug 20  2014 accumulo-fate-1.6.0.jar
-rw-r--r--  1 hduser hduser  4368200 Aug 20  2014 accumulo-core-1.6.0.jar
-rw-r--r--  1 hduser hduser    30359 Sep 17  2014 apache-curator-2.6.0.pom
-rw-r--r--  1 hduser hduser   185245 Sep 17  2014 curator-framework-2.6.0.jar1
-rw-r--r--  1 hduser hduser    68866 Sep 17  2014 curator-client-2.6.0.jar1
-rw-r--r--  1 hduser hduser    30595 Oct  1  2014 commons-compiler-2.7.6.jar
-rw-r--r--  1 hduser hduser   611863 Oct  1  2014 janino-2.7.6.jar
-rw-r--r--  1 hduser hduser    18402 Oct  1  2014 eigenbase-properties-1.1.4.jar
-rw-r--r--  1 hduser hduser    33031 Nov 17  2014 jsr305-3.0.0.jar
-rw-r--r--  1 hduser hduser   227712 Nov 19  2014 libthrift-0.9.2.jar
-rw-r--r--  1 hduser hduser   213854 Nov 19  2014 jline-2.12.jar
-rw-r--r--  1 hduser hduser  2771530 Nov 19  2014 parquet-hadoop-bundle-1.6.0rc3.jar
-rw-r--r--  1 hduser hduser   313686 Nov 19  2014 libfb303-0.9.2.jar
-rw-r--r--  1 hduser hduser  3103132 Nov 19  2014 derby-10.11.1.1.jar
-rw-r--r--  1 hduser hduser   448794 Dec 11  2014 apache-log4j-extras-1.2.17.jar
-rw-r--r--  1 hduser hduser   432351 Feb  1  2015 calcite-linq4j-1.0.0-incubating.jar
-rw-r--r--  1 hduser hduser   216853 Feb  1  2015 calcite-avatica-1.0.0-incubating.jar
-rw-r--r--  1 hduser hduser  3295091 Feb  1  2015 calcite-core-1.0.0-incubating.jar
-rw-r--r--  1 hduser hduser    48557 Feb  1  2015 pentaho-aggdesigner-algorithm-5.1.5-jhyde.jar
-rw-r--r--  1 hduser hduser   108675 Feb 18  2015 hive-shims-common-1.1.0.jar
-rw-r--r--  1 hduser hduser    31656 Feb 18  2015 hive-shims-0.20S-1.1.0.jar
-rw-r--r--  1 hduser hduser    58444 Feb 18  2015 hive-shims-0.23-1.1.0.jar
-rw-r--r--  1 hduser hduser    13074 Feb 18  2015 hive-shims-scheduler-1.1.0.jar
-rw-r--r--  1 hduser hduser     8953 Feb 18  2015 hive-shims-1.1.0.jar
-rw-r--r--  1 hduser hduser   238123 Feb 18  2015 hive-common-1.1.0.jar
-rw-r--r--  1 hduser hduser   809287 Feb 18  2015 hive-serde-1.1.0.jar
-rw-r--r--  1 hduser hduser  5273347 Feb 18  2015 hive-metastore-1.1.0.jar
-rw-r--r--  1 hduser hduser    42296 Feb 18  2015 hive-ant-1.1.0.jar
-rw-r--r--  1 hduser hduser 18438062 Feb 18  2015 hive-exec-1.1.0.jar
-rw-r--r--  1 hduser hduser  1860639 Feb 18  2015 hive-service-1.1.0.jar
-rw-r--r--  1 hduser hduser    93137 Feb 18  2015 hive-jdbc-1.1.0.jar
-rw-r--r--  1 hduser hduser   113184 Feb 18  2015 hive-accumulo-handler-1.1.0.jar
-rw-r--r--  1 hduser hduser    37446 Feb 18  2015 hive-cli-1.1.0.jar
-rw-r--r--  1 hduser hduser   133166 Feb 18  2015 hive-beeline-1.1.0.jar
-rw-r--r--  1 hduser hduser   121456 Feb 18  2015 hive-contrib-1.1.0.jar
-rw-r--r--  1 hduser hduser   115801 Feb 18  2015 hive-hbase-handler-1.1.0.jar
-rw-r--r--  1 hduser hduser    27785 Feb 18  2015 hive-hwi-1.1.0.jar
-rw-r--r--  1 hduser hduser    14527 Feb 18  2015 hive-testutils-1.1.0.jar
-rw-r--r--  1 hduser hduser   539263 Apr 10 11:51 zookeeper-3.4.6-tests.jar
-rw-r--r--  1 hduser hduser   194354 Apr 10 11:51 xml-apis-1.3.04.jar
-rw-r--r--  1 hduser hduser  1229125 Apr 10 11:51 xercesImpl-2.9.1.jar
-rw-r--r--  1 hduser hduser    23346 Apr 10 11:51 stax-api-1.0-2.jar
-rw-r--r--  1 hduser hduser   995968 Apr 10 11:51 snappy-java-1.0.4.1.jar
-rw-r--r--  1 hduser hduser     8866 Apr 10 11:51 slf4j-log4j12-1.7.10.jar
-rw-r--r--  1 hduser hduser    32119 Apr 10 11:51 slf4j-api-1.7.10.jar
-rw-r--r--  1 hduser hduser   533455 Apr 10 11:51 protobuf-java-2.5.0.jar
-rw-r--r--  1 hduser hduser  1779991 Apr 10 11:51 netty-all-4.0.23.Final.jar
-rw-r--r--  1 hduser hduser  1199572 Apr 10 11:51 netty-3.6.2.Final.jar
-rw-r--r--  1 hduser hduser  1419869 Apr 10 11:51 mockito-all-1.8.5.jar
-rw-r--r--  1 hduser hduser    85449 Apr 10 11:51 metrics-core-3.0.1.jar
-rw-r--r--  1 hduser hduser   489884 Apr 10 11:51 log4j-1.2.17.jar
-rw-r--r--  1 hduser hduser  1045744 Apr 10 11:51 leveldbjni-all-1.8.jar
-rw-r--r--  1 hduser hduser   100636 Apr 10 11:51 jsp-api-2.1.jar
-rw-r--r--  1 hduser hduser   185746 Apr 10 11:51 jsch-0.1.42.jar
-rw-r--r--  1 hduser hduser   589289 Apr 10 11:51 joda-time-2.7.jar
-rw-r--r--  1 hduser hduser   539735 Apr 10 11:51 jets3t-0.9.0.jar
-rw-r--r--  1 hduser hduser   713089 Apr 10 11:51 jersey-server-1.9.jar
-rw-r--r--  1 hduser hduser   147952 Apr 10 11:51 jersey-json-1.9.jar
-rw-r--r--  1 hduser hduser    14786 Apr 10 11:51 jersey-guice-1.9.jar
-rw-r--r--  1 hduser hduser   458739 Apr 10 11:51 jersey-core-1.9.jar
-rw-r--r--  1 hduser hduser   130458 Apr 10 11:51 jersey-client-1.9.jar
-rw-r--r--  1 hduser hduser   105134 Apr 10 11:51 jaxb-api-2.2.2.jar
-rw-r--r--  1 hduser hduser    18490 Apr 10 11:51 java-xmlbuilder-0.4.jar
-rw-r--r--  1 hduser hduser     2497 Apr 10 11:51 javax.inject-1.jar
-rw-r--r--  1 hduser hduser    27084 Apr 10 11:51 jackson-xc-1.9.13.jar
-rw-r--r--  1 hduser hduser   780664 Apr 10 11:51 jackson-mapper-asl-1.9.13.jar
-rw-r--r--  1 hduser hduser    18336 Apr 10 11:51 jackson-jaxrs-1.9.13.jar
-rw-r--r--  1 hduser hduser   865838 Apr 10 11:51 jackson-databind-2.2.3.jar
-rw-r--r--  1 hduser hduser   232248 Apr 10 11:51 jackson-core-asl-1.9.13.jar
-rw-r--r--  1 hduser hduser   192699 Apr 10 11:51 jackson-core-2.2.3.jar
-rw-r--r--  1 hduser hduser    33483 Apr 10 11:51 jackson-annotations-2.2.3.jar
-rw-r--r--  1 hduser hduser  1475955 Apr 10 11:51 htrace-core-3.1.0-incubating.jar
-rw-r--r--  1 hduser hduser    45024 Apr 10 11:51 hamcrest-core-1.3.jar
-rw-r--r--  1 hduser hduser    32018 Apr 10 11:51 hadoop-yarn-server-web-proxy-2.7.0.jar
-rw-r--r--  1 hduser hduser    38363 Apr 10 11:51 hadoop-yarn-server-tests-2.7.0.jar
-rw-r--r--  1 hduser hduser    52865 Apr 10 11:51 hadoop-yarn-server-sharedcachemanager-2.7.0.jar
-rw-r--r--  1 hduser hduser  1227925 Apr 10 11:51 hadoop-yarn-server-resourcemanager-2.7.0.jar
-rw-r--r--  1 hduser hduser   686156 Apr 10 11:51 hadoop-yarn-server-nodemanager-2.7.0.jar
-rw-r--r--  1 hduser hduser   360828 Apr 10 11:51 hadoop-yarn-server-common-2.7.0.jar
-rw-r--r--  1 hduser hduser   197128 Apr 10 11:51 hadoop-yarn-server-applicationhistoryservice-2.7.0.jar
-rw-r--r--  1 hduser hduser    97753 Apr 10 11:51 hadoop-yarn-registry-2.7.0.jar
-rw-r--r--  1 hduser hduser  1655209 Apr 10 11:51 hadoop-yarn-common-2.7.0.jar
-rw-r--r--  1 hduser hduser   141988 Apr 10 11:51 hadoop-yarn-client-2.7.0.jar
-rw-r--r--  1 hduser hduser    14038 Apr 10 11:51 hadoop-yarn-applications-unmanaged-am-launcher-2.7.0.jar
-rw-r--r--  1 hduser hduser    46326 Apr 10 11:51 hadoop-yarn-applications-distributedshell-2.7.0.jar
-rw-r--r--  1 hduser hduser  2009286 Apr 10 11:51 hadoop-yarn-api-2.7.0.jar
-rw-r--r--  1 hduser hduser   105874 Apr 10 11:51 hadoop-streaming-2.7.0.jar
-rw-r--r--  1 hduser hduser   115027 Apr 10 11:51 hadoop-sls-2.7.0.jar
-rw-r--r--  1 hduser hduser   281477 Apr 10 11:51 hadoop-rumen-2.7.0.jar
-rw-r--r--  1 hduser hduser   114815 Apr 10 11:51 hadoop-openstack-2.7.0.jar
-rw-r--r--  1 hduser hduser   159466 Apr 10 11:51 hadoop-nfs-2.7.0.jar
-rw-r--r--  1 hduser hduser   273436 Apr 10 11:51 hadoop-mapreduce-examples-2.7.0.jar
-rw-r--r--  1 hduser hduser    44658 Apr 10 11:51 hadoop-mapreduce-client-shuffle-2.7.0.jar
-rw-r--r--  1 hduser hduser  1530257 Apr 10 11:51 hadoop-mapreduce-client-jobclient-2.7.0-tests.jar
-rw-r--r--  1 hduser hduser    37558 Apr 10 11:51 hadoop-mapreduce-client-jobclient-2.7.0.jar
-rw-r--r--  1 hduser hduser     4136 Apr 10 11:51 hadoop-mapreduce-client-hs-plugins-2.7.0.jar
-rw-r--r--  1 hduser hduser   161677 Apr 10 11:51 hadoop-mapreduce-client-hs-2.7.0.jar
-rw-r--r--  1 hduser hduser  1529054 Apr 10 11:51 hadoop-mapreduce-client-core-2.7.0.jar
-rw-r--r--  1 hduser hduser   751807 Apr 10 11:51 hadoop-mapreduce-client-common-2.7.0.jar
-rw-r--r--  1 hduser hduser   510731 Apr 10 11:51 hadoop-mapreduce-client-app-2.7.0.jar
-rw-r--r--  1 hduser hduser   102458 Apr 10 11:51 hadoop-hdfs-nfs-2.7.0.jar
-rw-r--r--  1 hduser hduser  3220975 Apr 10 11:51 hadoop-hdfs-2.7.0-tests.jar
-rw-r--r--  1 hduser hduser  8215724 Apr 10 11:51 hadoop-hdfs-2.7.0.jar
-rw-r--r--  1 hduser hduser   217965 Apr 10 11:51 hadoop-gridmix-2.7.0.jar
-rw-r--r--  1 hduser hduser    64429 Apr 10 11:51 hadoop-extras-2.7.0.jar
-rw-r--r--  1 hduser hduser   102504 Apr 10 11:51 hadoop-distcp-2.7.0.jar
-rw-r--r--  1 hduser hduser    14739 Apr 10 11:51 hadoop-datajoin-2.7.0.jar
-rw-r--r--  1 hduser hduser  1858491 Apr 10 11:51 hadoop-common-2.7.0-tests.jar
-rw-r--r--  1 hduser hduser  3423861 Apr 10 11:51 hadoop-common-2.7.0.jar
-rw-r--r--  1 hduser hduser   134230 Apr 10 11:51 hadoop-azure-2.7.0.jar
-rw-r--r--  1 hduser hduser   102984 Apr 10 11:51 hadoop-aws-2.7.0.jar
-rw-r--r--  1 hduser hduser    70493 Apr 10 11:51 hadoop-auth-2.7.0.jar
-rw-r--r--  1 hduser hduser    21938 Apr 10 11:51 hadoop-archives-2.7.0.jar
-rw-r--r--  1 hduser hduser     9906 Apr 10 11:51 hadoop-ant-2.7.0.jar
-rw-r--r--  1 hduser hduser    17350 Apr 10 11:51 hadoop-annotations-2.7.0.jar
-rw-r--r--  1 hduser hduser    65012 Apr 10 11:51 guice-servlet-3.0.jar
-rw-r--r--  1 hduser hduser   710492 Apr 10 11:51 guice-3.0.jar
-rw-r--r--  1 hduser hduser   190432 Apr 10 11:51 gson-2.2.4.jar
-rw-r--r--  1 hduser hduser   270342 Apr 10 11:51 curator-recipes-2.7.1.jar
-rw-r--r--  1 hduser hduser   186273 Apr 10 11:51 curator-framework-2.7.1.jar
-rw-r--r--  1 hduser hduser    69500 Apr 10 11:51 curator-client-2.7.1.jar
-rw-r--r--  1 hduser hduser   273370 Apr 10 11:51 commons-net-3.1.jar
-rw-r--r--  1 hduser hduser  1599627 Apr 10 11:51 commons-math3-3.1.1.jar
-rw-r--r--  1 hduser hduser   412739 Apr 10 11:51 commons-lang3-3.3.2.jar
-rw-r--r--  1 hduser hduser    24239 Apr 10 11:51 commons-daemon-1.0.13.jar
-rw-r--r--  1 hduser hduser   662947 Apr 10 11:51 azure-storage-2.0.0.jar
-rw-r--r--  1 hduser hduser 11948376 Apr 10 11:51 aws-java-sdk-1.7.4.jar
-rw-r--r--  1 hduser hduser   303139 Apr 10 11:51 avro-1.7.4.jar
-rw-r--r--  1 hduser hduser    43398 Apr 10 11:51 asm-3.2.jar
-rw-r--r--  1 hduser hduser    79912 Apr 10 11:51 api-util-1.0.0-M20.jar
-rw-r--r--  1 hduser hduser    16560 Apr 10 11:51 api-asn1-api-1.0.0-M20.jar
-rw-r--r--  1 hduser hduser   691479 Apr 10 11:51 apacheds-kerberos-codec-2.0.0-M15.jar
-rw-r--r--  1 hduser hduser    44925 Apr 10 11:51 apacheds-i18n-2.0.0-M15.jar
-rw-r--r--  1 hduser hduser     4467 Apr 10 11:51 aopalliance-1.0.jar
-rw-r--r--  1 hduser hduser    67166 May  7 07:28 hadoop-auth-2.6.0.jar1
drwxrwxr-x  6 hduser hduser     4096 May  8 02:54 php
drwxrwxr-x 10 hduser hduser     4096 May  8 02:54 py
drwxrwxr-x 10 hduser hduser     4096 Sep 21 00:33 ..
lrwxrwxrwx  1 hduser hduser       47 Sep 21 00:34 mysql-connector-java-5.1.32.jar -> /usr/share/java/mysql-connector-java-5.1.32.jar
drwxrwxr-x  6 hduser hduser    16384 Sep 21 00:55 .

我还在 hive conf 文件夹中添加了 hadoop 和 hbase conf

hduser@ubuntu:/usr/lib/hive/conf$ ls -ltr
total 1000
-rw-r--r-- 1 hduser hduser     10 May 22  2013 regionservers
-rw-r--r-- 1 hduser hduser   2250 May 22  2013 hbase-policy.xml
-rw-r--r-- 1 hduser hduser   2378 May  3  2014 hive-env.sh.template
-rw-r--r-- 1 hduser hduser   3050 May 20  2014 hive-log4j.properties.template
-rw-r--r-- 1 hduser hduser   2662 May 20  2014 hive-exec-log4j.properties.template
-rw-r--r-- 1 hduser hduser   6316 Feb  2  2015 hbase-env.sh
-rw-r--r-- 1 hduser hduser   1139 Feb 12  2015 beeline-log4j.properties.template
-rw-r--r-- 1 hduser hduser 154793 Feb 18  2015 hive-default.xml.template
-rw-r--r-- 1 hduser hduser   4567 Apr 10 11:51 yarn-env.sh
-rw-r--r-- 1 hduser hduser   2250 Apr 10 11:51 yarn-env.cmd
-rw-r--r-- 1 hduser hduser   2268 Apr 10 11:51 ssl-server.xml.example
-rw-r--r-- 1 hduser hduser   2316 Apr 10 11:51 ssl-client.xml.example
-rw-r--r-- 1 hduser hduser     10 Apr 10 11:51 slaves
-rw-r--r-- 1 hduser hduser    758 Apr 10 11:51 mapred-site.xml.template
-rw-r--r-- 1 hduser hduser   4113 Apr 10 11:51 mapred-queues.xml.template
-rw-r--r-- 1 hduser hduser   1383 Apr 10 11:51 mapred-env.sh
-rw-r--r-- 1 hduser hduser    951 Apr 10 11:51 mapred-env.cmd
-rw-r--r-- 1 hduser hduser  11237 Apr 10 11:51 log4j.properties
-rw-r--r-- 1 hduser hduser   5511 Apr 10 11:51 kms-site.xml
-rw-r--r-- 1 hduser hduser   1631 Apr 10 11:51 kms-log4j.properties
-rw-r--r-- 1 hduser hduser   1527 Apr 10 11:51 kms-env.sh
-rw-r--r-- 1 hduser hduser   3518 Apr 10 11:51 kms-acls.xml
-rw-r--r-- 1 hduser hduser    620 Apr 10 11:51 httpfs-site.xml
-rw-r--r-- 1 hduser hduser     21 Apr 10 11:51 httpfs-signature.secret
-rw-r--r-- 1 hduser hduser   1657 Apr 10 11:51 httpfs-log4j.properties
-rw-r--r-- 1 hduser hduser   1449 Apr 10 11:51 httpfs-env.sh
-rw-r--r-- 1 hduser hduser   9683 Apr 10 11:51 hadoop-policy.xml
-rw-r--r-- 1 hduser hduser   2490 Apr 10 11:51 hadoop-metrics.properties
-rw-r--r-- 1 hduser hduser   2598 Apr 10 11:51 hadoop-metrics2.properties
-rw-r--r-- 1 hduser hduser   3670 Apr 10 11:51 hadoop-env.cmd
-rw-r--r-- 1 hduser hduser    318 Apr 10 11:51 container-executor.cfg
-rw-r--r-- 1 hduser hduser   1335 Apr 10 11:51 configuration.xsl
-rw-r--r-- 1 hduser hduser   4436 Apr 10 11:51 capacity-scheduler.xml
-rw-r--r-- 1 hduser hduser    893 May  7 21:05 yarn-site.xml
-rw-r--r-- 1 hduser hduser    845 May  7 21:07 mapred-site.xml
-rw-r--r-- 1 hduser hduser   1300 May  7 22:57 hdfs-site.xml
-rw-r--r-- 1 hduser hduser 156183 May  8 03:41 hive-default.xml~
-rw-r--r-- 1 hduser hduser 156183 May  8 04:02 hive-default.xml
drwxrwxr-x 5 hduser hduser   4096 May  8 07:10 metastore_db
-rw-rw-r-- 1 hduser hduser    638 May  8 07:10 derby.log
-rw-r--r-- 1 hduser hduser    874 May  9 23:18 core-site.xml
drwxrwxr-x 3 hduser hduser   4096 May 13 00:18 $system:java.io.tmpdir
-rw-r--r-- 1 hduser hduser   4837 May 13 00:51 hadoop-env.sh
-rw-r--r-- 1 hduser hduser   3033 May 19 20:47 hive-log4j.properties~
-rw-r--r-- 1 hduser hduser   3035 May 19 20:48 hive-log4j.properties
-rwxr-xr-x 1 hduser hduser   1832 May 20 02:28 hiverc_old
-rw-r--r-- 1 hduser hduser   1629 Sep 20 17:26 hbase-site.xml
-rw-r--r-- 1 hduser hduser   2708 Sep 21 00:33 hive-env.sh~
-rw-r--r-- 1 hduser hduser 158846 Sep 21 00:41 hive-site.xml~
-rw-r--r-- 1 hduser hduser 158844 Sep 21 00:42 hive-site.xml
-rw-r--r-- 1 hduser hduser   2660 Sep 21 00:43 hive-env.sh

也在 hive_env.sh 文件中我在下面指定:

export HIVE_AUX_JARS_PATH=/usr/lib/hive/auxlib

#export JAVA_HOME=/usr/lib/jvm/jdk1.8.0/
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0/
export HADOOP_HOME=/usr/local/hadoop
export HIVE_HOME=/usr/lib/hive

export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$PATH

尝试从 hive 创建 Hbase 表时仍然出现错误。我还缺少什么吗?

【问题讨论】:

【参考方案1】:

我使用了 Hadoop-2.7、Hive-1.1、HBase-1.0.0 使用以下语法:

hbase shell

create 'people', 'info'

输入“人”、“100”、“信息:名称”、“纳迦” 输入“人”、“101”、“信息:姓名”、“湿婆” 把'人','100','信息:年龄',30 把'人','101','信息:年龄',35

蜂巢

CREATE external TABLE people(rid string, name string, age int) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:name,info:age", "hbase.table.name" = "people");

蜂巢>从人中选择*; 好的 100 纳迦 30 101 湿婆 35 耗时:0.115 秒,抓取:2 行

注意:如果它不起作用,请检查 jars 兼容性和任何缺少的 jars。

更新:即使这个也可以正常工作:

CREATE TABLE hbase_people(rid string, name string, age int) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:name,info:age", "hbase.table.name" = "hbase_people");

好的

耗时:0.48 秒

【讨论】:

外部表没问题。但我正在尝试的不是外部表。在这里,我尝试仅从 Hive 创建 HBase 表。 HBase 1.0.0版本没找到,能否分享下下载链接

以上是关于无法使用 Hive 版本 1.1.0 HBase 版本 0.94.8 和 hadoop 版本 2.7.0 从 Hive 创建 Hbase 表的主要内容,如果未能解决你的问题,请参考以下文章

如何从 hive 或 impala 读取 Hbase 当前和以前版本的数据?

HBase实践 —— hive-hbase交互集成实践总结

无法使用 jdbc 通过 Hive 连接到 HBase

蜂巢计数查询无法完成它永远运行

HBase

HiveContext - 无法访问在 hive 中映射为外部表的 hbase 表