无法使用 Hive 版本 1.1.0 HBase 版本 0.94.8 和 hadoop 版本 2.7.0 从 Hive 创建 Hbase 表
Posted
技术标签:
【中文标题】无法使用 Hive 版本 1.1.0 HBase 版本 0.94.8 和 hadoop 版本 2.7.0 从 Hive 创建 Hbase 表【英文标题】:Unable to create Hbase table from hive with Hive version 1.1.0 HBase version 0.94.8 and hadoop version 2.7.0 【发布时间】:2015-09-21 08:02:34 【问题描述】:无法从 Hive 版本 1.1.0 HBase 版本 0.94.8 和 hadoop 版本 2.7.0 的 Hive 创建 Hbase 表
hive (default)> CREATE TABLE test_hive_hbase(eid int, ename string, esal double)
> STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
> WITH SERDEPROPERTIES
> ("hbase.columns.mapping" = ":key,cfstr:enm,cfsal:esl")
> TBLPROPERTIES ("hbase.table.name" = "test_hive_hbase");
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org/apache/hadoop/hbase/HBaseConfiguration
我在 hive 下创建了一个 auxlib 文件夹,并添加了来自 hive、hbase 和 hadoop 的所有 jar。
hduser@ubuntu:/usr/lib/hive/auxlib$ ls -latr
total 174536
-rw-r--r-- 1 hduser hduser 822524 Oct 19 2011 mysql-connector-java-5.1.16.jar
drwxr-xr-x 5 hduser hduser 4096 May 22 2013 ruby
drwxr-xr-x 3 hduser hduser 4096 May 22 2013 native
-rw-r--r-- 1 hduser hduser 779974 May 22 2013 zookeeper-3.4.5.jar1
-rw-r--r-- 1 hduser hduser 449505 May 22 2013 velocity-1.7.jar
-rw-r--r-- 1 hduser hduser 995720 May 22 2013 snappy-java-1.0.3.2.jar
-rw-r--r-- 1 hduser hduser 8601 May 22 2013 slf4j-log4j12-1.4.3.jar
-rw-r--r-- 1 hduser hduser 15345 May 22 2013 slf4j-api-1.4.3.jar
-rw-r--r-- 1 hduser hduser 132368 May 22 2013 servlet-api-2.5-6.1.14.jar
-rw-r--r-- 1 hduser hduser 449818 May 22 2013 protobuf-java-2.4.0a.jar
-rw-r--r-- 1 hduser hduser 790250 May 22 2013 netty-3.2.4.Final.jar
-rw-r--r-- 1 hduser hduser 82445 May 22 2013 metrics-core-2.1.2.jar
-rw-r--r-- 1 hduser hduser 336580 May 22 2013 libthrift-0.8.0.jar1
-rw-r--r-- 1 hduser hduser 33015 May 22 2013 jsr305-1.3.9.jar
-rw-r--r-- 1 hduser hduser 134910 May 22 2013 jsp-api-2.1-6.1.14.jar
-rw-r--r-- 1 hduser hduser 1024680 May 22 2013 jsp-2.1-6.1.14.jar
-rw-r--r-- 1 hduser hduser 13312045 May 22 2013 jruby-complete-1.6.5.jar
-rw-r--r-- 1 hduser hduser 177131 May 22 2013 jetty-util-6.1.26.jar
-rw-r--r-- 1 hduser hduser 539912 May 22 2013 jetty-6.1.26.jar
-rw-r--r-- 1 hduser hduser 67758 May 22 2013 jettison-1.1.jar
-rw-r--r-- 1 hduser hduser 147933 May 22 2013 jersey-json-1.8.jar
-rw-r--r-- 1 hduser hduser 458233 May 22 2013 jersey-core-1.8.jar
-rw-r--r-- 1 hduser hduser 890168 May 22 2013 jaxb-impl-2.2.3-1.jar
-rw-r--r-- 1 hduser hduser 89967 May 22 2013 jaxb-api-2.1.jar
-rw-r--r-- 1 hduser hduser 76844 May 22 2013 jasper-runtime-5.5.23.jar
-rw-r--r-- 1 hduser hduser 408133 May 22 2013 jasper-compiler-5.5.23.jar
-rw-r--r-- 1 hduser hduser 20642 May 22 2013 jamon-runtime-2.3.1.jar
-rw-r--r-- 1 hduser hduser 32353 May 22 2013 jackson-xc-1.8.8.jar
-rw-r--r-- 1 hduser hduser 669065 May 22 2013 jackson-mapper-asl-1.8.8.jar
-rw-r--r-- 1 hduser hduser 17884 May 22 2013 jackson-jaxrs-1.8.8.jar
-rw-r--r-- 1 hduser hduser 227517 May 22 2013 jackson-core-asl-1.8.8.jar
-rw-r--r-- 1 hduser hduser 181201 May 22 2013 httpcore-4.1.3.jar
-rw-r--r-- 1 hduser hduser 352254 May 22 2013 httpclient-4.1.2.jar
-rw-r--r-- 1 hduser hduser 95975 May 22 2013 high-scale-lib-1.1.1.jar
-rw-r--r-- 1 hduser hduser 1648200 May 22 2013 guava-11.0.2.jar1
-rw-r--r-- 1 hduser hduser 3566844 May 22 2013 core-3.1.1.jar
-rw-r--r-- 1 hduser hduser 60686 May 22 2013 commons-logging-1.1.1.jar
-rw-r--r-- 1 hduser hduser 279193 May 22 2013 commons-lang-2.5.jar1
-rw-r--r-- 1 hduser hduser 163151 May 22 2013 commons-io-2.1.jar
-rw-r--r-- 1 hduser hduser 305001 May 22 2013 commons-httpclient-3.1.jar
-rw-r--r-- 1 hduser hduser 112341 May 22 2013 commons-el-1.0.jar
-rw-r--r-- 1 hduser hduser 168042 May 22 2013 avro-ipc-1.5.3.jar
-rw-r--r-- 1 hduser hduser 263268 May 22 2013 avro-1.5.3.jar
-rw-r--r-- 1 hduser hduser 15010 May 22 2013 xmlenc-0.52.jar
-rw-r--r-- 1 hduser hduser 253205 May 22 2013 junit-4.10-HBASE-1.jar
-rw-r--r-- 1 hduser hduser 694352 May 22 2013 jersey-server-1.8.jar
-rw-r--r-- 1 hduser hduser 3929148 May 22 2013 hadoop-core-1.0.4.jar1
-rw-r--r-- 1 hduser hduser 180792 May 22 2013 commons-net-1.4.1.jar1
-rw-r--r-- 1 hduser hduser 43033 May 22 2013 asm-3.1.jar
-rw-rw-r-- 1 hduser hduser 4203147 Jul 22 2013 hadoop-core-1.2.1.jar
-rw-r--r-- 1 hduser hduser 481535 May 20 2014 log4j-1.2.16.jar1
-rw-r--r-- 1 hduser hduser 41123 May 20 2014 commons-cli-1.2.jar
-rw-r--r-- 1 hduser hduser 575389 May 20 2014 commons-collections-3.2.1.jar
-rw-r--r-- 1 hduser hduser 105112 May 20 2014 servlet-api-2.5.jar
-rw-r--r-- 1 hduser hduser 143602 May 20 2014 commons-digester-1.8.jar
-rw-r--r-- 1 hduser hduser 188671 May 20 2014 commons-beanutils-1.7.0.jar
-rw-r--r-- 1 hduser hduser 65261 May 20 2014 oro-2.0.8.jar
-rw-r--r-- 1 hduser hduser 392124 May 20 2014 velocity-1.5.jar
-rw-r--r-- 1 hduser hduser 18336 May 20 2014 ant-launcher-1.9.1.jar
-rw-r--r-- 1 hduser hduser 1997485 May 20 2014 ant-1.9.1.jar
-rw-r--r-- 1 hduser hduser 62050 May 20 2014 commons-logging-1.1.3.jar
-rw-r--r-- 1 hduser hduser 58160 May 20 2014 commons-codec-1.4.jar
-rw-r--r-- 1 hduser hduser 279781 May 20 2014 commons-httpclient-3.0.1.jar
-rw-r--r-- 1 hduser hduser 76643 May 20 2014 hamcrest-core-1.1.jar
-rw-r--r-- 1 hduser hduser 433368 May 20 2014 httpclient-4.2.5.jar
-rw-r--r-- 1 hduser hduser 227708 May 20 2014 httpcore-4.2.5.jar
-rw-r--r-- 1 hduser hduser 26514 May 20 2014 stax-api-1.0.1.jar
-rw-r--r-- 1 hduser hduser 62983 May 20 2014 activation-1.1.jar
-rw-r--r-- 1 hduser hduser 185140 May 20 2014 commons-io-2.4.jar
-rw-r--r-- 1 hduser hduser 298829 May 20 2014 commons-configuration-1.6.jar
-rw-r--r-- 1 hduser hduser 206035 May 20 2014 commons-beanutils-core-1.8.0.jar
-rw-r--r-- 1 hduser hduser 832410 May 20 2014 commons-math-2.1.jar
-rw-r--r-- 1 hduser hduser 29555 May 20 2014 paranamer-2.3.jar
-rw-r--r-- 1 hduser hduser 400680 May 20 2014 avro-1.7.5.jar
-rw-r--r-- 1 hduser hduser 241367 May 20 2014 commons-compress-1.4.1.jar
-rw-r--r-- 1 hduser hduser 94672 May 20 2014 xz-1.0.jar
-rw-r--r-- 1 hduser hduser 1251514 May 20 2014 snappy-java-1.0.5.jar
-rw-r--r-- 1 hduser hduser 110600 May 20 2014 bonecp-0.8.0.RELEASE.jar
-rw-r--r-- 1 hduser hduser 339666 May 20 2014 datanucleus-api-jdo-3.2.6.jar
-rw-r--r-- 1 hduser hduser 15071 May 20 2014 jta-1.1.jar
-rw-r--r-- 1 hduser hduser 164368 May 20 2014 antlr-runtime-3.4.jar
-rw-r--r-- 1 hduser hduser 201124 May 20 2014 jdo-api-3.0.1.jar
-rw-r--r-- 1 hduser hduser 148627 May 20 2014 stringtemplate-3.2.1.jar
-rw-r--r-- 1 hduser hduser 445288 May 20 2014 antlr-2.7.7.jar
-rw-r--r-- 1 hduser hduser 1809447 May 20 2014 datanucleus-rdbms-3.2.9.jar
-rw-r--r-- 1 hduser hduser 1890075 May 20 2014 datanucleus-core-3.2.10.jar
-rw-r--r-- 1 hduser hduser 236660 May 20 2014 ST4-4.0.4.jar
-rw-r--r-- 1 hduser hduser 6377448 May 20 2014 groovy-all-2.1.6.jar
-rw-r--r-- 1 hduser hduser 12131 May 20 2014 jpam-1.1.jar
-rw-r--r-- 1 hduser hduser 16030 May 20 2014 geronimo-jta_1.1_spec-1.1.1.jar
-rw-r--r-- 1 hduser hduser 30548 May 20 2014 geronimo-jaspic_1.0_spec-1.0.jar
-rw-r--r-- 1 hduser hduser 12452 May 20 2014 geronimo-annotation_1.0_spec-1.1.1.jar
-rw-r--r-- 1 hduser hduser 21879 May 20 2014 asm-tree-3.1.jar
-rw-r--r-- 1 hduser hduser 32693 May 20 2014 asm-commons-3.1.jar
-rw-r--r-- 1 hduser hduser 447676 May 20 2014 mail-1.4.1.jar
-rw-r--r-- 1 hduser hduser 1681148 May 20 2014 jetty-all-7.6.0.v20120127.jar
-rw-r--r-- 1 hduser hduser 1683027 May 20 2014 jetty-all-server-7.6.0.v20120127.jar
-rw-r--r-- 1 hduser hduser 55953 May 20 2014 tempus-fugit-1.1.jar
-rw-r--r-- 1 hduser hduser 250546 May 20 2014 plexus-utils-1.5.6.jar
-rw-r--r-- 1 hduser hduser 284220 May 27 2014 commons-lang-2.6.jar
-rw-r--r-- 1 hduser hduser 245039 May 31 2014 junit-4.11.jar
-rw-r--r-- 1 hduser hduser 2189117 Jul 15 2014 guava-14.0.1.jar
-rw-r--r-- 1 hduser hduser 96221 Jul 16 2014 commons-pool-1.5.4.jar
-rw-r--r-- 1 hduser hduser 160519 Jul 16 2014 commons-dbcp-1.4.jar
-rw-r--r-- 1 hduser hduser 19827 Jul 29 2014 opencsv-2.3.jar
-rw-r--r-- 1 hduser hduser 25429 Aug 1 2014 regexp-1.3.jar
-rw-r--r-- 1 hduser hduser 792964 Aug 12 2014 zookeeper-3.4.6.jar
-rw-r--r-- 1 hduser hduser 1208356 Aug 12 2014 netty-3.7.0.Final.jar
-rw-r--r-- 1 hduser hduser 93210 Aug 12 2014 super-csv-2.2.0.jar
-rw-r--r-- 1 hduser hduser 69858 Aug 20 2014 maven-scm-provider-svnexe-1.4.jar
-rw-r--r-- 1 hduser hduser 40066 Aug 20 2014 maven-scm-provider-svn-commons-1.4.jar
-rw-r--r-- 1 hduser hduser 94421 Aug 20 2014 maven-scm-api-1.4.jar
-rw-r--r-- 1 hduser hduser 60527 Aug 20 2014 jcommander-1.32.jar
-rw-r--r-- 1 hduser hduser 415578 Aug 20 2014 commons-vfs2-2.0.jar
-rw-r--r-- 1 hduser hduser 117409 Aug 20 2014 accumulo-trace-1.6.0.jar
-rw-r--r-- 1 hduser hduser 57420 Aug 20 2014 accumulo-start-1.6.0.jar
-rw-r--r-- 1 hduser hduser 102069 Aug 20 2014 accumulo-fate-1.6.0.jar
-rw-r--r-- 1 hduser hduser 4368200 Aug 20 2014 accumulo-core-1.6.0.jar
-rw-r--r-- 1 hduser hduser 30359 Sep 17 2014 apache-curator-2.6.0.pom
-rw-r--r-- 1 hduser hduser 185245 Sep 17 2014 curator-framework-2.6.0.jar1
-rw-r--r-- 1 hduser hduser 68866 Sep 17 2014 curator-client-2.6.0.jar1
-rw-r--r-- 1 hduser hduser 30595 Oct 1 2014 commons-compiler-2.7.6.jar
-rw-r--r-- 1 hduser hduser 611863 Oct 1 2014 janino-2.7.6.jar
-rw-r--r-- 1 hduser hduser 18402 Oct 1 2014 eigenbase-properties-1.1.4.jar
-rw-r--r-- 1 hduser hduser 33031 Nov 17 2014 jsr305-3.0.0.jar
-rw-r--r-- 1 hduser hduser 227712 Nov 19 2014 libthrift-0.9.2.jar
-rw-r--r-- 1 hduser hduser 213854 Nov 19 2014 jline-2.12.jar
-rw-r--r-- 1 hduser hduser 2771530 Nov 19 2014 parquet-hadoop-bundle-1.6.0rc3.jar
-rw-r--r-- 1 hduser hduser 313686 Nov 19 2014 libfb303-0.9.2.jar
-rw-r--r-- 1 hduser hduser 3103132 Nov 19 2014 derby-10.11.1.1.jar
-rw-r--r-- 1 hduser hduser 448794 Dec 11 2014 apache-log4j-extras-1.2.17.jar
-rw-r--r-- 1 hduser hduser 432351 Feb 1 2015 calcite-linq4j-1.0.0-incubating.jar
-rw-r--r-- 1 hduser hduser 216853 Feb 1 2015 calcite-avatica-1.0.0-incubating.jar
-rw-r--r-- 1 hduser hduser 3295091 Feb 1 2015 calcite-core-1.0.0-incubating.jar
-rw-r--r-- 1 hduser hduser 48557 Feb 1 2015 pentaho-aggdesigner-algorithm-5.1.5-jhyde.jar
-rw-r--r-- 1 hduser hduser 108675 Feb 18 2015 hive-shims-common-1.1.0.jar
-rw-r--r-- 1 hduser hduser 31656 Feb 18 2015 hive-shims-0.20S-1.1.0.jar
-rw-r--r-- 1 hduser hduser 58444 Feb 18 2015 hive-shims-0.23-1.1.0.jar
-rw-r--r-- 1 hduser hduser 13074 Feb 18 2015 hive-shims-scheduler-1.1.0.jar
-rw-r--r-- 1 hduser hduser 8953 Feb 18 2015 hive-shims-1.1.0.jar
-rw-r--r-- 1 hduser hduser 238123 Feb 18 2015 hive-common-1.1.0.jar
-rw-r--r-- 1 hduser hduser 809287 Feb 18 2015 hive-serde-1.1.0.jar
-rw-r--r-- 1 hduser hduser 5273347 Feb 18 2015 hive-metastore-1.1.0.jar
-rw-r--r-- 1 hduser hduser 42296 Feb 18 2015 hive-ant-1.1.0.jar
-rw-r--r-- 1 hduser hduser 18438062 Feb 18 2015 hive-exec-1.1.0.jar
-rw-r--r-- 1 hduser hduser 1860639 Feb 18 2015 hive-service-1.1.0.jar
-rw-r--r-- 1 hduser hduser 93137 Feb 18 2015 hive-jdbc-1.1.0.jar
-rw-r--r-- 1 hduser hduser 113184 Feb 18 2015 hive-accumulo-handler-1.1.0.jar
-rw-r--r-- 1 hduser hduser 37446 Feb 18 2015 hive-cli-1.1.0.jar
-rw-r--r-- 1 hduser hduser 133166 Feb 18 2015 hive-beeline-1.1.0.jar
-rw-r--r-- 1 hduser hduser 121456 Feb 18 2015 hive-contrib-1.1.0.jar
-rw-r--r-- 1 hduser hduser 115801 Feb 18 2015 hive-hbase-handler-1.1.0.jar
-rw-r--r-- 1 hduser hduser 27785 Feb 18 2015 hive-hwi-1.1.0.jar
-rw-r--r-- 1 hduser hduser 14527 Feb 18 2015 hive-testutils-1.1.0.jar
-rw-r--r-- 1 hduser hduser 539263 Apr 10 11:51 zookeeper-3.4.6-tests.jar
-rw-r--r-- 1 hduser hduser 194354 Apr 10 11:51 xml-apis-1.3.04.jar
-rw-r--r-- 1 hduser hduser 1229125 Apr 10 11:51 xercesImpl-2.9.1.jar
-rw-r--r-- 1 hduser hduser 23346 Apr 10 11:51 stax-api-1.0-2.jar
-rw-r--r-- 1 hduser hduser 995968 Apr 10 11:51 snappy-java-1.0.4.1.jar
-rw-r--r-- 1 hduser hduser 8866 Apr 10 11:51 slf4j-log4j12-1.7.10.jar
-rw-r--r-- 1 hduser hduser 32119 Apr 10 11:51 slf4j-api-1.7.10.jar
-rw-r--r-- 1 hduser hduser 533455 Apr 10 11:51 protobuf-java-2.5.0.jar
-rw-r--r-- 1 hduser hduser 1779991 Apr 10 11:51 netty-all-4.0.23.Final.jar
-rw-r--r-- 1 hduser hduser 1199572 Apr 10 11:51 netty-3.6.2.Final.jar
-rw-r--r-- 1 hduser hduser 1419869 Apr 10 11:51 mockito-all-1.8.5.jar
-rw-r--r-- 1 hduser hduser 85449 Apr 10 11:51 metrics-core-3.0.1.jar
-rw-r--r-- 1 hduser hduser 489884 Apr 10 11:51 log4j-1.2.17.jar
-rw-r--r-- 1 hduser hduser 1045744 Apr 10 11:51 leveldbjni-all-1.8.jar
-rw-r--r-- 1 hduser hduser 100636 Apr 10 11:51 jsp-api-2.1.jar
-rw-r--r-- 1 hduser hduser 185746 Apr 10 11:51 jsch-0.1.42.jar
-rw-r--r-- 1 hduser hduser 589289 Apr 10 11:51 joda-time-2.7.jar
-rw-r--r-- 1 hduser hduser 539735 Apr 10 11:51 jets3t-0.9.0.jar
-rw-r--r-- 1 hduser hduser 713089 Apr 10 11:51 jersey-server-1.9.jar
-rw-r--r-- 1 hduser hduser 147952 Apr 10 11:51 jersey-json-1.9.jar
-rw-r--r-- 1 hduser hduser 14786 Apr 10 11:51 jersey-guice-1.9.jar
-rw-r--r-- 1 hduser hduser 458739 Apr 10 11:51 jersey-core-1.9.jar
-rw-r--r-- 1 hduser hduser 130458 Apr 10 11:51 jersey-client-1.9.jar
-rw-r--r-- 1 hduser hduser 105134 Apr 10 11:51 jaxb-api-2.2.2.jar
-rw-r--r-- 1 hduser hduser 18490 Apr 10 11:51 java-xmlbuilder-0.4.jar
-rw-r--r-- 1 hduser hduser 2497 Apr 10 11:51 javax.inject-1.jar
-rw-r--r-- 1 hduser hduser 27084 Apr 10 11:51 jackson-xc-1.9.13.jar
-rw-r--r-- 1 hduser hduser 780664 Apr 10 11:51 jackson-mapper-asl-1.9.13.jar
-rw-r--r-- 1 hduser hduser 18336 Apr 10 11:51 jackson-jaxrs-1.9.13.jar
-rw-r--r-- 1 hduser hduser 865838 Apr 10 11:51 jackson-databind-2.2.3.jar
-rw-r--r-- 1 hduser hduser 232248 Apr 10 11:51 jackson-core-asl-1.9.13.jar
-rw-r--r-- 1 hduser hduser 192699 Apr 10 11:51 jackson-core-2.2.3.jar
-rw-r--r-- 1 hduser hduser 33483 Apr 10 11:51 jackson-annotations-2.2.3.jar
-rw-r--r-- 1 hduser hduser 1475955 Apr 10 11:51 htrace-core-3.1.0-incubating.jar
-rw-r--r-- 1 hduser hduser 45024 Apr 10 11:51 hamcrest-core-1.3.jar
-rw-r--r-- 1 hduser hduser 32018 Apr 10 11:51 hadoop-yarn-server-web-proxy-2.7.0.jar
-rw-r--r-- 1 hduser hduser 38363 Apr 10 11:51 hadoop-yarn-server-tests-2.7.0.jar
-rw-r--r-- 1 hduser hduser 52865 Apr 10 11:51 hadoop-yarn-server-sharedcachemanager-2.7.0.jar
-rw-r--r-- 1 hduser hduser 1227925 Apr 10 11:51 hadoop-yarn-server-resourcemanager-2.7.0.jar
-rw-r--r-- 1 hduser hduser 686156 Apr 10 11:51 hadoop-yarn-server-nodemanager-2.7.0.jar
-rw-r--r-- 1 hduser hduser 360828 Apr 10 11:51 hadoop-yarn-server-common-2.7.0.jar
-rw-r--r-- 1 hduser hduser 197128 Apr 10 11:51 hadoop-yarn-server-applicationhistoryservice-2.7.0.jar
-rw-r--r-- 1 hduser hduser 97753 Apr 10 11:51 hadoop-yarn-registry-2.7.0.jar
-rw-r--r-- 1 hduser hduser 1655209 Apr 10 11:51 hadoop-yarn-common-2.7.0.jar
-rw-r--r-- 1 hduser hduser 141988 Apr 10 11:51 hadoop-yarn-client-2.7.0.jar
-rw-r--r-- 1 hduser hduser 14038 Apr 10 11:51 hadoop-yarn-applications-unmanaged-am-launcher-2.7.0.jar
-rw-r--r-- 1 hduser hduser 46326 Apr 10 11:51 hadoop-yarn-applications-distributedshell-2.7.0.jar
-rw-r--r-- 1 hduser hduser 2009286 Apr 10 11:51 hadoop-yarn-api-2.7.0.jar
-rw-r--r-- 1 hduser hduser 105874 Apr 10 11:51 hadoop-streaming-2.7.0.jar
-rw-r--r-- 1 hduser hduser 115027 Apr 10 11:51 hadoop-sls-2.7.0.jar
-rw-r--r-- 1 hduser hduser 281477 Apr 10 11:51 hadoop-rumen-2.7.0.jar
-rw-r--r-- 1 hduser hduser 114815 Apr 10 11:51 hadoop-openstack-2.7.0.jar
-rw-r--r-- 1 hduser hduser 159466 Apr 10 11:51 hadoop-nfs-2.7.0.jar
-rw-r--r-- 1 hduser hduser 273436 Apr 10 11:51 hadoop-mapreduce-examples-2.7.0.jar
-rw-r--r-- 1 hduser hduser 44658 Apr 10 11:51 hadoop-mapreduce-client-shuffle-2.7.0.jar
-rw-r--r-- 1 hduser hduser 1530257 Apr 10 11:51 hadoop-mapreduce-client-jobclient-2.7.0-tests.jar
-rw-r--r-- 1 hduser hduser 37558 Apr 10 11:51 hadoop-mapreduce-client-jobclient-2.7.0.jar
-rw-r--r-- 1 hduser hduser 4136 Apr 10 11:51 hadoop-mapreduce-client-hs-plugins-2.7.0.jar
-rw-r--r-- 1 hduser hduser 161677 Apr 10 11:51 hadoop-mapreduce-client-hs-2.7.0.jar
-rw-r--r-- 1 hduser hduser 1529054 Apr 10 11:51 hadoop-mapreduce-client-core-2.7.0.jar
-rw-r--r-- 1 hduser hduser 751807 Apr 10 11:51 hadoop-mapreduce-client-common-2.7.0.jar
-rw-r--r-- 1 hduser hduser 510731 Apr 10 11:51 hadoop-mapreduce-client-app-2.7.0.jar
-rw-r--r-- 1 hduser hduser 102458 Apr 10 11:51 hadoop-hdfs-nfs-2.7.0.jar
-rw-r--r-- 1 hduser hduser 3220975 Apr 10 11:51 hadoop-hdfs-2.7.0-tests.jar
-rw-r--r-- 1 hduser hduser 8215724 Apr 10 11:51 hadoop-hdfs-2.7.0.jar
-rw-r--r-- 1 hduser hduser 217965 Apr 10 11:51 hadoop-gridmix-2.7.0.jar
-rw-r--r-- 1 hduser hduser 64429 Apr 10 11:51 hadoop-extras-2.7.0.jar
-rw-r--r-- 1 hduser hduser 102504 Apr 10 11:51 hadoop-distcp-2.7.0.jar
-rw-r--r-- 1 hduser hduser 14739 Apr 10 11:51 hadoop-datajoin-2.7.0.jar
-rw-r--r-- 1 hduser hduser 1858491 Apr 10 11:51 hadoop-common-2.7.0-tests.jar
-rw-r--r-- 1 hduser hduser 3423861 Apr 10 11:51 hadoop-common-2.7.0.jar
-rw-r--r-- 1 hduser hduser 134230 Apr 10 11:51 hadoop-azure-2.7.0.jar
-rw-r--r-- 1 hduser hduser 102984 Apr 10 11:51 hadoop-aws-2.7.0.jar
-rw-r--r-- 1 hduser hduser 70493 Apr 10 11:51 hadoop-auth-2.7.0.jar
-rw-r--r-- 1 hduser hduser 21938 Apr 10 11:51 hadoop-archives-2.7.0.jar
-rw-r--r-- 1 hduser hduser 9906 Apr 10 11:51 hadoop-ant-2.7.0.jar
-rw-r--r-- 1 hduser hduser 17350 Apr 10 11:51 hadoop-annotations-2.7.0.jar
-rw-r--r-- 1 hduser hduser 65012 Apr 10 11:51 guice-servlet-3.0.jar
-rw-r--r-- 1 hduser hduser 710492 Apr 10 11:51 guice-3.0.jar
-rw-r--r-- 1 hduser hduser 190432 Apr 10 11:51 gson-2.2.4.jar
-rw-r--r-- 1 hduser hduser 270342 Apr 10 11:51 curator-recipes-2.7.1.jar
-rw-r--r-- 1 hduser hduser 186273 Apr 10 11:51 curator-framework-2.7.1.jar
-rw-r--r-- 1 hduser hduser 69500 Apr 10 11:51 curator-client-2.7.1.jar
-rw-r--r-- 1 hduser hduser 273370 Apr 10 11:51 commons-net-3.1.jar
-rw-r--r-- 1 hduser hduser 1599627 Apr 10 11:51 commons-math3-3.1.1.jar
-rw-r--r-- 1 hduser hduser 412739 Apr 10 11:51 commons-lang3-3.3.2.jar
-rw-r--r-- 1 hduser hduser 24239 Apr 10 11:51 commons-daemon-1.0.13.jar
-rw-r--r-- 1 hduser hduser 662947 Apr 10 11:51 azure-storage-2.0.0.jar
-rw-r--r-- 1 hduser hduser 11948376 Apr 10 11:51 aws-java-sdk-1.7.4.jar
-rw-r--r-- 1 hduser hduser 303139 Apr 10 11:51 avro-1.7.4.jar
-rw-r--r-- 1 hduser hduser 43398 Apr 10 11:51 asm-3.2.jar
-rw-r--r-- 1 hduser hduser 79912 Apr 10 11:51 api-util-1.0.0-M20.jar
-rw-r--r-- 1 hduser hduser 16560 Apr 10 11:51 api-asn1-api-1.0.0-M20.jar
-rw-r--r-- 1 hduser hduser 691479 Apr 10 11:51 apacheds-kerberos-codec-2.0.0-M15.jar
-rw-r--r-- 1 hduser hduser 44925 Apr 10 11:51 apacheds-i18n-2.0.0-M15.jar
-rw-r--r-- 1 hduser hduser 4467 Apr 10 11:51 aopalliance-1.0.jar
-rw-r--r-- 1 hduser hduser 67166 May 7 07:28 hadoop-auth-2.6.0.jar1
drwxrwxr-x 6 hduser hduser 4096 May 8 02:54 php
drwxrwxr-x 10 hduser hduser 4096 May 8 02:54 py
drwxrwxr-x 10 hduser hduser 4096 Sep 21 00:33 ..
lrwxrwxrwx 1 hduser hduser 47 Sep 21 00:34 mysql-connector-java-5.1.32.jar -> /usr/share/java/mysql-connector-java-5.1.32.jar
drwxrwxr-x 6 hduser hduser 16384 Sep 21 00:55 .
我还在 hive conf 文件夹中添加了 hadoop 和 hbase conf
hduser@ubuntu:/usr/lib/hive/conf$ ls -ltr
total 1000
-rw-r--r-- 1 hduser hduser 10 May 22 2013 regionservers
-rw-r--r-- 1 hduser hduser 2250 May 22 2013 hbase-policy.xml
-rw-r--r-- 1 hduser hduser 2378 May 3 2014 hive-env.sh.template
-rw-r--r-- 1 hduser hduser 3050 May 20 2014 hive-log4j.properties.template
-rw-r--r-- 1 hduser hduser 2662 May 20 2014 hive-exec-log4j.properties.template
-rw-r--r-- 1 hduser hduser 6316 Feb 2 2015 hbase-env.sh
-rw-r--r-- 1 hduser hduser 1139 Feb 12 2015 beeline-log4j.properties.template
-rw-r--r-- 1 hduser hduser 154793 Feb 18 2015 hive-default.xml.template
-rw-r--r-- 1 hduser hduser 4567 Apr 10 11:51 yarn-env.sh
-rw-r--r-- 1 hduser hduser 2250 Apr 10 11:51 yarn-env.cmd
-rw-r--r-- 1 hduser hduser 2268 Apr 10 11:51 ssl-server.xml.example
-rw-r--r-- 1 hduser hduser 2316 Apr 10 11:51 ssl-client.xml.example
-rw-r--r-- 1 hduser hduser 10 Apr 10 11:51 slaves
-rw-r--r-- 1 hduser hduser 758 Apr 10 11:51 mapred-site.xml.template
-rw-r--r-- 1 hduser hduser 4113 Apr 10 11:51 mapred-queues.xml.template
-rw-r--r-- 1 hduser hduser 1383 Apr 10 11:51 mapred-env.sh
-rw-r--r-- 1 hduser hduser 951 Apr 10 11:51 mapred-env.cmd
-rw-r--r-- 1 hduser hduser 11237 Apr 10 11:51 log4j.properties
-rw-r--r-- 1 hduser hduser 5511 Apr 10 11:51 kms-site.xml
-rw-r--r-- 1 hduser hduser 1631 Apr 10 11:51 kms-log4j.properties
-rw-r--r-- 1 hduser hduser 1527 Apr 10 11:51 kms-env.sh
-rw-r--r-- 1 hduser hduser 3518 Apr 10 11:51 kms-acls.xml
-rw-r--r-- 1 hduser hduser 620 Apr 10 11:51 httpfs-site.xml
-rw-r--r-- 1 hduser hduser 21 Apr 10 11:51 httpfs-signature.secret
-rw-r--r-- 1 hduser hduser 1657 Apr 10 11:51 httpfs-log4j.properties
-rw-r--r-- 1 hduser hduser 1449 Apr 10 11:51 httpfs-env.sh
-rw-r--r-- 1 hduser hduser 9683 Apr 10 11:51 hadoop-policy.xml
-rw-r--r-- 1 hduser hduser 2490 Apr 10 11:51 hadoop-metrics.properties
-rw-r--r-- 1 hduser hduser 2598 Apr 10 11:51 hadoop-metrics2.properties
-rw-r--r-- 1 hduser hduser 3670 Apr 10 11:51 hadoop-env.cmd
-rw-r--r-- 1 hduser hduser 318 Apr 10 11:51 container-executor.cfg
-rw-r--r-- 1 hduser hduser 1335 Apr 10 11:51 configuration.xsl
-rw-r--r-- 1 hduser hduser 4436 Apr 10 11:51 capacity-scheduler.xml
-rw-r--r-- 1 hduser hduser 893 May 7 21:05 yarn-site.xml
-rw-r--r-- 1 hduser hduser 845 May 7 21:07 mapred-site.xml
-rw-r--r-- 1 hduser hduser 1300 May 7 22:57 hdfs-site.xml
-rw-r--r-- 1 hduser hduser 156183 May 8 03:41 hive-default.xml~
-rw-r--r-- 1 hduser hduser 156183 May 8 04:02 hive-default.xml
drwxrwxr-x 5 hduser hduser 4096 May 8 07:10 metastore_db
-rw-rw-r-- 1 hduser hduser 638 May 8 07:10 derby.log
-rw-r--r-- 1 hduser hduser 874 May 9 23:18 core-site.xml
drwxrwxr-x 3 hduser hduser 4096 May 13 00:18 $system:java.io.tmpdir
-rw-r--r-- 1 hduser hduser 4837 May 13 00:51 hadoop-env.sh
-rw-r--r-- 1 hduser hduser 3033 May 19 20:47 hive-log4j.properties~
-rw-r--r-- 1 hduser hduser 3035 May 19 20:48 hive-log4j.properties
-rwxr-xr-x 1 hduser hduser 1832 May 20 02:28 hiverc_old
-rw-r--r-- 1 hduser hduser 1629 Sep 20 17:26 hbase-site.xml
-rw-r--r-- 1 hduser hduser 2708 Sep 21 00:33 hive-env.sh~
-rw-r--r-- 1 hduser hduser 158846 Sep 21 00:41 hive-site.xml~
-rw-r--r-- 1 hduser hduser 158844 Sep 21 00:42 hive-site.xml
-rw-r--r-- 1 hduser hduser 2660 Sep 21 00:43 hive-env.sh
也在 hive_env.sh 文件中我在下面指定:
export HIVE_AUX_JARS_PATH=/usr/lib/hive/auxlib
#export JAVA_HOME=/usr/lib/jvm/jdk1.8.0/
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0/
export HADOOP_HOME=/usr/local/hadoop
export HIVE_HOME=/usr/lib/hive
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$PATH
尝试从 hive 创建 Hbase 表时仍然出现错误。我还缺少什么吗?
【问题讨论】:
【参考方案1】:我使用了 Hadoop-2.7、Hive-1.1、HBase-1.0.0 使用以下语法:
hbase shell
create 'people', 'info'
蜂巢
CREATE external TABLE people(rid string, name string, age int)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:name,info:age", "hbase.table.name" = "people");
注意:如果它不起作用,请检查 jars 兼容性和任何缺少的 jars。
更新:即使这个也可以正常工作:
CREATE TABLE hbase_people(rid string, name string, age int)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:name,info:age", "hbase.table.name" = "hbase_people");
好的
耗时:0.48 秒
【讨论】:
外部表没问题。但我正在尝试的不是外部表。在这里,我尝试仅从 Hive 创建 HBase 表。 HBase 1.0.0版本没找到,能否分享下下载链接以上是关于无法使用 Hive 版本 1.1.0 HBase 版本 0.94.8 和 hadoop 版本 2.7.0 从 Hive 创建 Hbase 表的主要内容,如果未能解决你的问题,请参考以下文章