无法查询/选择通过 Spark SQL 插入的数据
Posted
技术标签:
【中文标题】无法查询/选择通过 Spark SQL 插入的数据【英文标题】:Unable to query/select data those inserted through Spark SQL 【发布时间】:2019-02-12 10:04:13 【问题描述】:我正在尝试将数据插入到具有分区的 Hive 托管表中。
显示创建表输出以供参考。
+--------------------------------------------------------------------------------------------------+--+
| createtab_stmt |
+--------------------------------------------------------------------------------------------------+--+
| CREATE TABLE `part_test08`( |
| `id` string, |
| `name` string, |
| `baseamount` double, |
| `billtoaccid` string, |
| `extendedamount` double, |
| `netamount` decimal(19,5), |
| `netunitamount` decimal(19,5), |
| `pricingdate` timestamp, |
| `quantity` int, |
| `invoiceid` string, |
| `shiptoaccid` string, |
| `soldtoaccid` string, |
| `ingested_on` timestamp, |
| `external_id` string) |
| PARTITIONED BY ( |
| `productid` string) |
| ROW FORMAT SERDE |
| 'org.apache.hadoop.hive.ql.io.orc.OrcSerde' |
| STORED AS INPUTFORMAT |
| 'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat' |
| OUTPUTFORMAT |
| 'org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat' |
| LOCATION |
| 'wasb://blobrootpath/hive/warehouse/db_103.db/part_test08' |
| TBLPROPERTIES ( |
| 'bucketing_version'='2', |
| 'transactional'='true', |
| 'transactional_properties'='default', |
| 'transient_lastDdlTime'='1549962363') |
+--------------------------------------------------------------------------------------------------+--+
尝试执行 SQL 语句将记录插入到零件表中,如下所示
sparkSession.sql("INSERT INTO TABLE db_103.part_test08 PARTITION(ProductId) SELECT reflect('java.util.UUID', 'randomUUID'),stg_name,stg_baseamount,stg_billtoaccid,stg_extendedamount,stg_netamount,stg_netunitamount,stg_pricingdate,stg_quantity,stg_invoiceid,stg_shiptoaccid,stg_soldtoaccid,'2019-02-12 09:06:07.566',stg_id,stg_ProductId FROM tmp_table WHERE part_id IS NULL");
如果没有插入语句,如果我们运行选择查询然后得到下面的数据。
+-----------------------------------+--------+--------------+--------------------+------------------+-------------+-----------------+-------------------+------------+-------------+--------------------+--------------------+-----------------------+------+-------------+
|reflect(java.util.UUID, randomUUID)|stg_name|stg_baseamount| stg_billtoaccid|stg_extendedamount|stg_netamount|stg_netunitamount| stg_pricingdate|stg_quantity|stg_invoiceid| stg_shiptoaccid| stg_soldtoaccid|2019-02-12 09:06:07.566|stg_id|stg_ProductId|
+-----------------------------------+--------+--------------+--------------------+------------------+-------------+-----------------+-------------------+------------+-------------+--------------------+--------------------+-----------------------+------+-------------+
| 4e0b4331-b551-42d...| OLI6| 16.0|2DD4E682-6B4F-E81...| 34.567| 1166.74380| 916.78000|2018-10-18 05:06:22| 13| I1|2DD4E682-6B4F-E81...|2DD4E682-6B4F-E81...| 2019-02-12 09:06:...| 6| P3|
| 8b327a8e-dd3c-445...| OLI7| 16.0|2DD4E682-6B4F-E81...| 34.567| 766.74380| 1016.78000|2018-10-18 05:06:22| 13| I6|2DD4E682-6B4F-E81...|2DD4E682-6B4F-E81...| 2019-02-12 09:06:...| 7| P4|
| c0e14b9a-8d1a-426...| OLI5| 14.6555| null| 34.56| 500.87000| 814.65000|2018-10-11 05:06:22| 45| I4|29B73C4E-846B-E71...|29B73C4E-846B-E71...| 2019-02-12 09:06:...| 5| P1|
+-----------------------------------+--------+--------------+--------------------+------------------+-------------+-----------------+-------------------+------------+-------------+--------------------+--------------------+-----------------------+------+-------------+
之前我在插入托管表时遇到错误。但是在重新启动 Hive 和 Thrift 服务后,现在执行作业没有错误,但是 在通过直线/程序进行选择查询时无法看到那些插入的数据。我可以看到带有 delta 文件的分区也被插入进入蜂巢/仓库,见下面的截图。
另外,我可以看到一些警告如下,不确定它是否与错误有关。
Cannot get ACID state for db_103.part_test08 from null
另一个注意事项:如果我使用外部表,那么它工作正常,也可以查看数据。
我们正在使用带有以下服务堆栈的 Azure HDInsight Spark 2.3(HDI 4.0 预览版)集群。
HDFS:3.1.1
蜂巢:3.1.0
Spark2:2.3.1
【问题讨论】:
【参考方案1】:您是否在尝试插入数据时添加了以下设置命令。
SET hive.txn.manager=org.apache.hadoop.hive.ql.lockmgr.DbTxnManager;
SET hive.support.concurrency=true;
SET hive.enforce.bucketing=true;
SET hive.exec.dynamic.partition.mode=nonstrict;
我遇到过类似的问题,在添加上述属性后,我不能进行任何读/写操作,我能够查询表。
由于您没有遇到外部表的任何问题,因此不确定这是否能解决您的问题。
【讨论】:
感谢您的建议,我尝试了同样的方法,但没有帮助。 重新启动 Hive/Thrift 服务后,现在不会出现错误,但无法通过直线/程序看到插入的数据。更新了相同的问题。以上是关于无法查询/选择通过 Spark SQL 插入的数据的主要内容,如果未能解决你的问题,请参考以下文章
Spark 2.3.0 SQL 无法将数据插入 hive hbase 表