将数据从一个表加载到配置单元中的另一个表

Posted 2023-03-23

【中文标题】将数据从一个表加载到配置单元中的另一个表

【英文标题】：Load data from one table to another in hive

【发布时间】：2020-12-21 10:21:32

【问题描述】：

我在 hive 中有一个名为 a.table1 的表，其中包含 id、name、class 列，并且它完全加载了数据。

id name class 
1   a     1
11  b     14

我想从 a.table1 创建一个新表 b.table2，其中包含字段 id、name、class、status。 当 id 小于 10 时，class 和 status 将具有相同的值，否则值为 0。

id name class status
1   a     1     1
11  b     14    0

我正在做的是，创建一个表：

CREATE TABLE IF NOT EXISTS b.table2(
id BIGINT,
name string,
class int,
status int
)

如何加载表格的内容？或者有什么更好的方法吗？

spark = SparkSession.builder.enableHiveSupport().getOrCreate()
sc = spark.sparkContext
sqlContext = spark._wrapped

【参考方案1】：

只需进行选择并将结果插入 table2：

insert into b.table2 (
    select *, case when id < 10 then class else 0 end as status from a.table1
);

【参考方案2】：

CTAS 将在单个语句中创建和加载表：

CREATE TABLE table2 AS
 select id, name, class, status 
   from table1;