在 Spark (v.1.5.2) 中从 SQL 查询创建表

Posted 2023-03-23

技术标签:

【中文标题】在 Spark (v.1.5.2) 中从 SQL 查询创建表【英文标题】：Create table from SQL query in Spark (v.1.5.2) 【发布时间】：2017-09-02 13:51:38 【问题描述】：

我有一个非常直接的问题，如何从Spark(1.5.2) 中的 SQL 查询创建表？

我已经看到在标准SQL Server 2008中，这是通过以下方式解决的：

Select * into new_table  from  old_table

Spark中是否有类似的公式不需要在Dataframe中使用.filter()？

【问题讨论】：

【参考方案1】：

首先将您的数据框保存到“old_table”表中

 df.registerTempTable("old_table")

将旧表读取为新数据框

val newDF=sqlContext.sql("select * from old_table ")

再次保存以触发 sql

newDF.registerTempTable("new_table")

【讨论】：

【参考方案2】：

您可以使用以下内容：

create table "database.table_name" select * from "database.table_name" where "your_condition if any"

【讨论】：

以上是关于在 Spark (v.1.5.2) 中从 SQL 查询创建表的主要内容，如果未能解决你的问题，请参考以下文章