Spark SQL INSERTION TECHNIQUE for Result 从计算中得到

Posted 2023-04-15

【中文标题】Spark SQL INSERTION TECHNIQUE for Result 从计算中得到

【英文标题】：Spark SQL INSERTION TECHNIQUE for Result got from calculation

【发布时间】：2020-06-01 09:06:35

【问题描述】：

或插入我正在使用下面的代码-

spark.sql("INSERT INTO countDirectorySize VALUES (`" +str(root) + "`)")

为了更好的理解这里完整的代码-

root = "/dbfs/mnt/datalake/.../"
spark.sql("INSERT INTO countDirectorySize VALUES (`" +str(root) + "`)")

此代码在插入时出错。任何帮助都会很棒。

错误：

    "cannot resolve '`/dbfs/mnt/datalake/.../`' given input columns: []; 
line 1 pos 30;\n'InsertIntoTable 'UnresolvedRelation `countSize`, false, false\n+- 'UnresolvedInlineTable [col1], [List('/dbfs/mnt/datalake/.../)]\n"

【问题讨论】：

你为什么不发布错误？

@Nick.McDermaid 让我编辑。

@Nick.McDermaid 已编辑

我不知道 spark sql，但在普通 SQL 中，您应该列出要插入的列：INSERT INTO countDirectorySize (ColumnName) VALUES (....

@Nick.McDermaid 这不起作用。我检查了

【参考方案1】：

这行得通- 安排。我只想知道('"____"')。

spark.sql("INSERT INTO countDirectorySize VALUES ('"+str(root)+"')")