访问指向spark 2.0中的数据库限定符的hive表

Posted 2021-05-04

我正在尝试使用spark sql访问指定数据库限定符的hive表。我正在使用sparksession，因为它是2.0或更高的火花。例如，我正在尝试将分区添加到现有表。查询是

sparksession.sql（“ALTER TABLE $ databasename。$ tablename ADD PARTITION（...）LOCATION ...”）

它不会抛出任何错误，但甚至不会创建任何分区。是不是我不能在spark sql中指定databaseName？

答案

use Database

您可以使用最新Spark版本支持命令

sparksession.sql("use $databasename");
sparksession.sql("ALTER TABLE $tablename ADD PARTITION (...) LOCATION ...");

尝试使用上面的代码，这可以解决您的问题。