我可以使用 aws 胶水在 sql server 中创建表/写入表吗?

Posted

技术标签:

【中文标题】我可以使用 aws 胶水在 sql server 中创建表/写入表吗?【英文标题】:Can I create table/write into a table in sql server using aws glue? 【发布时间】:2021-05-26 12:34:57 【问题描述】:

我正在使用 pyspark (mssqljdbc) 读取数据,但我不知道如何写入表。

我可以连接到 SQL 服务器,但我正在尝试使用 DDL(不是读/写)创建表。这是 我用于阅读的示例。 如果有人有示例代码,请分享。谢谢

df = spark.read.format(i['type']) \
        .option("url", "jdbc:sqlserver://" + i['host'] + ":" + i['port'] + ";databaseName=" + i['database']) \
        .option("user", i['user']) \
        .option("password", i['password'])\
        .option("dbtable",i['table'])\
        .option("partitionColumn", i['partitioncol']) \
        .option("lowerBound", i['lowerbound']) \
        .option("upperBound", i['upperbound']) \
        .option("numPartitions", i['partitionnum']) \
        .option("driver", "com.microsoft.sqlserver.jdbc.SQLServerDriver") \
        .load()

【问题讨论】:

【参考方案1】:

是的,你可以在 Glue 上使用普通的 pyspark 代码,但是你需要创建一个Glue Connection,这样你才能连接到你的 SQL 服务器。

【讨论】:

以上是关于我可以使用 aws 胶水在 sql server 中创建表/写入表吗?的主要内容,如果未能解决你的问题,请参考以下文章

aws 胶水 HiveContext 访问胶水 DataCatalog

使用 pyspark 和 aws 胶水进行数据转置

如何使用 pyspark 从 aws 胶水的时间戳中提取年份

为啥我的 aws 胶水作业只使用一个执行器和驱动程序?

使用 Node.JS 调用 AWS 胶水的 lambda 函数不使用 console.log 的原因是啥?

我们可以使用 AWS 胶水分析 RDS 数据库并使用 ETL 将分析的数据存储到 rds mysql 表中吗