使用 Rstudio 访问亚马逊 S3 存储桶

Posted 2023-03-31

【中文标题】使用 Rstudio 访问亚马逊 S3 存储桶

【英文标题】：amazon S3 bucket access with Rstudio

【发布时间】：2014-12-02 21:10:27

【问题描述】：

我已经使用 RPostgreSQL 成功访问并查询了带有 R (rstudio) 的 amazon redshift

drv <- dbDriver("PostgreSQL")
con <- dbConnect(drv, host="****.redshift.amazonaws.com", port=5439,dbname="***", user="***", password="****")

然后我可以运行我的查询：

dbGetQuery(con,"SELECT DISTINCT(vin) FROM rawdata")

虽然我的查询运行时间不会太长，但将我的文件保存到我的个人计算机上就可以了。我认为将生成的 .csv 文件保存到 Amazon S3 存储桶会更快。我已经设置了一个。我只是不知道如何从 R 工作室做到这一点。

我已经能够使用 SQL Workbench 访问我的 S3 存储桶，代码如下：

UNLOAD
('SELECT * FROM rawdata
ORDER BY timestamp')
TO 's3://data-**-**/file_name'
credentials '***'
delimiter ','
PARALLEL OFF
GZIP;

但我想在 Rstudio（版本 0.98.109）中执行类似的功能。有没有人有可能带有示例 SQL 查询的示例代码？我可以在 SQL 工作台中运行它，但我将 SQl 查询嵌入在我更喜欢在 Rstudio 中运行的其他代码中。

谢谢！

【参考方案1】：

有一些软件包可能会在这方面对您有所帮助，不是在 CRAN 中，但仍然值得一试：

例如：https://github.com/armstrtw/AWS.tools