使用 Rstudio 访问亚马逊 S3 存储桶

Posted

技术标签:

【中文标题】使用 Rstudio 访问亚马逊 S3 存储桶【英文标题】:amazon S3 bucket access with Rstudio 【发布时间】:2014-12-02 21:10:27 【问题描述】:

我已经使用 RPostgreSQL 成功访问并查询了带有 R (rstudio) 的 amazon redshift

drv <- dbDriver("PostgreSQL")
con <- dbConnect(drv, host="****.redshift.amazonaws.com", port=5439,dbname="***", user="***", password="****")

然后我可以运行我的查询:

dbGetQuery(con,"SELECT DISTINCT(vin) FROM rawdata")

虽然我的查询运行时间不会太长,但将我的文件保存到我的个人计算机上就可以了。我认为将生成的 .csv 文件保存到 Amazon S3 存储桶会更快。我已经设置了一个。我只是不知道如何从 R 工作室做到这一点。

我已经能够使用 SQL Workbench 访问我的 S3 存储桶,代码如下:

UNLOAD
('SELECT * FROM rawdata
ORDER BY timestamp')
TO 's3://data-**-**/file_name'
credentials '***'
delimiter ','
PARALLEL OFF
GZIP;

但我想在 Rstudio(版本 0.98.109)中执行类似的功能。有没有人有可能带有示例 SQL 查询的示例代码?我可以在 SQL 工作台中运行它,但我将 SQl 查询嵌入在我更喜欢在 Rstudio 中运行的其他代码中。

谢谢!

【问题讨论】:

【参考方案1】:

有一些软件包可能会在这方面对您有所帮助,不是在 CRAN 中,但仍然值得一试:

例如:https://github.com/armstrtw/AWS.tools

【讨论】:

以上是关于使用 Rstudio 访问亚马逊 S3 存储桶的主要内容,如果未能解决你的问题,请参考以下文章

不使用亚马逊 S3 存储桶创建亚马逊云端分发

如何使用 axios 将文件上传到亚马逊 s3 存储桶?

如何从亚马逊 s3 存储桶中删除文件?

亚马逊 s3 / 其他 AWS 服务上的操作日志

使用 cloudflare 将 CNAME 分配给我在亚马逊 S3 中的静态网站存储桶

将数据从 gs 存储桶移动到 s3 亚马逊存储桶的 GCP dataproc 集群 hadoop 作业失败 [控制台]