使用 Rstudio 访问亚马逊 S3 存储桶
Posted
技术标签:
【中文标题】使用 Rstudio 访问亚马逊 S3 存储桶【英文标题】:amazon S3 bucket access with Rstudio 【发布时间】:2014-12-02 21:10:27 【问题描述】:我已经使用 RPostgreSQL 成功访问并查询了带有 R (rstudio) 的 amazon redshift
drv <- dbDriver("PostgreSQL")
con <- dbConnect(drv, host="****.redshift.amazonaws.com", port=5439,dbname="***", user="***", password="****")
然后我可以运行我的查询:
dbGetQuery(con,"SELECT DISTINCT(vin) FROM rawdata")
虽然我的查询运行时间不会太长,但将我的文件保存到我的个人计算机上就可以了。我认为将生成的 .csv 文件保存到 Amazon S3 存储桶会更快。我已经设置了一个。我只是不知道如何从 R 工作室做到这一点。
我已经能够使用 SQL Workbench 访问我的 S3 存储桶,代码如下:
UNLOAD
('SELECT * FROM rawdata
ORDER BY timestamp')
TO 's3://data-**-**/file_name'
credentials '***'
delimiter ','
PARALLEL OFF
GZIP;
但我想在 Rstudio(版本 0.98.109)中执行类似的功能。有没有人有可能带有示例 SQL 查询的示例代码?我可以在 SQL 工作台中运行它,但我将 SQl 查询嵌入在我更喜欢在 Rstudio 中运行的其他代码中。
谢谢!
【问题讨论】:
【参考方案1】:有一些软件包可能会在这方面对您有所帮助,不是在 CRAN 中,但仍然值得一试:
例如:https://github.com/armstrtw/AWS.tools
【讨论】:
以上是关于使用 Rstudio 访问亚马逊 S3 存储桶的主要内容,如果未能解决你的问题,请参考以下文章