如何为 spectrify python 包指定 s3 配置?

Posted

技术标签:

【中文标题】如何为 spectrify python 包指定 s3 配置?【英文标题】:how to specify s3 config for spectrify python package? 【发布时间】:2019-02-02 04:56:33 【问题描述】:

如何为 python spectrify 包指定这个 s3_config 对象?

from spectrify.export import RedshiftDataExporter
RedshiftDataExporter(sa_engine, s3_config).export_to_csv('my_table')

【问题讨论】:

【参考方案1】:

spectrify 包的文档不是很好,但是快速阅读the code 和示例将向您展示 s3_config 可以是 S3Config 或 SimpleS3Config 的实例,两者都由 spectrify 包定义。这是example:

csv_path_template = 's3://my-bucket/my-table/csv/start.year/start.month:02d/start.day:02d'
spectrum_path_template = 's3://my-bucket/my-table/spectrum/partition_key=start'

# Construct a S3Config object with the source CSV folder and
# destination Spectrum/Parquet folder on S3.
csv_path = csv_path_template.format(start=start_date)
spectrum_path = spectrum_path_template.format(start=start_date)
s3_config = SimpleS3Config(csv_path, spectrum_path)

【讨论】:

以上是关于如何为 spectrify python 包指定 s3 配置?的主要内容,如果未能解决你的问题,请参考以下文章

Wix Bootstrapper 捆绑包如何为 bal:Condition 指定 NOT 条件

如何为 Spyder 安装 python 包

如何为 python unittest 指定测试超时?

如何为 popen 指定工作目录

如何为指定python解释器安装pip

如何为 kivy/python apk 选择包名?