Apache Airflow：将s3复制到s3的运算符

Posted

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Apache Airflow：将s3复制到s3的运算符相关的知识，希望对你有一定的参考价值。

在airflow中将文件从一个s3复制到另一个s3的最佳操作符是什么？我已经尝试过S3FileTransformOperator，但它需要transform_script或select_expression。我的要求是将确切的文件从源复制到目标。

答案

你有两个选择（即使我忽视Airflow）

  1. 使用AWS CLI：cp command aws s3 cp <source> <destination> 在Airflow中，可以使用BashOperator（本地机器）或SSHOperator（远程机器）运行此命令
  2. 使用AWS SDK aka boto3 在这里你将使用boto3的S3Client 气流已经以S3Hook的形式提供了它的包装 甚至copy_object(..) method of S3Client也可以在S3Hook as (again) copy_object(..)获得 您可以在任何合适的自定义S3Hook内使用operator或只使用PythonOperator

以上是关于Apache Airflow：将s3复制到s3的运算符的主要内容，如果未能解决你的问题，请参考以下文章