Airflow / MWAA 细节备忘

Posted 2022-11-30 bluishglc

1. 网络要求

MWAA要求其所处的VPC需要提供至少2个私有子网，否则无法在该VPC中创建MWAA环境。

2. 关闭DAG桶的公共访问

创建MWAA时会要求指定一个S3的桶，用于存放DAG文件，一个新建的普通S3桶默认是不会禁用公共访问权限的，此时创建MWAA环境就会报错：

Unable to check PublicAccessBlock configuration for the account 366020657890: Access Denied (Service: S3Control, Status Code: 403

解决方法就是去S3控制台，找到目标桶，禁用所有的公共访问权限，如下图所示：

3. 配置SSH Operator

SSH Operator是非常基础的一种Operator，在最新的2.2.2版本中，默认已经不再内置SSH Operator，需要单独进行安装，具体操作参考：https://docs.aws.amazon.com/mwaa/latest/userguide/samples-ssh.html