通过 Cloudformation、CodeBuild 和 CodePipeline 将 python 包部署到 AWS Lambda

Posted

技术标签:

【中文标题】通过 Cloudformation、CodeBuild 和 CodePipeline 将 python 包部署到 AWS Lambda【英文标题】:Deploying a python package to AWS Lambda via Cloudformation, CodeBuild and CodePipeline 【发布时间】:2017-07-14 02:52:32 【问题描述】:

我想为我的 AWS 基础设施和 AWS Lambda 函数设置 CI/CD 管道。这个想法是让一切都在代码中,版本控制和自动化。我只想git push 到一个存储库,让 CodePipeline 从那里接管,更新我的基础设施,运行测试,如果成功,用最新的代码更新我的 Lambda 函数。

我的 CloudFormation 模板基于 this excellent example。它看起来像这样:

AWSTemplateFormatVersion: 2010-09-09
Description: playground pipeline 1
Parameters:
  SourceRepositoryName:
    Type: String
    Default: lambda-playground
  SourceBranchName:
    Type: String
    Default: master

Resources:
  ArtifactsBucket:
    Type: AWS::S3::Bucket
    DependsOn: CloudFormationRole
    DeletionPolicy: Delete
    Properties:
      BucketName: lambda-playground-artifacts

  CodeBuildRole:
    Type: AWS::IAM::Role
    DependsOn: CloudFormationRole
    Properties:
      AssumeRolePolicyDocument:
        Version: 2012-10-17
        Statement:
          - Effect: Allow
            Action:
              - sts:AssumeRole
            Principal:
              Service:
                - codebuild.amazonaws.com
      Policies:
        - PolicyName: ServiceRole
          PolicyDocument:
            Version: 2012-10-17
            Statement:
              - Sid: CloudWatchWriteLogsPolicy
                Effect: Allow
                Action:
                  - logs:CreateLogGroup
                  - logs:CreateLogStream
                  - logs:PutLogEvents
                Resource: '*'
              - Sid: CodeCommitPullPolicy
                Effect: Allow
                Action:
                  - codecommit:GitPull
                Resource: '*'
              - Sid: S3GetObjectPolicy
                Effect: Allow
                Action:
                  - s3:GetObject
                  - s3:GetObjectVersion
                Resource: '*'
              - Sid: S3PutObjectPolicy
                Effect: Allow
                Action:
                  - s3:PutObject
                Resource: '*'

  CodePipelineRole:
    Type: AWS::IAM::Role
    DependsOn: CloudFormationRole
    Properties:
      AssumeRolePolicyDocument:
        Version: 2012-10-17
        Statement:
          - Effect: Allow
            Action:
              - sts:AssumeRole
            Principal:
              Service:
                - codepipeline.amazonaws.com
      ManagedPolicyArns:
        - arn:aws:iam::aws:policy/AdministratorAccess

  CloudFormationRole:
    Type: AWS::IAM::Role
    Properties:
      AssumeRolePolicyDocument:
        Version: 2012-10-17
        Statement:
          - Effect: Allow
            Action:
              - sts:AssumeRole
            Principal:
              Service:
                - cloudformation.amazonaws.com
      ManagedPolicyArns:
        - arn:aws:iam::aws:policy/AdministratorAccess

  CodeCommitRepository:
    Type: AWS::CodeCommit::Repository
    Properties:
      RepositoryName: !Ref SourceRepositoryName

  CodeBuildProject:
    Type: AWS::CodeBuild::Project
    DependsOn: CloudFormationRole
    Properties:
      Description: A playground of Lambda
      Artifacts:
        Type: CODEPIPELINE
      Environment:
        ComputeType: BUILD_GENERAL1_SMALL
        Image: aws/codebuild/python:2.7.12
        Type: LINUX_CONTAINER
      Name: lambda-playground
      ServiceRole: !GetAtt CodeBuildRole.Arn
      Source:
        Type: CODEPIPELINE
      TimeoutInMinutes: 5

  CodePipeline:
    Type: AWS::CodePipeline::Pipeline
    Properties:
      ArtifactStore:
        Type: S3
        Location: !Ref ArtifactsBucket
      Name: !Ref AWS::StackName
      RestartExecutionOnUpdate: true
      RoleArn: !GetAtt CodePipelineRole.Arn
      Stages:
        - Name: Source
          Actions:
            - Name: Source
              ActionTypeId:
                Category: Source
                Owner: AWS
                Provider: CodeCommit
                Version: 1
              Configuration:
                RepositoryName: !Ref SourceRepositoryName
                BranchName: !Ref SourceBranchName
              OutputArtifacts:
                - Name: SourceOutput
        - Name: PipelineDeploy
          Actions:
            - Name: UpdatePipeline
              ActionTypeId:
                Category: Deploy
                Owner: AWS
                Provider: CloudFormation
                Version: 1
              Configuration:
                ActionMode: CREATE_UPDATE
                Capabilities: CAPABILITY_IAM
                RoleArn: !GetAtt CloudFormationRole.Arn
                StackName: !Ref AWS::StackName
                TemplatePath: SourceOutput::infra.yml
              InputArtifacts:
                - Name: SourceOutput
        - Name: Build
          Actions:
            - Name: BuildAndTest
              ActionTypeId:
                Category: Build
                Owner: AWS
                Provider: CodeBuild
                Version: 1
              Configuration:
                ProjectName: !Ref CodeBuildProject
              InputArtifacts:
                - Name: SourceOutput
              OutputArtifacts:
                - Name: BuildOutput

  LambdaFunction:
    Type: AWS::Lambda::Function
    Properties:
      Code:
        S3Bucket: !Ref ArtifactsBucket
        S3Key: !Ref BuildOutput # DOES NOT WORK
      FunctionName: playground-fc
      Handler: src.main.handler
      # TODO: Role: foo
      Runtime: python2.7

Outputs:
  ArtifactsBucketURL:
    Description: Artifacts bucket URL
    Value: !GetAtt ArtifactsBucket.WebsiteURL
  RepositoryURL:
    Description: SSH URL of the repository
    Value: !GetAtt CodeCommitRepository.CloneUrlSsh

所以我有一个包含 3 个阶段的 CodePipeline - Source,它从 CodeCommit 存储库中获取代码,PipelineDeploy,它会在必要时更新我的​​ CloudFormation 堆栈,以及 Build,它运行配置的 CodeBuild 项目。

我的 buildspec.yml 在这里:

version: 0.1

phases:
  install:
    commands:
      - pip install -r requirements.txt -t lib
  pre_build:
    commands:
      - python lib/pytest.py src
artifacts:
  type: zip
  files:
    - src/**/*
    - lib/**/*

它只是安装必要的库,通过 pytest 运行测试并创建一个部署 zip。然后,此 zip 文件是 Build 阶段的 OutputArtifact,并存储在 ArtifactsBucket 中。但是,每次它都有一个唯一的名称(例如dfVV6Uh),这是有道理的,但我不知道如何在 LambdaFunction -> Properties -> Code -> S3Key 字段中引用它。

所以我的问题是,如何创建堆栈/管道,在完成所有步骤后,将最新版本部署到我的 AWS Lambda 函数?有没有办法使用 CodeDeploy 来做到这一点?这里的最佳做法是什么?

【问题讨论】:

【参考方案1】:

您可以将Parameter OverrideFn::GetArtifactAttObjectKey 属性一起使用,以动态地将AWS CodePipeline 生成的工件.zip 的名称提供给您的CloudFormation 部署操作。

使用您的示例,UpdatePipeline CloudFormation 部署操作的配置将如下所示:

Configuration:
  ActionMode: CREATE_UPDATE
  Capabilities: CAPABILITY_IAM
  RoleArn: !GetAtt CloudFormationRole.Arn
  StackName: !Ref AWS::StackName
  TemplatePath: SourceOutput::infra.yml
  ParameterOverrides:
    
      "LambdaKey" :  "Fn::GetArtifactAtt" : ["LambdaFunctionSource", "ObjectKey"]
    
InputArtifacts:
- Name: SourceOutput
- Name: BuildOutput

然后,在 CloudFormation 堆栈模板中声明并引用 LambdaKey 参数:

Parameters:
  LambdaKey:
    Type: String
  # ...
Resources:
  LambdaFunction:
    Type: AWS::Lambda::Function
    Properties:
      Code:
        S3Bucket: !Ref ArtifactsBucket
        S3Key: !Ref LambdaKey
      # ...

【讨论】:

所以想法是在单独的 CloudFormation 模板中声明 AWS::Lambda::Function?最初,我想把所有东西都放在一个模板中,这就是为什么UpdatePipeline(一个误导性的名字,现在我意识到)步骤是我管道中的第二个步骤。我的 Lambda 函数代码是 CodeBuild 步骤的输出,管道中的第三个,所以我想我在第二步中无法引用它(我还没有尝试过)。 我的回答基于您在问题中提供的模板,该模板引用了SourceOutput::infra.yml。可以将源代码库中的模板设置为用于定义代码管道资源的相同模板,以使其自引用。请参阅我在 github.com/wjordan/aws-starter-kit 的 repo,以获取使用 GitHub 的完全独立的示例。 我研究了您的 aws-starter-kit 并尝试根据您的建议修改我的模板,但没有成功。问题是我想把所有东西都放在一个模板中,这样我就可以引导我的基础设施并不断更新它。为此,在创建 Lambda 函数资源时,我还没有 S3Key,它仅作为我的第三个管道步骤的输出 - 构建操作。我想我会为引导步骤创建一个虚拟部署包。 我花了一段时间才意识到,但你是对的。我对 CFN 很陌生,我不确定最佳实践是什么,但我现在将我的基础架构拆分为两个模板 - 一个用于管道,一个用于 lambda 函数。我已经使用您建议的方式向管道添加了另一个部署步骤并且它有效。非常感谢! 我现在用整个解决方案创建了a repo。【参考方案2】:

有一个如何实现类似功能的示例(通过 CodePipeline/CodeBuild 部署 lambda 函数)。 http://docs.aws.amazon.com/lambda/latest/dg/automating-deployment.html

这个例子是针对用 NodeJS 编写的 lambda 函数,但基本思想是一样的。通过 CodeBuild 构建工件后,您可以使用 CloudFormation 部署/更新 lambda 函数,并让 CodePipeline 管理阶段内的工件传播。

如果这有帮助,请告诉我。

【讨论】:

以上是关于通过 Cloudformation、CodeBuild 和 CodePipeline 将 python 包部署到 AWS Lambda的主要内容,如果未能解决你的问题,请参考以下文章

通过 CloudFormation 部署 AWS UserPool 并更新属性

如何下载通过CloudFormation创建的IoT证书?

通过 cloudformation 使用 aws `cdk synth` 输出

如何通过 cloudformation 部署 opsworks 应用程序?

通过 Cloudformation 模板创建 RDS Opsworks 层

我应该如何通过 cloudformation 部署我的 aws 状态机?