AWS 实例配置文件不适用于 Spring Cloud AWS

Posted

技术标签:

【中文标题】AWS 实例配置文件不适用于 Spring Cloud AWS【英文标题】:AWS Instance Profile doesn't work with Spring Cloud AWS 【发布时间】:2015-08-14 19:23:41 【问题描述】:

我有一个小型 Spring Boot 应用程序,使用 Spring Cloud AWS (1.0.0.RELEASE) 访问 SQS 队列。它正在部署在具有实例配置文件集的 EC2 实例上。看来 AWS 方面正在发挥作用,因为我可以访问两个相关的元数据链接:iam/infoiam/security-credentials/role-name,它们确实包含正确的信息。可以肯定的是,我使用了 aws cmdline 实用程序(aws sqs list-queues)并且它确实有效,所以我猜设置没问题。但是,当应用程序启动时,它会读取 application.properties(其中包含行 cloud.aws.credentials.instanceProfile=true)然后丢弃以下警告:com.amazonaws.util.EC2MetadataUtils: Unable to retrieve the requested metadata,最后抛出以下异常:

Caused by: com.amazonaws.AmazonServiceException: The security token included in the request is invalid. (Service: AmazonSQS; Status Code: 403; Error Code: InvalidClientTokenId; Request ID: xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx)
        at com.amazonaws.http.AmazonHttpClient.handleErrorResponse(AmazonHttpClient.java:1071)
        at com.amazonaws.http.AmazonHttpClient.executeOneRequest(AmazonHttpClient.java:719)
        at com.amazonaws.http.AmazonHttpClient.executeHelper(AmazonHttpClient.java:454)
        at com.amazonaws.http.AmazonHttpClient.execute(AmazonHttpClient.java:294)
        at com.amazonaws.services.sqs.AmazonSQSClient.invoke(AmazonSQSClient.java:2291)
        at com.amazonaws.services.sqs.AmazonSQSClient.getQueueUrl(AmazonSQSClient.java:516)
        at com.amazonaws.services.sqs.buffered.AmazonSQSBufferedAsyncClient.getQueueUrl(AmazonSQSBufferedAsyncClient.java:278)
        at org.springframework.cloud.aws.messaging.support.destination.DynamicQueueUrlDestinationResolver.resolveDestination(DynamicQueueUrlDestinationResolver.java:78)
        at org.springframework.cloud.aws.messaging.support.destination.DynamicQueueUrlDestinationResolver.resolveDestination(DynamicQueueUrlDestinationResolver.java:37)
        at org.springframework.messaging.core.CachingDestinationResolverProxy.resolveDestination(CachingDestinationResolverProxy.java:88)
        at org.springframework.cloud.aws.messaging.listener.AbstractMessageListenerContainer.start(AbstractMessageListenerContainer.java:295)
        at org.springframework.cloud.aws.messaging.listener.SimpleMessageListenerContainer.start(SimpleMessageListenerContainer.java:38)
        at org.springframework.context.support.DefaultLifecycleProcessor.doStart(DefaultLifecycleProcessor.java:173)
        ... 17 common frames omitted

...这意味着由于某种原因 Spring Cloud AWS 没有使用 Instance Profile 凭证。我在com.amazonaws.request 上启用了debug 日志级别,似乎发送的请求没有访问密钥和密钥。

DEBUG --- com.amazonaws.request                    : Sending Request: POST https://sqs.eu-west-1.amazonaws.com / Parameters: (Action: GetQueueUrl, Version: 2012-11-05, QueueName: xxxxxxxxxxxxx, ) Headers: (User-Agent: aws-sdk-java/1.9.3 Linux/3.14.35-28.38.amzn1.x86_64 Java_HotSpot(TM)_64-Bit_Server_VM/25.45-b02/1.8.0_45 AmazonSQSBufferedAsyncClient/1.9.3, )

有人知道我遗漏了什么,或者至少有任何提示如何进一步调试吗?

编辑:在浏览了一下 spring-cloud-aws 代码之后,我有点前进了。与 jar 捆绑在一起的配置文件 application.properties 具有 accessKeysecretKey 的一些文本值。我自定义的application.properties 没有这些属性,这可能导致spring 使用捆绑文件中的值作为默认值。我已经将它们包含在空值中,这将异常更改为com.amazonaws.AmazonClientException: Unable to load AWS credentials from any provider in the chain。 AWS SDK 似乎配置了 DefaultProviderChain,但它仍然无法获取实例配置文件凭据。

【问题讨论】:

【参考方案1】:

这个问题的解决方案来自两个不同的事实。

    仅当application.propertiesinstanceProfile 属性设置为true accessKey 设置时,才会使用实例配置文件凭据并且null (ContextCredentialsAutoConfiguration)。

    即使您将提供您的自定义 application.properties 文件,Spring 也会读取与应用程序 jar 捆绑在一起的 application.properties 文件(如果确实存在)。如果是这种情况,两个文件的属性将汇总以创建一个执行环境。我怀疑捆绑文件首先被解析,然后是自定义第二个,覆盖捆绑文件中存在的任何属性。

在我的例子中,捆绑的application.properties 有 accessKey 和 secretKey 占位符(带有虚假值),只要开发人员想要在 EC2 环境之外进行一些测试,就会填写这些占位符。这使得 accessKey 不为空,因此排除了实例配置文件路径。我刚刚从 jar 中删除了 application.properties 文件并解决了问题。

【讨论】:

【参考方案2】:
cloud:
  aws:
    credentials:
      accessKey:
      secretKey:
      instanceProfile: true
      useDefaultAwsCredentialsChain: true

如果您使用的是最新的 (2.X.X) Spring AWS Cloud,这将起到作用。

【讨论】:

所以...如果您的 .aws/credentials 配置文件未命名为 default,您如何指定它? NVM我的IDE推荐cloud.aws.credentials.profile-name=prod

以上是关于AWS 实例配置文件不适用于 Spring Cloud AWS的主要内容,如果未能解决你的问题,请参考以下文章

Flask Mail 不适用于 Gmail 帐户和 AWS 实例

aws弹性beantalk上的HTTP到HTTPS不适用于Spring Boot

AWS CloudFormation:Application Load Balancer 的目标组不适用于多个 EC2 实例

Spring Boot 不适用于 Elastic Beanstalk

terraform 将文件复制/上传到 aws ec2 实例

SSL 不适用于 AWS 上的 Route 53 域