容器部署Spring Cloud项目

Posted

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了容器部署Spring Cloud项目相关的知识，希望对你有一定的参考价值。

部署eureka和config

最后我们在rancher上部署eureka和config项目，首先我们需要在本地创建这两个项目的docker镜像，然后推送到网易云镜像仓库上。

关于使用Docker部署项目以及Rancher的安装及使用，可以参考我另外两篇文章，本文则不再赘述了：

在eureka项目的根目录中，创建一个Dockerfile文件，编辑文件内容如下：

FROM hub.c.163.com/library/java:8-alpine

MAINTAINER zeroJun [email protected]

ADD target/*.jar app.jar

EXPOSE 8761

ENTRYPOINT ["java", "-jar", "/app.jar"]

然后push到git仓库上，接着到服务器上，克隆这个仓库，并且登录你的网易云镜像仓库账户：

[[email protected] ~]# cd /tmp
[[email protected] /tmp]# git clone [email protected]:Zero-One/eureka.git
...
[[email protected] /tmp]# cd eureka/
[[email protected] /tmp/eureka]# docker login -u {登录账号} -p {你的网易云密码} hub.c.163.com
[[email protected] /tmp/eureka]#

注：由于windows下不太方便使用docker，所以我将项目上传到远程的git仓库，然后在一台CentOS服务器上完成这些操作。

编写一个简单的shell脚本来完成build镜像的工作：

[[email protected] /tmp/eureka]# vim build_eureka.sh
#!/bin/bash
mvn clean package -Dmaven.test.skip=true
docker build -t hub.c.163.com/zerojun/eureka .
docker push hub.c.163.com/zerojun/eureka
[[email protected] /tmp/eureka]#

运行脚本：

[[email protected] /tmp/eureka]# sh ./build_eureka.sh

脚本执行完成后，到镜像仓库上可以看到镜像已经成功push上来了：
技术分享图片

完成eureka镜像的build后，我们使用同样的套路build config项目的docker镜像。同样的，在config项目的根目录中，创建一个Dockerfile文件，编辑文件内容如下：

FROM hub.c.163.com/library/java:8-alpine

MAINTAINER zeroJun [email protected]

ADD target/*.jar app.jar

EXPOSE 8080

ENTRYPOINT ["java", "-jar", "/app.jar"]

并且修改配置文件中eureka的地址为服务名称，如下：

eureka:
  client:
    service-url:
      defaultZone: http://eureka:8761/eureka/  # 修改为rancher上的服务名称

然后push到git仓库上，接着到服务器上，克隆这个仓库，由于之前已经登录过网易云镜像仓库账户，所以不用登录了：

[[email protected] /tmp]# git clone [email protected]:Zero-One/config.git
...
[[email protected] /tmp]# cd config/
[[email protected] /tmp/config]#

同样编写一个简单的shell脚本来完成build镜像的工作：

[[email protected] /tmp/config]# vim build_config.sh
#!/bin/bash
mvn clean package -Dmaven.test.skip=true
docker build -t hub.c.163.com/zerojun/config .
docker push hub.c.163.com/zerojun/config
[[email protected] /tmp/config]#

运行脚本：

[[email protected] /tmp/config]# sh ./build_config.sh

脚本执行完成后，此时镜像仓库上就有eureka和config的镜像了：
技术分享图片

默认push的镜像都是私有的访问权限，我们需要设置为公开的，否则无法被外部访问：
技术分享图片

点击镜像可以查看到镜像仓库详情，复制镜像的下载地址：
技术分享图片

到rancher上部署工作负载：
技术分享图片

部署完成：
技术分享图片

使用浏览器看看是否能访问到eureka的信息面板：
技术分享图片

eureka部署成功后，使用同样的方式去部署config：
技术分享图片

不过我这里部署config失败，错误日志如下，提示无法启动内嵌的Tomcat：
技术分享图片

尝试多次更改配置后，最后发现原来在pom.xml中，需要增加如下依赖（然而我本地没这个依赖运行却是正常的）：

<dependency>
    <groupId>org.springframework.cloud</groupId>
    <artifactId>spring-cloud-config-server</artifactId>
</dependency>

并且需要修改配置文件如下：

spring:
  application:
    name: config
  cloud:
    config:
      server:
        git:
          uri: https://gitee.com/Zero-One/config-repo
          username: username
          password: password
  rabbitmq:
    host: 127.0.0.1
    port: 5672
    username: username
    password: password
eureka:
  client:
    service-url:
      defaultZone: http://192.168.190.130/eureka/  # 修改为主机ip
  instance:
    prefer-ip-address: true  # 让eureka上的地址能够跳转到实例的ip地址
management:
  endpoints:
    web:
      exposure:
        include: "*"

修改之后，需要重新push代码并build镜像，接着再到rancher上重新部署，这次就部署成功了：
技术分享图片

也成功在注册中心注册上了：
技术分享图片

但是我在浏览器上尝试去访问配置文件的时候无法访问，错误提示无法克隆仓库：

Cannot clone or checkout repository: https://gitee.com/Zero-One/config-repo

浏览器返回的信息如下：
技术分享图片

经过一番排查后，发现是这个容器内无法ping通外网，所以无法克隆远程的仓库。确定问题后，马上查找不能ping通外网的原因。发现是因为Alpine系统使用了musl libc，与其他Linux发行版使用的glibc实现会有所不同，即musl实现的DNS服务不会使用resolv.conf文件中的search和domain两个配置。于是进入到容器中手动配置一下DNS解析，如下：

# vi /etc/resolv.conf
nameserver 218.2.135.1
nameserver 202.102.24.35

另一个方法是到rancher上修改容器的网络设置，这种方式会方便一些，因为容器会经常销毁、重建，每次都手动去配置DNS比较麻烦。如下：
技术分享图片

注：使用这种方法会导致无法使用rancher的服务发现功能，也就是不能配置rancher里的服务名了，只能配置主机的ip地址

问题解决后，这时终于能够成功访问到配置文件了：
技术分享图片

构建eureka高可用服务

在上一小节中，我们完成了eureka和config服务的部署，也解决了一些坑，但是还有个问题，就是目前eureka是单点的。eureka作为整个服务的注册中心，必然是需要高可用的，所以本小节我们来看看如何构建eureka高可用服务。首先创建application-eureka1.yml和application-eureka2.yml两个配置文件，如下：
技术分享图片

application-eureka1.yml内容如下：

eureka:
  client:
    service-url:
      defaultZone: http://eureka2:8762/eureka/
    register-with-eureka: false
  server:
    enable-self-preservation: false
spring:
  application:
    name: eureka
server:
  port: 8761

application-eureka2.yml内容如下：

eureka:
  client:
    service-url:
      defaultZone: http://eureka1:8761/eureka/
    register-with-eureka: false
  server:
    enable-self-preservation: false
spring:
  application:
    name: eureka
server:
  port: 8762

application.yml文件内容如下，默认选择eureka1：

spring:
  profiles:
    active: eureka1

然后push这些改动到远程的git仓库上，然后到服务器上拉取代码并重新build镜像：

[[email protected] ~]# cd /tmp/eureka/
[[email protected] /tmp/eureka]# git pull origin master
...
[[email protected] /tmp/eureka]# sh ./build_eureka.sh
[[email protected] /tmp/eureka]#

镜像制作完成并推送到仓库上后，到rancher上删除之前的eureka，然后部署eureka1：
技术分享图片

接着部署eureka2：
技术分享图片

相对的，config也需要修改一下配置文件，需要增加eureka节点，如下：

eureka:
  client:
    service-url:
      defaultZone: http://192.168.190.130:8761/eureka/,http://192.168.190.130:8762/eureka/
  instance:
    prefer-ip-address: true

修改完之后，也需要重新build，重新部署一下：
技术分享图片

至于config的高可用这里就不演示了，因为config也属于一个服务，只需要部署多个config注册到eureka上就可以实现高可用了

构建product服务

这一小节我们来部署product服务，首先需要修改配置文件，将mysql、rabbitmq的地址都改为线上容器能够连接的地址，注意，必须是确认是能够连接到的地址，否则product服务是启动不了的。修改bootstrap.yml文件内容如下：

spring:
  cloud:
    config:
      discovery:
        enabled: true
        service-id: CONFIG
      profile: dev
  application:
    name: product
eureka:
  client:
    service-url:
      defaultZone: http://eureka1:8761/eureka/,http://eureka2:8762/eureka/
  instance:
    prefer-ip-address: true

修改远程git仓库上的product-dev.yml文件内容如下：

spring:
  application:
    name: product
  datasource:
    driver-class-name: com.mysql.jdbc.Driver
    username: root
    password: password
    url: jdbc:mysql://192.168.190.129:3306/springcloud_sell?characterEncoding=utf-8&useSSL=false
  jpa:
    show-sql: true
  rabbitmq:
    host: 127.0.0.1
    port: 5672
    username: username
    password: password

与之前的过程类似，在product项目的根目录中，创建一个Dockerfile文件，编辑文件内容如下：

FROM hub.c.163.com/library/java:8-alpine

MAINTAINER zeroJun [email protected]

ADD sell_product-server/target/*.jar app.jar

EXPOSE 8080

ENTRYPOINT ["java", "-jar", "/app.jar"]

然后将代码push到git仓库上，到服务器上，拉取代码并编写shell脚本build 及上传docker镜像：

[[email protected] ~]# cd /tmp
[[email protected] /tmp]# git clone [email protected]:Zero-One/product.git
...
[[email protected] /tmp]# cd product/
# 因为order服务需要用到product服务里的client模块所以需要安装一下
[[email protected] /tmp/product]# mvn clean package -Dmaven.test.skip=true install  
[[email protected] /tmp/product]# vim build_product.sh
#!/bin/bash
mvn clean package -Dmaven.test.skip=true
docker build -t hub.c.163.com/zerojun/product .
docker push hub.c.163.com/zerojun/product
[[email protected] /tmp/product]# sh ./build_product.sh
...
[[email protected] /tmp/product]#

镜像推送完成后，记得需要将访问权限设置为公开的，如下：
技术分享图片

镜像准备好后，到rancher上，部署服务：
技术分享图片

如果你的product服务，需要通过域名访问外网服务的话，记得进入容器中手动配置一下DNS解析地址：

# vi /etc/network/resolv.conf
nameserver 218.2.135.1
nameserver 202.102.24.35

或设置容器的网络：
技术分享图片

部署成功：
技术分享图片

通过浏览器测试接口成功：
技术分享图片

构建order服务

构建完product服务后，这一小节我们来部署order服务，首先需要修改配置文件，将mysql、rabbitmq、zipkin的地址都改为线上容器能够连接的地址，注意，必须是确认是能够连接到的地址，否则order服务是启动不了的。修改bootstrap.yml文件内容如下：

spring:
  cloud:
    config:
      discovery:
        enabled: true
        service-id: CONFIG
      profile: dev
  application:
    name: order
eureka:
  client:
    service-url:
      defaultZone: http://eureka1:8761/eureka/,http://eureka2:8762/eureka/
  instance:
    prefer-ip-address: true

修改远程git仓库上的product-dev.yml文件内容如下：

spring:
  application:
    name: order
  datasource:
    driver-class-name: com.mysql.jdbc.Driver
    username: root
    password: password
    url: jdbc:mysql://192.168.190.130:3306/springcloud_sell?characterEncoding=utf-8&useSSL=false
  jpa:
    show-sql: true
  rabbitmq:
    host: 127.0.0.1
    port: 5672
    username: username
    password: password
  redis:
    port: 6379
    host: 127.0.0.1     
    stream:
      bindings:
        myMessageOutput:
          group: order
          content-type: application/json
  zipkin:
    base-url: http://127.0.0.1:9411/
    sender:
      type: web
  sleuth:
    sampler:
      probability: 1

hystrix:
  command:
    default:
      execution:
        isolation:
          thread:
            timeoutInMilliseconds: 6000
      circuitBreaker:
        enabled: true
        requestVolumeThreshold: 10
        sleepWindowInMilliseconds: 10000
        errorThresholdPercentage: 60

feign:
  client:
    config:
      default:
        connectTimeout: 5000
        readTimeout: 5000
        loggerLevel: basic
  hystrix:
    enabled: true

logging:
  level:
    org.springframework.cloud.openfeign: debug

env:
  dev

在order项目的根目录中，创建一个Dockerfile文件，编辑文件内容如下：

FROM hub.c.163.com/library/java:8-alpine

MAINTAINER zeroJun [email protected]

ADD sell_order-server/target/*.jar app.jar

EXPOSE 8080

ENTRYPOINT ["java", "-jar", "/app.jar"]

然后将代码push到git仓库上，到服务器上，拉取代码并编写shell脚本build 及上传docker镜像：

[[email protected] ~]# cd /tmp/
[[email protected] /tmp]# git clone [email protected]:Zero-One/order.git
...
[[email protected] /tmp]# cd order/
[[email protected] /tmp/order]# vim build_order.sh
#!/bin/bash
mvn clean package -Dmaven.test.skip=true
docker build -t hub.c.163.com/zerojun/order .
docker push hub.c.163.com/zerojun/order
[[email protected] /tmp/order]# sh ./build_product.sh
...
[[email protected] /tmp/order]#

镜像推送完成后，记得需要将访问权限设置为公开的，如下：
技术分享图片

镜像准备好后，到rancher上，部署order服务：
技术分享图片

部署成功：
技术分享图片

通过postman测试接口成功：
技术分享图片

构建api-gateway

构建完order服务后，最后我们来部署api-gateway服务，首先需要修改配置文件，将redis、rabbitmq的地址都改为线上容器能够连接的地址，注意，必须是确认是能够连接到的地址，否则api-gateway服务是启动不了的。修改bootstrap.yml文件内容如下：

spring:
  cloud:
    config:
      discovery:
        enabled: true
        service-id: CONFIG
      profile: dev
  application:
    name: api-gateway
eureka:
  client:
    service-url:
      defaultZone: http://eureka1:8761/eureka/,http://eureka2:8762/eureka/
  instance:
    prefer-ip-address: true

修改远程git仓库上的api-gateway-dev.yml文件内容如下：

spring:
  application:
    name: api-gateway
  redis:
    port: 6379
    host: 127.0.0.1
  rabbitmq:
    host: 127.0.0.1
    port: 5672
    username: username
    password: password
zuul:
  # 全局忽略敏感头
  sensitive-headers: 
  host:
    connect-timeout-millis: 10000
    socket-timeout-millis: 60000
  routes:
    yourProduct:
      path: /myProduct/**
      serviceId: product
  ignored-patterns:
    - /**/buyer/product/listForOrder

ribbon:
  ReadTimeout: 30000
  SocketTimeout: 30000
hystrix:
  command:
    default:
      execution:
        isolation:
          thread:
            timeoutInMilliseconds: 62000

在api-gateway项目的根目录中，创建一个Dockerfile文件，编辑文件内容如下：

FROM hub.c.163.com/library/java:8-alpine

MAINTAINER zeroJun [email protected]

ADD target/*.jar app.jar

EXPOSE 8080

ENTRYPOINT ["java", "-jar", "/app.jar"]
[[email protected] ~]# cd /tmp/
[[email protected] /tmp]# git clone [email protected]:Zero-One/api-gateway.git
...
[[email protected] /tmp]# cd api-gateway/
[[email protected] /tmp/api-gateway]# vim build_aip-gateway.sh
#!/bin/bash
mvn clean package -Dmaven.test.skip=true
docker build -t hub.c.163.com/zerojun/api-gateway .
docker push hub.c.163.com/zerojun/api-gateway
[[email protected] /tmp/api-gateway]# sh ./build_aip-gateway.sh
...
[[email protected] /tmp/api-gateway]#

镜像推送完成后，记得需要将访问权限设置为公开的，如下：
技术分享图片

镜像准备好后，到rancher上，部署api-gateway服务：
技术分享图片

部署成功：
技术分享图片

测试接口成功：
技术分享图片

到此为止，我们就通过Docker和Rancher完成了整个微服务项目的部署。

以上是关于容器部署Spring Cloud项目的主要内容，如果未能解决你的问题，请参考以下文章

部署多个Spring Boot 项目异常

利用Docker部署Spring Cloud项目

为啥部署在 Docker 容器上的 Spring Cloud Netflix 应用需要显式设置 eureka.instance.hostname？

Spring Cloud 微服务(五) 部署到AWS ECS

解决spring cloud dubbo用nacos作为注册中心应用部署到docker中IP是容器IP的问题

在Scala项目中使用Spring Cloud