K8s 部署 Spring boot 实践应用指南

Posted 2023-04-09

参考技术A

对k8s知识有一定了解掌握，能够明白Pod、Deployment、Service、Ingress 具体概念
准备一套可用的k8s环境
准备一个部署的spring boot 应用

k8s最小单元是Pod, 而Pod 是一组运行的容器，那么容器是怎么运行起来的呢 ？ 就是通过构建的镜像。（目前我们使用的容器技术都是基于docker）

那先让我们来一起制作个镜像，

将一个可运行的项目打包成一个jar文件，创建一个文件DockerFile，DockerFile和jar放到同一个目录 编写DockerFile

执行生成镜像命令
docker build -f ./DockerFile -t "/test/helloworld-server:v1" .

查看镜像 docker images

运行镜像是否正常 9000为宿主机访问端口
docker run -p 9000:8080 /test/helloworld-server:v1

通过curl或者浏览器访问 localhost:9000 服务是否正常，如果正常说明镜像制作成功，开始准备把镜像上传到仓库， 上传之前确定是否登录，如果没有登录执行 ： docker login 仓库地址

如果仓库使用的是harbor tag的名字格式改为：
仓库地址/仓库/名称，
比如 harbor.com/test/helloword-service

修改镜像 tag
docker tag <imageid> reg.com/test/helloworld-server:v1

上传镜像
docker push reg.com/test/helloworld-server:v1
上传完镜像可以登录仓库查看是否上传成功。

创建deployment.yaml

执行 kubectl apply -f deployment.yaml

查看pod 是否创建成功 处于ready 状态
kubectl get pod -o wide

如果没有创建成功，通过log 或者 describe 查看具体原因
kubectl describe pod pod-namexxxxx

pod 的IP重启之后就会有变化，所以为了能够固定访问pod有了service的概念，pod绑定service，我们通过service来访问pod，service可以理解为集群内部的负载均衡流量的控制器，接下来我们开始创建service

创建service.ymal

我们使用的service type是NodePort，yaml里没有申明nodePort 所以k8s会默认创建一个nodePort （30000-40000），然后我们通过node ip 加 nodePort 就可以访问service。

kubectl apply -f service.yaml

查看nodePort kubectl get svc -o -wide

通过curl node ip : nodePort 查看是否路由到pod的服务，service的路由是针对内部使用，所以对外我们还需要提供另一种访问方式 那就是Ingress，（还有其它访问方式，本章使用Ingress）接下俩就是创建Ingress

ingress.ymal

kubectl apply -f ingress.ymal

安装ingress contoller

查看ingress contoller pod 是否创建成功，一般情况pull镜像的时候会失败，需要手动 docker pull .

配置host nodeIP helloserver.com，通过 curl helloserver.com:ingress contoller nodePort 访问。可以配置HA proxy 解决不用加端口问题

查看ingress contoller nodePort
kubectl get svc -o -wide -n ingress-nginx

到目前为止整个访问流程就配置完成了，如果我们配置完之后仍然访问不了
，可以一步一步的排除

绑定关系

检查pod是否正常
kubectl describe pod <pod name>

检查service 绑定pod配置是否正确 从service 访问pod Endpoints
kubectl describe service <service-name> | grep Endpoints
一个 endpoint 是一对<ip address:port>，并且当 Service（至少）target 一个 pod 时。至少有一对

检查Ingress 配置
kubectl describe ingress <ingress-name>

如果你能在 /Backend/ 列中看到 endpoint，但依旧无法访问应用程序，那么可能是以下问题：

如果你毫无头绪，那么在 Kubernetes 中进行故障排除可能是一项艰巨的任务。
你应该永远记住以从下至上的顺序解决问题：现检查 Pod，然后向上移动堆栈至 Service 和 Ingress。

感受 Docker 魅力， 排解决多应用部署之疼，Docker Compose + Spring Boot 实践

我知道大家这段时间看了 docker 相关的几篇文章，不疼不痒的，仍然没有感受 docker 的便利，是的，我也是这样认为的，I know your feeling 。

前期了解概念什么的确实比较无聊，请不要着急精彩马上开始，当大家对 docker 相关概念有所了解之后，后面我会结合 Spring Boot 给大家来一系列的小例子，会让大家感受到使用 Docker 就是这么爽！

今天给大家演出的导演是 Docker 家族的 docker-compose ，主演是 Spring Boot、Nginx、Mysql 三位又红又紫的大碗，名导名演在一起的时候往往是准备搞事情，接下来又一场经典大片值得大家期待。

Spring Boot + Nginx + Mysql 是实际工作中最常用的一个组合，最前端使用 Nginx 代理请求转发到后端 Spring Boot 内嵌的 Tomcat 服务，Mysql 负责业务中数据相关的交互，那么在没有 docker 之前，我们是如何来搞定这些环境的呢？

• 1、安装 Nginx，配置 Nginx 相关信息，重启。
• 2、安装 Mysql ，配置字符集时区等信息，重启，最后初始化脚本。
• 3、启动 Spring Boot 项目，整体进行联调测试。

大家看我只写了三行，但其实搭建这些环境的时候还挺费事的，但这还不是结局，在用了一段时间时候需要迁移到另外一个环境，怎么办又需要重新搞一次？

正常情况下，测试环境、SIT 环境、UAT 环境、生产环境！我们需要重复搭建四次。有人说不就是搭建四次吗？也没什么大不了的，那么我想告诉你，Too yong ,Too Simple 。

让我们看看以下几个因素：

第一，这只是一个最简单的案例，如果项目涉及到 MongoDB、Redis、ES ... 一些列的环境呢？第二，如果你经常搭建环境或者调试程序，你就会知道什么是环境问题？

有的时候明明是一模一样的配置，但是到了另外一个环境就是跑不起来。于是你花费很多时间来查找，最后才发现是少了一个参数或者逗号的问题，或者是系统内核版本不一致、或者你最后也没搞懂是为什么！

只能再换另外一台服务器，那么使用 Docker 呢就可以完美的避开这些坑。好了，废话不多说我们就开始吧！

Spring Boot 案例

配置信息

依赖包

<dependencies>
     <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
	<dependency>
		<groupId>org.springframework.boot</groupId>
		<artifactId>spring-boot-starter-data-jpa</artifactId>
	</dependency>
	<dependency>
		<groupId>mysql</groupId>
		<artifactId>mysql-connector-java</artifactId>
	</dependency>
	<dependency>
		<groupId>org.springframework.boot</groupId>
		<artifactId>spring-boot-starter-test</artifactId>
		<scope>test</scope>
	</dependency>
</dependencies>

主要添加了 Spring Boot Web 支持，使用 Jpa 操作数据库、添加 Myql 驱动包等。

配置文件

spring.datasource.url=jdbc:mysql://localhost:3306/test
spring.datasource.username=root
spring.datasource.password=root
spring.datasource.driver-class-name=com.mysql.jdbc.Driver

spring.jpa.properties.hibernate.hbm2ddl.auto=update
spring.jpa.properties.hibernate.dialect=org.hibernate.dialect.MySQL5InnoDBDialect
spring.jpa.show-sql=true

配置了数据库的链接信息，以及 Jpa 更新表模式、方言和是否显示Sql

核心代码

核心代码很简单，每过来一个请求，判断是否已经统计过，如果没有统计新增数据，如果有统计数据更新数据。

@RestController
public class VisitorController {

    @Autowired
    private VisitorRepository repository;
	
    @RequestMapping("/")
    public String index(HttpServletRequest request) {
        String ip=request.getRemoteAddr();
        Visitor visitor=repository.findByIp(ip);
        if(visitor==null){
            visitor=new Visitor();
            visitor.setIp(ip);
            visitor.setTimes(1);
        }else {
            visitor.setTimes(visitor.getTimes()+1);
        }
        repository.save(visitor);
        return "I have been seen ip "+visitor.getIp()+" "+visitor.getTimes()+" times.";
    }
}

实体类和 Repository 层代码比较简单，这里就不贴出来了，大家感兴趣可以下载源码查看。

以上内容都完成后，启动项目，访问：http://localhost:8080/ 我们就可以看到这样的返回结果：

I have been seen ip 0:0:0:0:0:0:0:1 1 times.

再访问一次会变成

I have been seen ip 0:0:0:0:0:0:0:1 2 times.

多次访问一直叠加，说明演示项目开发完成。

Docker 化改造

首先我们将目录改造成这样一个结构

我们先从最外层说起：

• docker-compose.yaml：docker-compose 的核心文件，描述如何构建整个服务
• nginx：有关 nginx 的配置
• app：Spring Boot 项目地址

如果我们需要对 Mysql 有特殊的定制，也可以在最外层创建 mysql 文件夹，在此目录下进行配置。

docker-compose.yaml 文件详解

version: '3'
services:
  nginx:
   container_name: v-nginx
   image: nginx:1.13
   restart: always
   ports:
   - 80:80
   - 443:443
   volumes:
   - ./nginx/conf.d:/etc/nginx/conf.d
    
  mysql:
   container_name: v-mysql
   image: mysql/mysql-server:5.7
   environment:
    MYSQL_DATABASE: test
    MYSQL_ROOT_PASSWORD: root
    MYSQL_ROOT_HOST: '%'
   ports:
   - "3306:3306"
   restart: always
    
  app:
    restart: always
    build: ./app
    working_dir: /app
    volumes:
      - ./app:/app
      - ~/.m2:/root/.m2
    expose:
      - "8080"
    depends_on:
      - nginx
      - mysql
    command: mvn clean spring-boot:run -Dspring-boot.run.profiles=docker

• version: '3'：表示使用第三代语法来构建 docker-compose.yaml 文件。
• services: 用来表示 compose 需要启动的服务，我们可以看出此文件中有三个服务分别为：nginx、mysql、app。
• container_name:  容器名称
• environment: 此节点下的信息会当作环境变量传入容器，此示例中 mysql 服务配置了数据库、密码和权限信息。
• ports: 表示对外开放的端口
• restart: always 表示如果服务启动不成功会一直尝试。
• volumes: 加载本地目录下的配置文件到容器目标地址下
• depends_on：可以配置依赖服务，表示需要先启动 depends_on 下面的服务后，再启动本服务。
• command: mvn clean spring-boot:run -Dspring-boot.run.profiles=docker: 表示以这个命令来启动项目， -Dspring-boot.run.profiles=docker表示使用 application-docker.properties文件配置信息进行启动。

Nginx 文件解读

nginx 在目录下有一个文件 app.conf，主要配置了服务转发信息

server {
    listen 80;
    charset utf-8;
    access_log off;

    location / {
        proxy_pass http://app:8080;
        proxy_set_header Host $host:$server_port;
        proxy_set_header X-Forwarded-Host $server_name;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }

    location /static {
        access_log   off;
        expires      30d;

        alias /app/static;
    }
}

这块内容比较简单，配置请求转发，将80端口的请求转发到服务 app 的8080端口。其中proxy_pass http://app:8080这块的配置信息需要解释一下，这里使用是app而不是localhost，是因为他们没有在一个容器中，在一组 compose 的服务通讯需要使用 services 的名称进行访问。

Spring Boot 项目改造

在app目录下也就是和pom.xm文件同级添加Dockerfile文件，文件内容如下：

FROM maven:3.5-jdk-8

只有一句，依赖于基础镜像maven3.5和jdk 1.8。因为在docker-compose.yaml文件设置了项目启动命令，这里不需要再添加启动命令。

在项目的resources目录下创建application-dev.properties和application-docker.properties文件

• application-dev.properties 中的配置信息和上面一致
• application-docker.properties 中的配置信息做稍微的改造，将数据库的连接信息由 jdbc:mysql://localhost:3306/test改为 jdbc:mysql://mysql:3306/test 。

这样我们所有的配置都已经完成。

部署

我们将项目拷贝到服务器中进行测试，服务器需要先安装 Docker 和 Docker Compos 环境，如果不了解的朋友可以查看我前面的两篇文章：

• Docker(一)：Docker入门教程
• Docker(四)：Docker 三剑客之 Docker Compose

将项目拷贝到服务器中，进入目录cd dockercompose-springboot-mysql-nginx

启动服务：docker-compose up

[root@VM_73_217_centos dockercompose-springboot-mysql-nginx]# docker-compose up
Creating network "dockercomposespringbootmysqlnginx_default" with the default driver
Creating v-nginx ... done
Creating v-mysql ... done
Creating dockercomposespringbootmysqlnginx_app_1 ... done
Attaching to v-nginx, v-mysql, dockercomposespringbootmysqlnginx_app_1
v-mysql  | [Entrypoint] MySQL Docker Image 5.7.21-1.1.4
v-mysql  | [Entrypoint] Initializing database
app_1    | [INFO] Scanning for projects...
...
app_1    | 2018-03-26 02:54:55.658  INFO 1 --- [           main] o.s.b.w.embedded.tomcat.TomcatWebServer  : Tomcat started on port(s): 8080 (http) with context path ''
app_1    | 2018-03-26 02:54:55.660  INFO 1 --- [           main] com.neo.ComposeApplication               : Started ComposeApplication in 14.869 seconds (JVM running for 30.202)

看到信息Tomcat started on port(s): 8080表示服务启动成功。也可以使用docker-compose up -d后台启动

使用docker-compose ps查看项目中目前的所有容器

[root@VM_73_217_centos dockercompose-springboot-mysql-nginx]# docker-compose ps
                 Name                                Command                  State                        Ports
----------------------------------------------------------------------------------------------------------------------------------
dockercomposespringbootmysqlnginx_app_1   /usr/local/bin/mvn-entrypo ...   Up             8080/tcp
v-mysql                                   /entrypoint.sh mysqld            Up (healthy)   0.0.0.0:3306->3306/tcp, 33060/tcp
v-nginx                                   nginx -g daemon off;             Up             0.0.0.0:443->443/tcp, 0.0.0.0:80->80/tcp

可以看到项目中服务的状态、命令、端口等信息。

关闭服务docker-compose down

[root@VM_73_217_centos dockercompose-springboot-mysql-nginx]# docker-compose down
Stopping dockercomposespringbootmysqlnginx_app_1 ... done
Stopping visitor-nginx                           ... done
Stopping visitor-mysql                           ... done
Removing dockercomposespringbootmysqlnginx_app_1 ... done
Removing visitor-nginx                           ... done
Removing visitor-mysql                           ... done

docker-compose 顺序

在使用 docker-compose 启动的时候经常会出现项目报 Mysql 连接异常，跟踪了一天终于发现了问题。docker-compose 虽然可以通过depends_on 来定义服务启动的顺序，但是无法确定服务是否启动完成，因此会出现这样一个现象，Mysql 服务启动比较慢，当 Spring Boot 项目已经启动起来，但是 Mysql 还没有初始化好，这样当项目连接 Mysql 数据库的时候，就会出现连接数据库的异常。

针对这样的问题，有两种解决方案:

1、足够的容错和重试机制，比如连接数据库，在初次连接不上的时候，服务消费者可以不断重试，直到连接上服务。也就是在服务中定义：restart: always

2、同步等待，使用wait-for-it.sh或者其他shell脚本将当前服务启动阻塞，直到被依赖的服务加载完毕。这种方案后期可以尝试使用。

总结

没有对比就没有伤害，在没有使用 Docker 之前，我们需要搭建这样一个环境的话，需要安装 Nginx、Mysql ，再进行一系列的配置调试，还要担心各种环境问题；使用 Docker 之后简单两个命令就完成服务的上线、下线。

docker-compose up
docker-compose down

其实容器技术对部署运维的优化还有很多，这只是刚刚开始，后面使用了 Swarm 才会真正感受到它的便利和强大。

示例代码 ：https://github.com/ityouknow/spring-boot-examples

< END >

纯洁的微笑

一个有故事的程序员

微信扫描二维码，关注我的公众号