K8s 部署 Spring boot 实践应用指南

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了K8s 部署 Spring boot 实践应用指南相关的知识,希望对你有一定的参考价值。

参考技术A

对k8s知识有一定了解掌握,能够明白Pod、Deployment、Service、Ingress 具体概念
准备一套可用的k8s环境
准备一个部署的spring boot 应用

k8s最小单元是Pod, 而Pod 是一组运行的容器,那么容器是怎么运行起来的呢 ? 就是通过构建的镜像。(目前我们使用的容器技术都是基于docker)

那先让我们来一起制作个镜像,

将一个可运行的项目打包成一个jar文件,创建一个文件DockerFile,DockerFile和jar放到同一个目录 编写DockerFile

执行生成镜像命令
docker build -f ./DockerFile -t "/test/helloworld-server:v1" .

查看镜像 docker images

运行镜像是否正常 9000为宿主机访问端口
docker run -p 9000:8080 /test/helloworld-server:v1

通过curl或者浏览器访问 localhost:9000 服务是否正常,如果正常说明镜像制作成功,开始准备把镜像上传到仓库, 上传之前确定是否登录,如果没有登录执行 : docker login 仓库地址

如果仓库使用的是harbor tag的名字格式改为:
仓库地址/仓库/名称,
比如 harbor.com/test/helloword-service

修改镜像 tag
docker tag <imageid> reg.com/test/helloworld-server:v1

上传镜像
docker push reg.com/test/helloworld-server:v1
上传完镜像可以登录仓库查看是否上传成功。

创建deployment.yaml

执行 kubectl apply -f deployment.yaml

查看pod 是否创建成功 处于ready 状态
kubectl get pod -o wide

如果没有创建成功,通过log 或者 describe 查看具体原因
kubectl describe pod pod-namexxxxx

pod 的IP重启之后就会有变化,所以为了能够固定访问pod有了service的概念,pod绑定service,我们通过service来访问pod,service可以理解为集群内部的负载均衡流量的控制器,接下来我们开始创建service

创建service.ymal

我们使用的service type是NodePort,yaml里没有申明nodePort 所以k8s会默认创建一个nodePort (30000-40000),然后我们通过node ip 加 nodePort 就可以访问service。

kubectl apply -f service.yaml

查看nodePort kubectl get svc -o -wide

通过curl node ip : nodePort 查看是否路由到pod的服务,service的路由是针对内部使用,所以对外我们还需要提供另一种访问方式 那就是Ingress,(还有其它访问方式,本章使用Ingress)接下俩就是创建Ingress

ingress.ymal

kubectl apply -f ingress.ymal

安装ingress contoller

查看ingress contoller pod 是否创建成功,一般情况pull镜像的时候会失败,需要手动 docker pull .

配置host nodeIP helloserver.com,通过 curl helloserver.com:ingress contoller nodePort 访问。可以配置HA proxy 解决不用加端口问题

查看ingress contoller nodePort
kubectl get svc -o -wide -n ingress-nginx

到目前为止整个访问流程就配置完成了,如果我们配置完之后仍然访问不了
,可以一步一步的排除

绑定关系

检查pod是否正常
kubectl describe pod <pod name>

检查service 绑定pod配置是否正确 从service 访问pod Endpoints
kubectl describe service <service-name> | grep Endpoints
一个 endpoint 是一对<ip address:port>,并且当 Service(至少)target 一个 pod 时。至少有一对

检查Ingress 配置
kubectl describe ingress <ingress-name>

如果你能在 /Backend/ 列中看到 endpoint,但依旧无法访问应用程序,那么可能是以下问题:

如果你毫无头绪,那么在 Kubernetes 中进行故障排除可能是一项艰巨的任务。
你应该永远记住以从下至上的顺序解决问题:现检查 Pod,然后向上移动堆栈至 Service 和 Ingress。

感受 Docker 魅力, 排解决多应用部署之疼,Docker Compose + Spring Boot 实践

我知道大家这段时间看了 docker 相关的几篇文章,不疼不痒的,仍然没有感受 docker 的便利,是的,我也是这样认为的,I know your feeling 。

前期了解概念什么的确实比较无聊,请不要着急精彩马上开始,当大家对 docker 相关概念有所了解之后,后面我会结合 Spring Boot 给大家来一系列的小例子,会让大家感受到使用 Docker 就是这么爽!

今天给大家演出的导演是 Docker 家族的 docker-compose ,主演是 Spring Boot、Nginx、Mysql 三位又红又紫的大碗,名导名演在一起的时候往往是准备搞事情,接下来又一场经典大片值得大家期待。

感受 Docker 魅力, 排解决多应用部署之疼,Docker Compose + Spring Boot 实践

Spring Boot + Nginx + Mysql 是实际工作中最常用的一个组合,最前端使用 Nginx 代理请求转发到后端 Spring Boot 内嵌的 Tomcat 服务,Mysql 负责业务中数据相关的交互,那么在没有 docker 之前,我们是如何来搞定这些环境的呢?

  • 1、安装 Nginx,配置 Nginx 相关信息,重启。
  • 2、安装 Mysql ,配置字符集时区等信息,重启,最后初始化脚本。
  • 3、启动 Spring Boot 项目,整体进行联调测试。

大家看我只写了三行,但其实搭建这些环境的时候还挺费事的,但这还不是结局,在用了一段时间时候需要迁移到另外一个环境,怎么办又需要重新搞一次?

正常情况下,测试环境、SIT 环境、UAT 环境、生产环境!我们需要重复搭建四次。有人说不就是搭建四次吗?也没什么大不了的,那么我想告诉你,Too yong ,Too Simple 。

感受 Docker 魅力, 排解决多应用部署之疼,Docker Compose + Spring Boot 实践

让我们看看以下几个因素:

第一,这只是一个最简单的案例,如果项目涉及到 MongoDB、Redis、ES ... 一些列的环境呢?第二,如果你经常搭建环境或者调试程序,你就会知道什么是环境问题?

有的时候明明是一模一样的配置,但是到了另外一个环境就是跑不起来。于是你花费很多时间来查找,最后才发现是少了一个参数或者逗号的问题,或者是系统内核版本不一致、或者你最后也没搞懂是为什么!

只能再换另外一台服务器,那么使用 Docker 呢就可以完美的避开这些坑。好了,废话不多说我们就开始吧!

Spring Boot 案例

配置信息

依赖包

<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-jpa</artifactId>
</dependency>
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
</dependency>
</dependencies>

主要添加了 Spring Boot Web 支持,使用 Jpa 操作数据库、添加 Myql 驱动包等。

配置文件

spring.datasource.url=jdbc:mysql://localhost:3306/test
spring.datasource.username=root
spring.datasource.password=root
spring.datasource.driver-class-name=com.mysql.jdbc.Driver

spring.jpa.properties.hibernate.hbm2ddl.auto=update
spring.jpa.properties.hibernate.dialect=org.hibernate.dialect.MySQL5InnoDBDialect
spring.jpa.show-sql=true

配置了数据库的链接信息,以及 Jpa 更新表模式、方言和是否显示Sql

核心代码

核心代码很简单,每过来一个请求,判断是否已经统计过,如果没有统计新增数据,如果有统计数据更新数据。

@RestController
public class VisitorController {

@Autowired
private VisitorRepository repository;

@RequestMapping("/")
public String index(HttpServletRequest request) {
String ip=request.getRemoteAddr();
Visitor visitor=repository.findByIp(ip);
if(visitor==null){
visitor=new Visitor();
visitor.setIp(ip);
visitor.setTimes(1);
}else {
visitor.setTimes(visitor.getTimes()+1);
}
repository.save(visitor);
return "I have been seen ip "+visitor.getIp()+" "+visitor.getTimes()+" times.";
}
}

实体类和 Repository 层代码比较简单,这里就不贴出来了,大家感兴趣可以下载源码查看。

以上内容都完成后,启动项目,访问:http://localhost:8080/ 我们就可以看到这样的返回结果:

I have been seen ip 0:0:0:0:0:0:0:1 1 times.

再访问一次会变成

I have been seen ip 0:0:0:0:0:0:0:1 2 times.

多次访问一直叠加,说明演示项目开发完成。

Docker 化改造

首先我们将目录改造成这样一个结构

我们先从最外层说起:

  • docker-compose.yaml:docker-compose 的核心文件,描述如何构建整个服务
  • nginx:有关 nginx 的配置
  • app:Spring Boot 项目地址

如果我们需要对 Mysql 有特殊的定制,也可以在最外层创建 mysql 文件夹,在此目录下进行配置。

docker-compose.yaml 文件详解

version: '3'
services:
nginx:
container_name: v-nginx
image: nginx:1.13
restart: always
ports:
- 80:80
- 443:443
volumes:
- ./nginx/conf.d:/etc/nginx/conf.d

mysql:
container_name: v-mysql
image: mysql/mysql-server:5.7
environment:
MYSQL_DATABASE: test
MYSQL_ROOT_PASSWORD: root
MYSQL_ROOT_HOST: '%'
ports:
- "3306:3306"
restart: always

app:
restart: always
build: ./app
working_dir: /app
volumes:
- ./app:/app
- ~/.m2:/root/.m2
expose:
- "8080"
depends_on:
- nginx
- mysql
command: mvn clean spring-boot:run -Dspring-boot.run.profiles=docker
  • version: '3':表示使用第三代语法来构建 docker-compose.yaml 文件。
  • services: 用来表示 compose 需要启动的服务,我们可以看出此文件中有三个服务分别为:nginx、mysql、app。
  • container_name:  容器名称
  • environment: 此节点下的信息会当作环境变量传入容器,此示例中 mysql 服务配置了数据库、密码和权限信息。
  • ports: 表示对外开放的端口
  • restart: always 表示如果服务启动不成功会一直尝试。
  • volumes: 加载本地目录下的配置文件到容器目标地址下
  • depends_on:可以配置依赖服务,表示需要先启动 depends_on 下面的服务后,再启动本服务。
  • command: mvn clean spring-boot:run -Dspring-boot.run.profiles=docker: 表示以这个命令来启动项目, -Dspring-boot.run.profiles=docker表示使用 application-docker.properties文件配置信息进行启动。

Nginx 文件解读

nginx 在目录下有一个文件 app.conf,主要配置了服务转发信息

server {
listen 80;
charset utf-8;
access_log off;

location / {
proxy_pass http://app:8080;
proxy_set_header Host $host:$server_port;
proxy_set_header X-Forwarded-Host $server_name;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}

location /static {
access_log off;
expires 30d;

alias /app/static;
}
}

这块内容比较简单,配置请求转发,将80端口的请求转发到服务 app 的8080端口。其中proxy_pass http://app:8080这块的配置信息需要解释一下,这里使用是app而不是localhost,是因为他们没有在一个容器中,在一组 compose 的服务通讯需要使用 services 的名称进行访问。

Spring Boot 项目改造

app目录下也就是和pom.xm文件同级添加Dockerfile文件,文件内容如下:

FROM maven:3.5-jdk-8

只有一句,依赖于基础镜像maven3.5jdk 1.8。因为在docker-compose.yaml文件设置了项目启动命令,这里不需要再添加启动命令。

在项目的resources目录下创建application-dev.propertiesapplication-docker.properties文件

  • application-dev.properties 中的配置信息和上面一致
  • application-docker.properties 中的配置信息做稍微的改造,将数据库的连接信息由 jdbc:mysql://localhost:3306/test改为 jdbc:mysql://mysql:3306/test

这样我们所有的配置都已经完成。

部署

我们将项目拷贝到服务器中进行测试,服务器需要先安装 Docker 和 Docker Compos 环境,如果不了解的朋友可以查看我前面的两篇文章:

  • Docker(一):Docker入门教程
  • Docker(四):Docker 三剑客之 Docker Compose

将项目拷贝到服务器中,进入目录cd dockercompose-springboot-mysql-nginx

启动服务:docker-compose up

[root@VM_73_217_centos dockercompose-springboot-mysql-nginx]# docker-compose up
Creating network "dockercomposespringbootmysqlnginx_default" with the default driver
Creating v-nginx ... done
Creating v-mysql ... done
Creating dockercomposespringbootmysqlnginx_app_1 ... done
Attaching to v-nginx, v-mysql, dockercomposespringbootmysqlnginx_app_1
v-mysql | [Entrypoint] MySQL Docker Image 5.7.21-1.1.4
v-mysql | [Entrypoint] Initializing database
app_1 | [INFO] Scanning for projects...
...
app_1 | 2018-03-26 02:54:55.658 INFO 1 --- [ main] o.s.b.w.embedded.tomcat.TomcatWebServer : Tomcat started on port(s): 8080 (http) with context path ''
app_1 | 2018-03-26 02:54:55.660 INFO 1 --- [ main] com.neo.ComposeApplication : Started ComposeApplication in 14.869 seconds (JVM running for 30.202)

看到信息Tomcat started on port(s): 8080表示服务启动成功。也可以使用docker-compose up -d后台启动

使用docker-compose ps查看项目中目前的所有容器

[root@VM_73_217_centos dockercompose-springboot-mysql-nginx]# docker-compose ps
Name Command State Ports
----------------------------------------------------------------------------------------------------------------------------------
dockercomposespringbootmysqlnginx_app_1 /usr/local/bin/mvn-entrypo ... Up 8080/tcp
v-mysql /entrypoint.sh mysqld Up (healthy) 0.0.0.0:3306->3306/tcp, 33060/tcp
v-nginx nginx -g daemon off; Up 0.0.0.0:443->443/tcp, 0.0.0.0:80->80/tcp

可以看到项目中服务的状态、命令、端口等信息。

关闭服务docker-compose down

[root@VM_73_217_centos dockercompose-springboot-mysql-nginx]# docker-compose down
Stopping dockercomposespringbootmysqlnginx_app_1 ... done
Stopping visitor-nginx ... done
Stopping visitor-mysql ... done
Removing dockercomposespringbootmysqlnginx_app_1 ... done
Removing visitor-nginx ... done
Removing visitor-mysql ... done

docker-compose 顺序

在使用 docker-compose 启动的时候经常会出现项目报 Mysql 连接异常,跟踪了一天终于发现了问题。docker-compose 虽然可以通过depends_on 来定义服务启动的顺序,但是无法确定服务是否启动完成,因此会出现这样一个现象,Mysql 服务启动比较慢,当 Spring Boot 项目已经启动起来,但是 Mysql 还没有初始化好,这样当项目连接 Mysql 数据库的时候,就会出现连接数据库的异常。

针对这样的问题,有两种解决方案:

1、足够的容错和重试机制,比如连接数据库,在初次连接不上的时候,服务消费者可以不断重试,直到连接上服务。也就是在服务中定义:restart: always

2、同步等待,使用wait-for-it.sh或者其他shell脚本将当前服务启动阻塞,直到被依赖的服务加载完毕。这种方案后期可以尝试使用。

总结

没有对比就没有伤害,在没有使用 Docker 之前,我们需要搭建这样一个环境的话,需要安装 Nginx、Mysql ,再进行一系列的配置调试,还要担心各种环境问题;使用 Docker 之后简单两个命令就完成服务的上线、下线。

docker-compose up
docker-compose down

其实容器技术对部署运维的优化还有很多,这只是刚刚开始,后面使用了 Swarm 才会真正感受到它的便利和强大。

示例代码 :https://github.com/ityouknow/spring-boot-examples


< END >
纯洁的微笑
一个有故事的程序员
微信扫描二维码,关注我的公众号

以上是关于K8s 部署 Spring boot 实践应用指南的主要内容,如果未能解决你的问题,请参考以下文章