GO服务运维实践

Posted 2023-05-17

参考技术A 在ezbuy业务里，GO服务被大规模的用在我们后端服务上，那么我们是如何运维GO服务的呢？我们分以下3个类别说起：

针对新的项目在uat上线，我们会通过CMDB工单系统，让开发提交工单填写项目名称，工单系统首先会通过gitlab api查看这个项目是否在gitlab有，如果没有，拒绝在uat上线，如果有则调用jenkins的api，通过jenkins模版在所有的uat环境生成uat项目。

针对已有的uat项目，通过gitlab的webhook功能，开发在提交分支的时候自动触发gitlab webhook功能，从而jenkins会自动执行编译步骤，编译成功后会解析每个项目下的conf.ctmpl配置文件，通过这个配置文件我们可以发现服务所需要暴露出来的端口，然后通过 Dockerfile模版文件生成Docker镜像，最后通过docker api下发到docker宿主机子上。

针对GO服务的配置文件，我们统一通过consul key 来实现，这样可以保持uat和线上一致

开发在合并master分支的时候，会自动触发webhook,实现jenkins编译go，编译通过后上传到svn，然后可以根据项目的选择调用CMDB api直接发送到线上，也可以不掉用CMDB api，通过登录到CMDB运维平台，手动发布到线上，如果线上发布失败，系统会自动回滚到上一个稳定的版本，发布后会调用钉钉和企业微信at到发布本人，全程发布运维不干预，发布权限下发到每个开发手中。

所有的GO权限都下发到每个开发手中，开发可以通过cmdb平台实时看到自己的服务运行状态，重启/停止服务，版本回滚，GO cronjob下发，cronjob列表查询，脚本运行

GO服务上线：

GO自动发现注册：

GO服务日志：

GO服务监控：

关于GO服务的运维我们暂时介绍到这，下一篇介绍下GO服务在运维的架构，尽请期待。

基于Go/Grpc/kubernetes/Istio开发微服务的最佳实践尝试

基于Go/Grpc/kubernetes/Istio开发微服务的最佳实践尝试 - 1/3

基于Go/Grpc/kubernetes/Istio开发微服务的最佳实践尝试 - 2/3

基于Go/Grpc/kubernetes/Istio开发微服务的最佳实践尝试 - 3/3

项目地址：https://github.com/janrs-io/Jgrpc

---

转载请注明来源：https://janrs.com/ugj7

---

在上一部分中，我们创建了微服务的目录结构并实现了微服务pongservice。

这部分我们继续实现一个名为pingservice的微服务，访问上一节已经部署好的pongservice微服务。

创建一个新的微服务非常简单，只需复制之前创建的pongservice微服务，然后做一些小改动。

项目结构

这部分最终的目录结构如下：

pingservice
├── buf.gen.yaml
├── cmd
│   ├── main.go
│   └── server
│       ├── grpc.go
│       ├── http.go
│       ├── run.go
│       ├── wire.go
│       └── wire_gen.go
├── config
│   ├── client.go
│   ├── config.go
│   └── config.yaml
├── genproto
│   └── v1
│       ├── gw
│       │   └── pingservice.pb.gw.go
│       ├── pingservice.pb.go
│       └── pingservice_grpc.pb.go
├── go.mod
├── go.sum
├── proto
│   ├── buf.lock
│   ├── buf.yaml
│   └── v1
│       ├── pingservice.proto
│       └── pingservice.yaml
└── service
    ├── client.go
    └── server.go

9 directories, 21 files

开始

复制

在 src 目录下执行如下复制命令：

cp -R pongservice pingservice

删除 wire_gen.go

删除 pingservice/cmd/server 目录中的 wire_gen.go 文件。

修改 go.mod module

修改go.mod文件的模块，如下代码所示：

module github.com/janrs-io/Jgrpc/src/pingservice

生成 proto

删除pingservice/proto/v1目录下的pongservice.proto和pongservice.yaml文件以及整个genproto文件夹。

然后重新创建pingservice.proto和pingservice.yaml文件，代码如下：

pingservice.proto code:

syntax = "proto3";

package proto.v1;

option go_package = "github.com/janrs-io/Jgrpc/src/pingservice/genproto/v1";

service PingService 
  rpc Ping(PingRequest) returns(PingResponse)


message PingRequest 
  string msg = 1 ;


message PingResponse 
  string msg = 1;

pingservice.yaml code:

type: google.api.Service
config_version: 3

http:
  rules:
    - selector: proto.v1.PingService.Ping
      get: /ping.v1.ping

修改 pingservice 目录下的 buf.gen.yaml 文件。 修改后的完整代码如下：

version: v1
plugins:
  - plugin: go
    out: genproto/v1
    opt:
      - paths=source_relative
  - plugin: go-grpc
    out: genproto/v1
    opt:
      - paths=source_relative
  - plugin: grpc-gateway
    out: genproto/v1/gw
    opt:
      - paths=source_relative
      - grpc_api_configuration=proto/v1/pingservice.yaml
      - standalone=true

在pingservice目录下执行以下命令生成 proto 文件：

buf generate proto/v1

执行命令后，将重新生成genproto目录，并自动创建*pb.go文件。

修改 import 路径和所有代码

检查所有文件的导入，将导入路径的pongservice修改为pingservice。

将所有代码的Pong/pong改为Ping/ping，直到没有错误为止。

修改 config.yaml

修改 config 目录下的config.yaml文件。
将 grpc 的服务器端口更改为 50052，将 http 的服务器端口更改为 9002。
将 grpc 的服务名改为ping-grpc，将 http 的服务名改为ping-http。

修改后的完整代码如下：

# grpc config
grpc:
  host: ""
  port: ":50052"
  name: "ping-grpc"

# http config
http:
  host: ""
  port: ":9002"
  name: "ping-http"

生成 generate inject

在 pingservice 目录中执行以下 wire 命令以重新生成依赖注入文件：

wire ./...

引入 pongservier 服务的 go.mod

我们要在 pingservice 这个微服务中访问 pongservice 的 grpc 服务，所以需要导入 pongservice 的 go.mod。

修改pingservice目录下的go.mod文件，添加导入pongservice的代码，如下：

module github.com/janrs-io/Jgrpc/src/pingservice

go 1.19

replace (
	pongservice => ../pongservice
)

require (
	pongservice v0.0.0
	github.com/google/wire v0.5.0
	github.com/grpc-ecosystem/grpc-gateway/v2 v2.15.2
	github.com/spf13/viper v1.15.0
	google.golang.org/grpc v1.54.0
	google.golang.org/protobuf v1.30.0
)

// the other required package...

修改 config.yaml

修改pingservice/config目录下的config.yaml文件，添加如下代码：

# service client
client:
  pong: ":50051"

修改后的完整代码如下：

# grpc config
grpc:
  host: ""
  port: ":50052"
  name: "ping-grpc"

# http config
http:
  host: ""
  port: ":9002"
  name: "ping-http"

# service client
client:
  pong: ":50051"

生成 client.go

在pingservice/config目录下生成client.go文件，添加如下代码：

package config

// Client Client service config
type Client struct 
	Pong string `json:"pong" yaml:"pong"`

修改 config.go

在 Config 结构体中添加一个 Client 字段，代码如下：

Client Client `json:"client" yaml:"client"`

修改后的完整代码如下：

package config

import (
	"net/http"

	"github.com/spf13/viper"
	"google.golang.org/grpc"
)

// Config Service config
type Config struct 
	Grpc   Grpc   `json:"grpc" yaml:"grpc"`
	Http   Http   `json:"http" yaml:"http"`
	Client Client `json:"client" yaml:"client"`


// NewConfig Initial service\'s config
func NewConfig(cfg string) *Config 

	if cfg == "" 
		panic("load config file failed.config file can not be empty.")
	

	viper.SetConfigFile(cfg)

	// Read config file
	if err := viper.ReadInConfig(); err != nil 
		panic("read config failed.[ERROR]=>" + err.Error())
	
	conf := &Config
	// Assign the overloaded configuration to the global
	if err := viper.Unmarshal(conf); err != nil 
		panic("assign config failed.[ERROR]=>" + err.Error())
	

	return conf



// Grpc Grpc server config
type Grpc struct 
	Host   string `json:"host" yaml:"host"`
	Port   string `json:"port" yaml:"port"`
	Name   string `json:"name" yaml:"name"`
	Server *grpc.Server


// Http Http server config
type Http struct 
	Host   string `json:"host" yaml:"host"`
	Port   string `json:"port" yaml:"port"`
	Name   string `json:"name" yaml:"name"`
	Server *http.Server

修改 client.go

修改pingservice/service目录下的client.go文件，添加如下代码：

// NewPongClient New pong service client
func NewPongClient(conf *config.Config) (pongclientv1.PongServiceClient, error) 

	ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
	defer cancel()

	conn, err := grpc.DialContext(ctx, conf.Client.Pong, grpc.WithTransportCredentials(insecure.NewCredentials()))
	if err != nil 
		fmt.Println("dial auth server failed.[ERROR]=>" + err.Error())
		return nil, err
	
	client := pongclientv1.NewPongServiceClient(conn)
	return client, nil

修改后的完整代码如下：

package service

import (
	"context"
	"fmt"
	"time"

	"google.golang.org/grpc"
	"google.golang.org/grpc/credentials/insecure"

	"github.com/janrs-io/Jgrpc/src/pingservice/config"
	v1 "github.com/janrs-io/Jgrpc/src/pingservice/genproto/v1"
	pongclientv1 "github.com/janrs-io/Jgrpc/src/pongservice/genproto/v1"
)

// NewClient New service\'s client
func NewClient(conf *config.Config) (v1.PingServiceClient, error) 

	serverAddress := conf.Grpc.Host + conf.Grpc.Port
	ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
	defer cancel()

	conn, err := grpc.DialContext(ctx, serverAddress, grpc.WithTransportCredentials(insecure.NewCredentials()))
	if err != nil 
		return nil, err
	
	client := v1.NewPingServiceClient(conn)
	return client, nil



// NewPongClient New pong service client
func NewPongClient(conf *config.Config) (pongclientv1.PongServiceClient, error) 

	ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
	defer cancel()

	conn, err := grpc.DialContext(ctx, conf.Client.Pong, grpc.WithTransportCredentials(insecure.NewCredentials()))
	if err != nil 
		fmt.Println("dial auth server failed.[ERROR]=>" + err.Error())
		return nil, err
	
	client := pongclientv1.NewPongServiceClient(conn)
	return client, nil

修改 server.go

修改pingservice/service目录下的server.go文件，修改后的完整代码如下：

package service

import (
	"context"
	"google.golang.org/grpc/grpclog"

	"github.com/janrs-io/Jgrpc/src/pingservice/config"
	v1 "github.com/janrs-io/Jgrpc/src/pingservice/genproto/v1"
	pongclientv1 "github.com/janrs-io/Jgrpc/src/pongservice/genproto/v1"
)

// Server Server struct
type Server struct 
	v1.UnimplementedPingServiceServer
	pingClient v1.PingServiceClient
	pongClient pongclientv1.PongServiceClient
	conf       *config.Config


// NewServer New service grpc server
func NewServer(
	conf *config.Config,
	pingClient v1.PingServiceClient,
	pongClient pongclientv1.PongServiceClient,
) v1.PingServiceServer 
	return &Server
		pingClient: pingClient,
		pongClient: pongClient,
		conf:       conf,
	


func (s *Server) Ping(ctx context.Context, req *v1.PingRequest) (*v1.PingResponse, error) 
	pongReq := &pongclientv1.PongRequestMsg: "request from ping service"
	pongResp, err := s.pongClient.Pong(ctx, pongReq)
	if err != nil 
		grpclog.Error("connect pong failed.[ERROR]=>" + err.Error())
		return nil, err
	

	return &v1.PingResponse
		Msg: "response ping msg:" + req.Msg + " and msg from pong service is: " + pongResp.Msg,
	, nil

修改 wire.go

修改pingservice/cmd/server的wire.go文件，添加service.NewPongClient依赖注入。 代码如下：

service.NewPongClient

修改后的完整代码如下：

//go:build wireinject
// +build wireinject

package server

import (
	"github.com/google/wire"

	"github.com/janrs-io/Jgrpc/src/pingservice/config"
	v1 "github.com/janrs-io/Jgrpc/src/pingservice/genproto/v1"
	"github.com/janrs-io/Jgrpc/src/pingservice/service"
)

// InitServer Inject service\'s component
func InitServer(conf *config.Config) (v1.PingServiceServer, error) 

	wire.Build(
		service.NewPongClient,
		service.NewClient,
		service.NewServer,
	)

	return &service.Server, nil

在 pingservice 目录下执行以下 wire 命令重新生成依赖注入文件：

如果出现 go.mod 引入错误，只需在 pingservice 目录中再次运行 go mod tidy。

wire ./...

启动 service

分别在pongservice目录和pingservice目录下执行go run命令。

go run cmd/main.go

在浏览器中输入以下请求地址：

127.0.01:9002/ping.v1.ping?msg=best practice

一切正确的情况下返回以下 json 数据：

    "msg": "response ping msg:best practice and msg from pong service is: response pong msg:request from ping service"

总结

这部分我们新建一个 pingservice 微服务，实现访问 pongservice 的 grpc 服务。

相信通过这两次创建微服务的简单尝试，你一定觉得基于Go和Grpc开发微服务并不难。

在下一部分中，我们将利用 Jenkins/Gitlab/Harbor 和 Kubernets/Istio 进行 devops 的 CICD 部署。

---

转载请注明来源：https://janrs.com/ugj7