GO开发：etcd用法

Posted 2020-10-24 宁信

etcd是什么？

A highly-available key value store for shared configuration and service discovery.

是一个键值存储仓库，用于配置共享和服务发现

• 简单：基于HTTP+JSON的API让你用curl命令就可以轻松使用。
• 安全：可选SSL客户认证机制。
• 快速：每个实例每秒支持一千次写操作。
• 可信：使用Raft算法充分实现了分布式。

和ZK类似，ETCD有很多使用场景，包括：

• 配置管理
• 服务注册于发现
• 选主
• 应用调度
• 分布式队列
• 分布式锁

ETCD集群是一个分布式系统，由多个节点相互通信构成整体对外服务，每个节点都存储了完整的数据，并且通过Raft协议保证每个节点维护的数据是一致的。

服务发现（Service Discovery）

要解决的是分布式系统中最常见的问题之一，即在同一个分布式集群中的进程或服务如何才能找到对方并建立连接。从本质上说，服务发现就是想要了解集群中是否有进程在监听udp或tcp端口，并且通过名字就可以进行查找和连接。

消息发布与订阅

在分布式系统中，最为适用的组件间通信方式是消息发布与订阅机制。具体而言，即构建一个配置共享中心，数据提供者在这个配置中心发布消息，而消息使用者则订阅他们关心的主题，一旦相关主题有消息发布，就会实时通知订阅者。通过这种方式可以实现分布式系统配置的集中式管理与实时动态更新。

负载均衡

在分布式系统中，为了保证服务的高可用以及数据的一致性，通常都会把数据和服务部署多份，以此达到对等服务，即使其中的某一个服务失效了，也不影响使用。这样的实现虽然会导致一定程度上数据写入性能的下降，但是却能实现数据访问时的负载均衡。因为每个对等服务节点上都存有完整的数据，所以用户的访问流量就可以分流到不同的机器上。

etcd的golang操作：

package main

import (
    "context"
    "encoding/json"
    "fmt"
    "time"
    "github.com/coreos/etcd/clientv3"
)

const (
    EtcdKey = "/ningxin/backend/logagent/config/192.168.56.1"
)

type LogConf struct {
    Path  string `json:"path"`
    Topic string `json:"topic"`
}

func SetLogConfToEtcd() {
    cli, err := clientv3.New(clientv3.Config{
        Endpoints:   []string{"localhost:2379", "localhost:22379", "localhost:32379"},
        DialTimeout: 5 * time.Second,
    })
    if err != nil {
        fmt.Println("connect failed, err:", err)
        return
    }
    fmt.Println("connect succ")
    defer cli.Close()

    var logConfArr []LogConf
    logConfArr = append(
        logConfArr,
        LogConf{
            Path:  "D:/project/nginx/logs/access.log",
            Topic: "nginx_log",
        },
    )
    logConfArr = append(
        logConfArr,
        LogConf{
            Path:  "D:/project/nginx/logs/error.log",
            Topic: "nginx_log_err",
        },
    )

    data, err := json.Marshal(logConfArr)
    if err != nil {
        fmt.Println("json failed, ", err)
        return
    }

    ctx, cancel := context.WithTimeout(context.Background(), time.Second)
    _, err = cli.Put(ctx, EtcdKey, string(data))
    cancel()
    if err != nil {
        fmt.Println("put failed, err:", err)
        return
    }

    ctx, cancel = context.WithTimeout(context.Background(), time.Second)
    resp, err := cli.Get(ctx, EtcdKey)
    cancel()
    if err != nil {
        fmt.Println("get failed, err:", err)
        return
    }
    for _, ev := range resp.Kvs {
        fmt.Printf("%s : %s\n", ev.Key, ev.Value)
    }
}

func main() {
    SetLogConfToEtcd()
    EtcdExmaple()
}

func EtcdExmaple() {
    cli, err := clientv3.New(clientv3.Config{
        Endpoints:   []string{"localhost:2379", "localhost:22379", "localhost:32379"},
        DialTimeout: 5 * time.Second,
    })
    if err != nil {
        fmt.Println("connect failed, err:", err)
        return
    }

    fmt.Println("connect succ")
    defer cli.Close()

    ctx, cancel := context.WithTimeout(context.Background(), time.Second)
    _, err = cli.Put(ctx, "/logagent/conf/", "sample_value")
    cancel()
    if err != nil {
        fmt.Println("put failed, err:", err)
        return
    }

    ctx, cancel = context.WithTimeout(context.Background(), time.Second)
    resp, err := cli.Get(ctx, "/logagent/conf/")
    cancel()
    if err != nil {
        fmt.Println("get failed, err:", err)
        return
    }
    for _, ev := range resp.Kvs {
        fmt.Printf("%s : %s\n", ev.Key, ev.Value)
    }
}

用etcd构建的web日志监控：https://github.com/ningxin1718/logweb