Kubernetes实战总结 - EFK部署（v7.6.0）

Posted 2021-03-01 leozhanggg

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Kubernetes实战总结 - EFK部署（v7.6.0）相关的知识，希望对你有一定的参考价值。

基础概念

Elasticsearch 是一个实时的、分布式的可扩展的搜索引擎，允许进行全文、结构化搜索，它通常用于索引和搜索大量日志数据，也可用于搜索许多不同类型的文档。

Beats 是数据采集的得力工具。将 Beats 和您的容器一起置于服务器上，或者将 Beats 作为函数加以部署，然后便可在 Elastisearch 中集中处理数据。如果需要更加强大的处理性能，Beats 还能将数据输送到 Logstash 进行转换和解析。

Kibana 核心产品搭载了一批经典功能：柱状图、线状图、饼图、旭日图，等等。不仅如此，您还可以使用 Vega 语法来设计独属于您自己的可视化图形。所有这些都利用 Elasticsearch 的完整聚合功能。

Elasticsearch 通常与 Kibana一起部署，Kibana 是 Elasticsearch 的一个功能强大的数据可视化 Dashboard，Kibana 允许你通过 web 界面来浏览 Elasticsearch 日志数据。

安装部署

这里我们利用Helm进行部署，所以我们需要先安装Helm。

wget -O helm.tgz https://get.helm.sh/helm-v3.1.1-linux-amd64.tar.gz
tar -zxvf helm.tgz
cd linux-amd64
mv helm /usr/local/bin && chmod a+x /usr/local/bin
helm version

详情参考：Kubernetes实战总结 - Helm部署（v3.1.1）

然后我们下载Helm仓库源码

wget -O helm-charts.tgz  https://github.com/elastic/helm-charts/archive/7.6.2.tar.gz
tar -zxvf helm-charts.tgz
cd helm-charts-7.6.2

创建PV供elasticsearch使用，这里采用NFS，你也可以采用其他方式。

# es-pv.yaml
apiVersion: v1
kind: PersistentVolume
metadata:
  name: elasticsearch
spec:
  capacity:
    storage: 30Gi
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Retain
  nfs:
    path: /nfsdata/elasticsearch
    server: *.*.*.*

kubectl create -f es-pv.yaml

部署elasticsearch

vim elasticsearch/values.yaml

# 根据自己节点数进行更改
replicas: 1
minimumMasterNodes: 1    
.......

# 更改镜像源及版本
image: "registry.cn-shanghai.aliyuncs.com/leozhanggg/elastic/elasticsearch"
imageTag: "7.6.0"
imagePullPolicy: "IfNotPresent"
......

# 自行调整资源大小
resources:
  requests:
    cpu: "1000m"
    memory: "2Gi"
  limits:
    cpu: "1000m"
    memory: "2Gi"
......

# 存在对应PV
volumeClaimTemplate:
  accessModes: [ "ReadWriteOnce" ]
  resources:
    requests:
      storage: 30Gi

helm install es --namespace=efk ./elasticsearch

部署filebeat

vim filebeat/values.yaml

# 日志收集目录
hostPathRoot: /var/lib
hostNetworking: false

# 更改镜像源及版本
image: "registry.cn-shanghai.aliyuncs.com/leozhanggg/elastic/filebeat"
imageTag: "7.6.0"
imagePullPolicy: "IfNotPresent"

helm install fb --namespace=efk ./filebeat

部署kibana

vim kibana/values.yaml

# 更改镜像源及版本
image: "registry.cn-shanghai.aliyuncs.com/leozhanggg/elastic/kibana"
imageTag: "7.6.0"
imagePullPolicy: "IfNotPresent"
......

# 更改为NodePort模式
service:
  type: NodePort
  port: 5601
  nodePort: "30005"
  
helm install kb --namespace=efk ./kibana

等待部署完成

[root~ ]# kubectl get pod -n efk
NAME                             READY   STATUS    RESTARTS   AGE
elasticsearch-master-0           1/1     Running   0          28h
filebeat-filebeat-967m2          1/1     Running   0          28h
filebeat-filebeat-lr79k          1/1     Running   0          28h
kibana-kibana-64f5869d86-qrkrq   1/1     Running   0          28h

访问masterip:port，即可查看日志

当然，这并不是最佳实现，在该架构中，根据业务特点，还可以加入某些中间件，如Redis、Kafak等。