使用docker-compose时,Healthcheck根本不起作用(我的服务在启动前不等待Kafka启动)

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了使用docker-compose时,Healthcheck根本不起作用(我的服务在启动前不等待Kafka启动)相关的知识,希望对你有一定的参考价值。

我在docker-compose上有三项服务:

version: '3.4'
  setup-topics:
    image: 'bitnami/kafka:2'
    hostname: setup-topics
    container_name: setup-topics
    command: "bash -c 'echo Waiting for Kafka to be ready... && 
                       ./opt/bitnami/kafka/bin/kafka-topics.sh --create --if-not-exists --zookeeper zookeeper:2181 --partitions 1 --replication-factor 1 --topic orders && 
                       ./opt/bitnami/kafka/bin/kafka-topics.sh --create --if-not-exists --zookeeper zookeeper:2181 --partitions 1 --replication-factor 1 --topic redis'"
    environment:
      KAFKA_BROKER_ID: ignored
      KAFKA_ZOOKEEPER_CONNECT: ignored
    depends_on:
      - kafka

  kafka:
    container_name: kafka
    hostname: kafka
    image: 'bitnami/kafka:2'
    ports:
      - '9092:9092'
      - '29092:29092'
    volumes:
      - 'kafka_data:/opt/kafka'
      - './Ping.jar:/Ping.jar'
    environment:
      - KAFKA_HEAP_OPTS=-Xms1g -Xmx1g
      - KAFKA_JVM_PERFORMANCE_OPTS=-Xms512m -Xmx512M
      - KAFKA_BROKER_ID:1
      - KAFKA_CFG_ZOOKEEPER_CONNECT=zookeeper-server:2181
      - ALLOW_PLAINTEXT_LISTENER=yes
      - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
      - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,PLAINTEXT_HOST://:29092
      - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://kafka-server:9092,PLAINTEXT_HOST://localhost:29092
    depends_on:
      - zookeeper

    healthcheck:
      test: ["CMD", "java", "-jar", "/Ping.jar", "localhost", "9092"]
      interval: 30s
      timeout: 10s
      retries: 4

  zookeeper:
    container_name: zookeeper
    hostname: zookeeper
    image: 'bitnami/zookeeper:3'
    ports:
      - '2181:2181'
    volumes:
      - 'zookeeper_data:/bitnami'
    environment:
      - ALLOW_ANONYMOUS_LOGIN=yes
      - ZOOKEEPER_CLIENT_PORT=32181
      - ZOOKEEPER_TICK_TIME=2000

这里是Ping.java文件(在stackoverflow的答案上是在这里找到它:Docker-Compose: How to healthcheck OpenJDK:8 container?

]
import java.io.IOException;
import java.net.InetSocketAddress;
import java.net.Socket;

public class Ping {
    public static void main(String[] args) {
        if (args.length != 2) {
            System.exit(-1);
        }

        String host = args[0];
        int port = 0;

        try {
            port = Integer.parseInt(args[1]);
        } catch (NumberFormatException e) {
            e.printStackTrace();
            System.exit(-2);
        }

        try (Socket socket = new Socket()) {
            socket.connect(new InetSocketAddress(host, port), 10 * 1000);
            System.exit(0);
        } catch (IOException e) {
            System.exit(1);
        }
    }
}

即使depends_on服务上的SETUP-TOPICS都依赖于Kafka才能正常工作,但他不等到Kafka启动后再运行并安装新主题。

我可以通过使用以下方法来避免此步骤:

KAFKA_AUTO_CREATE_TOPICS_ENABLE=true

但是出于我的发展目的,我需要将其设置为FALSE并逐个创建它们。

此外,我已经在运行状况检查中使用此命令进行了测试,不需要第三方文件:

healthcheck:
  test: ["CMD", "bash", "-c", "unset" , "JMX_PORT" ,";" ,"/opt/bitnami/kafka/bin/kafka-topics.sh","--zookeeper","zookeeper:2181","--list"]
  interval: 30s
  timeout: 10s
  retries: 4

最后,这是我两次尝试都收到的错误消息:

Waiting for Kafka to be ready...
Error while executing topic command : Replication factor: 1 larger than available brokers: 0.
[2020-06-01 15:06:28,809] ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException: Replication factor: 1 larger than available brokers: 0.
 (kafka.admin.TopicCommand$)

[我知道我们也可以使用SLEEP命令来执行此操作,但是它不是专业的,如果服务器上出现性能问题,并且Kafka需要更长的启动时间,则会错过此错误并再次收到与错误相同的错误以上。

[我也听说过kafkacat(为此我还没有找到如何将其与docker-compose集成的示例)。

我想保持基础,并使用有限的第三方工具来实现此目标,这是我选择JAVA文件的方式,因为该图像已经安装了Java依赖项。

希望您了解我的观点,在此先感谢您的帮助。

答案

不清楚为什么需要JAR文件。这也应该工作]

test: ["CMD", "nc", "-vz", "localhost", "9092"]

问题很简单,waiting for kafka在运行命令之前没有等待足够长的时间。 depends_on不等待healthcheck,AFAIK

以上是关于使用docker-compose时,Healthcheck根本不起作用(我的服务在启动前不等待Kafka启动)的主要内容,如果未能解决你的问题,请参考以下文章

从 docker-compose 使用时,flyway 不接受迁移

Ngrok 隧道 https 通过配置

使用 docker-compose 时如何在容器内使用主机用户修改卷文件

在构建时使用 docker-compose 将环境变量传递给 docker 映像

docker-compose:“运行时”不支持的配置选项

使用 docker-compose 时导入 keycloak 配置文件