部署Kafka集群

部署Kafka集群

Kafka 3.0 之前的架构: 元数据在 zookeeper 中，运行时动态选举 controller，由 controller 进行 Kafka 集群管理。kraft 模式架构: 不再依赖 zookeeper 集群，而是用三台 controller 节点代替 zookeeper，元数据保存在 controller 中，由 controller 直接进行 Kafka 集群管理。

1 kraft 架构

Kafka 不再依赖外部框架，而是能够独立运行。
controller 管理集群时，不再需要从 zookeeper 中先读取数据，集群性能上升。
由于不依赖 zookeeper，集群扩展时不再受到 zookeeper 读写能力限制 controller 不再动态选举，而是由配置文件规定，这样我们可以有针对性的加强 controller 节点的配置。
后续版本升级方便，不用和 zookeeper 一起维护。

2 docker-compose-kafka.yml

docker-compose-kafka.yml 配置

version: "2.1"
services:
  kafka:
    image: '${MS_IMAGE_PREFIX}/kafka:3.2.0'
    container_name: kafka
    ports:
      - '${MS_KAFKA_PORT}:${MS_KAFKA_PORT}'
    healthcheck:
      test: ["CMD", "bash", "-c", "< /dev/tcp/localhost/9093"]
      interval: 6s
      timeout: 10s
      retries: 20
    restart: always
    environment:
      KAFKA_ENABLE_KRAFT: 'yes'
      KAFKA_BROKER_ID: 1
      ALLOW_PLAINTEXT_LISTENER: 'yes'
      KAFKA_CFG_ADVERTISED_LISTENERS: PLAINTEXT://${MS_KAFKA_HOST}:${MS_KAFKA_PORT}
      KAFKA_CFG_CONTROLLER_QUORUM_VOTERS: 1@127.0.0.1:9093
      KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP: CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT
      KAFKA_CFG_CONTROLLER_LISTENER_NAMES: CONTROLLER
      KAFKA_CFG_LISTENERS: PLAINTEXT://:9092,CONTROLLER://:9093
      KAFKA_CFG_PROCESS_ROLES: broker,controller
      KAFKA_CFG_LOG_RETENTION_HOURS: 64
      KAFKA_CFG_MAX_REQUEST_SIZE: 52428800
      KAFKA_CFG_MESSAGE_MAX_BYTES: 52428800
      KAFKA_CFG_REPLICA_FETCH_MAX_BYTES: 52428800
      KAFKA_CFG_FETCH_MESSAGE_MAX_BYTES: 52428800
      KAFKA_CFG_PARTITION_FETCH_BYTES: 52428800
      FORMAT_MESSAGES_PATTERN_DISABLE_LOOKUPS: 'true'
    networks:
      - ms-network
  ms-data-streaming:
    depends_on:
      kafka:
        condition: service_healthy

以 v2.1.0 版本为例，KAFKA_ENABLE_KRAFT: ‘yes’，默认允许 kraft 集群模式，我们只需要把其他节点加入到集群中即可。需要修改的配置项包括 KAFKA_CFG_ADVERTISED_LISTENERS、KAFKA_CFG_CONTROLLER_QUORUM_VOTERS、KAFKA_BROKER_ID、ports。需要添加的配置项包括 KAFKA_KRAFT_CLUSTER_ID。