如何使用 Docker Compose 整合高性能消息中间件提升集群并发性能实战

选用RabbitMQ 3.13 LTS（Quorum队列）与Kafka 4.0.0（KRaft模式），通过统一Erlang Cookie、可解析主机名、端口互通、独立数据卷构建稳定集群，并以HAProxy统一接入、网络隔离与桥接服务实现RabbitMQ与Kafka分层协同。

直接用 Docker Compose 整合 RabbitMQ 和 Kafka，不是简单堆节点，而是让消息链路在高并发下不卡、不丢、不裂。关键在选型对、配置稳、拓扑清、策略准。

选对镜像和队列类型是性能起点

别用 rabbitmq:latest 或默认 classic 队列——它们扛不住持续 500+ TPS 的写入。生产环境锁定 LTS 版本，如 rabbitmq:3.13-management，它默认启用 Quorum 队列，强一致性、自动故障恢复、天然防脑裂。

Kafka 方面，优先采用 KRaft 模式（免 ZooKeeper），镜像推荐 confluentinc/cp-kafka:7.6.0 或 apache/kafka:4.0.0，避免老版本的 ISR 同步延迟问题。

• 所有 RabbitMQ 节点必须使用同一镜像哈希值（docker images --digests 核对）
• 声明队列时显式加参数：x-queue-type: quorum，禁用已废弃的 classic_mirrored
• Kafka broker 配置中开启 transaction.state.log.replication.factor=3 和 offsets.topic.replication.factor=3，保障事务与位移高可用

三节点 RabbitMQ 集群必须满足通信硬约束

RabbitMQ 集群不是“连上就行”，Erlang 层握手失败，节点就各自为政。以下四项必须全部对齐：

• 统一 Erlang Cookie：设为 32 位随机字符串（如 QWERTYUIOPASDFGHJKLZXCVBNM123456），通过 RABBITMQ_ERLANG_COOKIE 注入，不可用默认值或明文单词
• 唯一可解析主机名：每个节点设 hostname: rabbitmq1，并确保容器内能解析 rabbit@rabbitmq1 形式节点名（推荐自建 bridge 网络 + extra_hosts）
• 端口全通：除 5672/15672 外，4369（epmd）、25672（Erlang distribution）必须双向互通，宿主机防火墙和云安全组同步放行
• 独立数据卷：每个节点挂载专属命名卷，例如 - rabbitmq1_data:/var/lib/rabbitmq，杜绝多容器写同一路径导致 mnesia 损坏

用 HAProxy 做统一接入层，解耦微服务与节点变更

微服务直连具体 RabbitMQ 容器 IP 或端口，等于把拓扑写死在代码里。正确做法是引入轻量负载层：

• 在 compose.yaml 中新增 haproxy 服务，监听 5677 端口，后端轮询三个 RabbitMQ 的 5672，模式设为 leastconn
• Haproxy 配置加入健康检查：option tcp-check + tcp-check connect，自动剔除失联节点
• Spring Boot 应用配置只写 spring.rabbitmq.host=haproxy、port=5677；Kafka Producer 则指向 kafka:9092（通过 Compose 内网 DNS 自动解析）
• 管理界面也聚合：另起一个 haproxy 实例（如映射到宿主机 8001），将请求分发至各节点 15672

Kafka 与 RabbitMQ 协同提升吞吐韧性

两者不是替代关系，而是分层协作：RabbitMQ 处理订单、支付等需强一致性的业务事件；Kafka 承接日志、用户行为、IoT 流数据等高吞吐场景。Compose 中可通过网络隔离+主题分区策略实现分工：

• 为 Kafka 单独定义 kafka-net 网络，RabbitMQ 使用 rmq-net，仅在需要桥接的服务（如流式审计网关）中同时加入两个网络
• Kafka Topic 创建时指定 --partitions 12 + --replication-factor 3，配合消费者组横向扩容
• 用 Kafka Connect 或自研 bridge 服务，将 RabbitMQ 关键队列（如 order.fulfilled）中的消息自动投递至 Kafka 对应 topic，实现事件归档与二次分析