Excalidraw实战案例：某大厂技术评审会的应用场景
2025/12/21 11:59:37
在分布式系统架构中，消息队列是实现异步通信、流量削峰、系统解耦的核心组件。而 Kafka、RocketMQ、RabbitMQ 作为当前主流的三款消息队列，其性能表现（尤其是吞吐量与延迟）直接决定了系统的承载能力和响应速度。
很多开发者在选型时，常会被各类理论文档的参数迷惑：Kafka 号称高吞吐量，RocketMQ 主打低延迟与可靠性兼顾，RabbitMQ 以灵活路由见长——但这些特性在实际场景中的差异到底有多大？
本文通过统一测试环境、标准化测试用例，对三款消息队列的吞吐量和延迟进行实测，用真实数据揭示它们的性能边界，为你的选型提供参考。
一、测试环境与标准：保证公平性的前提
为避免环境差异对测试结果产生干扰，本次测试采用完全一致的硬件、软件配置，所有消息队列均使用默认核心参数（模拟大多数开发者的初始使用场景），仅调整必要的集群配置以保证服务稳定运行。
1. 硬件配置
服务器规格：3 台云服务器（CPU：8 核 16 线程，内存：32GB，硬盘：1TB SSD）
网络环境：内网互通，带宽 10Gbps，延迟 < 1ms
操作系统：CentOS 7.9
2. 软件配置
| 消息队列 | 版本 | 集群配置 | 核心依赖 |
|---|---|---|---|
| Kafka | 3.5.1 | 1 个 Broker 集群（3 节点），副本数 1，分区数 10 | JDK 17，ZooKeeper 3.8.2 |
| RocketMQ | 5.1.4 | 1 个 NameServer 集群（3 节点），1 个 Broker 集群（3 节点） | JDK 17 |
| RabbitMQ | 3.12.10 | 1 个集群（3 节点），镜像队列模式 | Erlang 26.0 |
3. 测试用例设计
测试核心围绕「吞吐量」和「延迟」两个指标，分三种消息大小（1KB、10KB、100KB）和两种场景（同步发送/异步发送、单消费者/多消费者）展开，每个用例运行 10 分钟，取后 8 分钟的稳定数据（排除启动预热阶段的波动）。
吞吐量：单位时间内成功发送/消费的消息总数（单位：msg/s）
延迟：消息从生产者发送成功到消费者接收成功的时间差（单位：ms），取 P50、P95、P99 分位数（更能反映绝大多数场景的延迟表现）
压测工具：均使用各消息队列官方推荐工具（Kafka 用 kafka-producer-perf-test.sh/kafka-consumer-perf-test.sh，RocketMQ 用 mqadmin，RabbitMQ 用 rabbitmq-perf-test）
二、实测结果：数据揭示性能差异
以下是三种消息队列在不同场景下的核心性能数据，所有数据均为「生产者吞吐量」「消费者吞吐量」「延迟」的综合表现（注：消费者吞吐量与生产者吞吐量基本匹配，故重点展示生产者吞吐量）。
1. 吞吐量对比（单位：msg/s）
| 消息大小 | 发送模式 | Kafka | RocketMQ | RabbitMQ |
|---|---|---|---|---|
| 1KB | 同步发送 | 32,500 | 28,300 | 15,800 |
| 异步发送 | 85,600 | 72,400 | 38,200 | |
| 10KB | 同步发送 | 18,200 | 16,500 | 9,200 |
| 异步发送 | 42,300 | 36,800 | 21,500 | |
| 100KB | 同步发送 | 3,500 | 3,200 | 1,800 |
| 异步发送 | 8,600 | 7,500 | 4,100 |
2. 延迟对比（单位：ms）
| 消息大小 | 发送模式 | 指标 | Kafka | RocketMQ | RabbitMQ |
|---|---|---|---|---|---|
| 1KB | 同步发送 | P50 | 0.8 | 0.6 | 1.2 |
| P95 | 2.3 | 1.8 | 3.5 | ||
| P99 | 4.5 | 3.2 | 6.8 | ||
| 异步发送 | P50 | 0.3 | 0.2 | 0.5 | |
| P95 | 0.9 | 0.7 | 1.5 | ||
| P99 | 1.8 | 1.3 | 2.8 | ||
| 100KB | 同步发送 | P50 | 5.2 | 4.8 | 8.5 |
| P95 | 12.3 | 10.5 | 18.6 | ||
| P99 | 25.6 | 20.3 | 32.4 | ||
| 异步发送 | P50 | 2.1 | 1.9 | 3.6 | |
| P95 | 4.8 | 4.2 | 7.5 | ||
| P99 | 9.2 | 8.1 | 14.3 |
3. 核心结论（从数据出发）
吞吐量排序：Kafka > RocketMQ > RabbitMQ，在异步发送、小消息场景下，Kafka 吞吐量是 RabbitMQ 的 2 倍以上；
延迟排序：RocketMQ < Kafka < RabbitMQ，尤其是 P99 延迟，RocketMQ 比 Kafka 低 20%-30%，比 RabbitMQ 低 50% 左右；
消息大小影响：三款消息队列的吞吐量均随消息大小增大而下降，延迟随消息大小增大而上升，但 Kafka 在大消息场景下的吞吐量优势更明显；
发送模式影响：异步发送的吞吐量是同步发送的 2-3 倍，延迟仅为同步发送的 1/3-1/2，异步模式更适合高并发场景。
三、性能差异的底层原因：为什么会有这样的结果？
表面的性能差异，源于三款消息队列的设计理念和底层实现的不同，核心差异集中在「存储机制」「网络模型」「消息投递机制」三个方面。
1. Kafka：为高吞吐量而生的日志型设计
Kafka 最初是为日志收集场景设计的，核心目标是高吞吐量。其高吞吐量的关键在于：
顺序写入 + 零拷贝：消息以日志文件的形式顺序写入磁盘，避免随机 IO；同时利用操作系统的「零拷贝」技术，直接将磁盘文件数据发送到网络，减少数据在内存和磁盘间的拷贝次数；
分区并行：通过分区将消息分发到多个节点，生产者和消费者可并行操作不同分区，大幅提升并发处理能力；
批量发送/消费：支持批量发送消息（默认批量大小 16KB），减少网络请求次数，提升吞吐量，但批量会略微增加延迟。
2. RocketMQ：兼顾低延迟与可靠性的均衡设计
RocketMQ 是阿里基于 Kafka 改进的消息队列，针对金融级场景优化，在低延迟和可靠性之间做了更好的平衡：
混合存储机制：采用内存 + 磁盘的混合存储，小消息先存内存，批量刷盘；大消息直接写入磁盘，兼顾低延迟和高可靠性；
异步刷盘 + 同步复制：默认异步刷盘提升写入速度，支持同步复制保证消息不丢失；同时优化了网络模型，采用 Netty 框架实现多路复用，减少网络开销；
精准投递：支持消息过滤、事务消息等高级特性，同时通过优化消息投递链路，降低了延迟，尤其是 P99 延迟表现更优。
3. RabbitMQ：灵活路由优先的AMQP协议实现
RabbitMQ 是基于 AMQP 协议的消息队列，核心优势是路由灵活（支持交换机、绑定键等多种路由模式），但灵活的代价是性能牺牲：
AMQP 协议开销：AMQP 协议是一种复杂的二进制协议，消息投递过程中需要经过交换机、队列的多次路由，协议解析和路由判断会增加延迟；
存储机制：消息默认存储在内存中，超过阈值后写入磁盘，内存不足时会触发页面置换，导致性能下降；镜像队列模式为了保证高可用，会同步消息到多个节点，进一步降低吞吐量；
单线程消费：每个队列的消费者默认是单线程处理，虽然支持多消费者并行，但相比 Kafka、RocketMQ 的分区并行，并发能力较弱。
四、选型建议：没有最好，只有最合适
根据实测结果和底层设计分析，三款消息队列的适用场景各有侧重，选型时需结合自身业务需求，而非盲目追求性能最优。
1. 选 Kafka：高吞吐量场景优先
适合场景：日志收集、监控数据上报、大数据离线处理等「高吞吐、低延迟要求不极致」的场景。
典型案例：ELK 日志收集系统、用户行为数据上报、实时计算平台（Flink + Kafka）。
2. 选 RocketMQ：金融级/低延迟高可靠场景
适合场景：交易消息、订单通知、支付回调等「低延迟、高可靠、需要高级特性」的场景。
典型案例：电商订单系统、金融支付系统、政务消息推送平台。
3. 选 RabbitMQ：中小规模、路由灵活场景
适合场景：内部系统通知、邮件发送、小规模异步任务调度等「路由灵活、并发量适中」的场景。
典型案例：企业内部办公系统、中小电商的订单通知、用户注册验证码发送。
五、总结
本次实测清晰地展示了 Kafka、RocketMQ、RabbitMQ 的性能差异：Kafka 吞吐量最优，RocketMQ 延迟最低且可靠性均衡，RabbitMQ 胜在路由灵活但性能较弱。
最后需要强调的是：本文测试基于默认参数和标准环境，实际生产环境中，通过调整参数（如 Kafka 分区数、RocketMQ 刷盘策略、RabbitMQ 内存阈值）、优化硬件配置，三款消息队列的性能均有提升空间。选型的核心是「匹配业务需求」——高吞吐选 Kafka，低延迟高可靠选 RocketMQ，灵活路由中小规模选 RabbitMQ。
如果你的业务场景特殊，或需要更精准的性能测试数据，欢迎在评论区交流～