Kafka消费者重平衡策略与稳定性治理

# Kafka消费者重平衡策略与稳定性治理 ## 概览 - 消费组在成员变化时进行重平衡，传统策略会短暂停止消费并重新分配。 - 增量合作（`cooperative-sticky`）减少停顿，保持分配稳定与最小迁移。 - 通过轮询间隔与会话/心跳设置控制超时与故障检测。 ## 技术参数（已验证） - 策略：`partition.assignment.strategy=cooperative-sticky`；在不支持时回退为 `sticky`/`range`/`roundrobin`。 - 时间：`max.poll.interval.ms` 控制处理最长时间；`session.timeout.ms` 与 `heartbeat.interval.ms` 控制存活与检测。 - 协作：增量回收分区避免整体停顿；需要客户端版本支持。 - 观测：记录重平衡次数、丢失分区与滞后；在扩缩容与故障演练中验证。 - 安全：在处理阻塞或慢消费者时调整间隔并优化批处理。 ## 实战清单 - 启用 `cooperative-sticky` 并验证客户端兼容；设置合理的时间参数。 - 监控重平衡事件与滞后；在扩容/缩容时评估影响。 - 优化处理逻辑与批量，减少 `max.poll.interval.ms` 超时与踢出。 - Importance: 稳定消费组与减少停顿，提高吞吐与可靠性。