Kafka Connect SMT：数据清洗与标准化
---title: Kafka Connect SMT：数据清洗与标准化keywords:- SMT- Single Message Transform- 重命名- 过滤- 规范化description: 使用 Kafka Connect 的 SMT 在管道中进行字段重命名、过滤与规范化，降低下游适配成本。tags:- Connect- Kafka- SMT- Singl...
中间件开发
Kafka Connect 与 Debezium MySQL CDC 实战
---title: Kafka Connect 与 Debezium MySQL CDC 实战keywords:- Kafka Connect- Debezium- MySQL CDC- Binlog- Connectordescription: 使用 Debezium 在 Kafka Connect 中捕获 MySQL 变更，提供 Connector 配置与主题命名规范，适合增量...
Kafka KRaft与ZooKeeper迁移治理
---title: Kafka KRaft与ZooKeeper迁移治理keywords:- Kafka- KRaft- ZooKeeper- 迁移- 控制面description: 评估并迁移到 KRaft 控制面，理解架构差异与滚动升级策略，降低复杂度与运维成本。tags:- KRaft- Kafka- ZooKeeper- 控制面- 数据- 架构- 迁移cat...
Kafka事务与Exactly-Once处理实践
---title: Kafka事务与Exactly-Once处理实践keywords:- Kafka- Exactly-Once- 事务- 幂等生产者- read_committed- Streamsdescription: 在Kafka中通过事务与幂等生产者实现Exactly-Once处理，提供可验证的客户端配置与操作命令，保障端到端一致性。date: 2025-11-26...
NATS JetStream 流与持久化订阅实践
---title: NATS JetStream 流与持久化订阅实践keywords:- NATS- JetStream- Stream- Consumer- 持久化订阅description: 使用 NATS JetStream 创建流与消费者，实现持久化订阅与消息确认，适合高可靠实时场景。categories: - 文章资讯 - 技术教程---# NATS Jet...
Kafka Streams 拓扑设计与交付一致性（2025）
---标题: Kafka Streams 拓扑设计与交付一致性（2025）关键词: - Kafka Streams - 拓扑 - Exactly-once - 状态存储 - 重分区描述: 通过合理的 Kafka Streams 拓扑设计、重分区与状态存储策略，结合 Exactly-once 交付与容错机制，提升一致性与性能。categories: - 文章资讯 ...
Kafka MirrorMaker 2 集群间主题复制实践
---title: Kafka MirrorMaker 2 集群间主题复制实践categories: - 应用软件 - 系统工具---
Kafka 事务与精确一次语义（Idempotent Producer、Transactional 与验证）
---title: Kafka 事务与精确一次语义（Idempotent Producer、Transactional 与验证）date: 2025-11-26keywords:- Kafka- 精确一次- EOS- Idempotent Producer- Transactional- read_committeddescription: 通过幂等生产与事务边界实现Kafka...
Kafka消费者再平衡与分区分配策略
---title: Kafka消费者再平衡与分区分配策略keywords:- Kafka- 再平衡- 分区分配- sticky- cooperativedescription: 理解消费者组的再平衡机制与分配策略，优化暂停与恢复的影响，稳定高并发消费性能。tags:- Kafka- cooperative- sticky- 再平衡- 分区分配- 数据- 消费cat...
Kafka 事务与端到端一致性（2025）
# Kafka 事务与端到端一致性（2025）端到端一致性需要在生产、消费与持久化之间协同保障。## 一、幂等生产与事务- 幂等生产：避免重复消息；配置生产者幂等与重试。- 事务：将多个写入合并为原子操作，保障一致性。## 二、Exactly-once (EOS)- EOS：在流处理与下游写入之间实现 Exactly-once。- 偏移与状态：对偏移与状态进行一致性管理。#
Apache Kafka 3.8 版本解读：功能增强与弃用提示
概述 Kafka 3.8 的关键变化与弃用提示，延续从 ZooKeeper 向 KRaft 的迁移路线，并强调客户端请求版本与 Java
Apache Pulsar 与 Kafka 对比（多租户、存储层与消息语义）
系统对比 Pulsar 与 Kafka 的架构与能力，涵盖多租户、存储层与消息语义差异，并提供选型与验证方法。
Kafka Streams Exactly-Once v2 事务处理与状态容错实践
---title: Kafka Streams Exactly-Once v2 事务处理与状态容错实践keywords: exactly_once_v2, processing.guarantee, transactions, state store, topologydescription: 配置 Kafka Streams 使用 Exactly-Once v2 事务保障端到端一致性，示例...
Kafka 主题保留与压缩策略（Retention、Log Compaction、cleanup.policy）
设计 Kafka 主题的保留与压缩策略，合理配置 `cleanup.policy=delete/compact`，并验证可靠性与成本的平衡。
Elasticsearch ILM滚动索引与冷热分层实践
使用ILM策略实现滚动索引与冷热分层，提供可验证的策略与API调用，降低成本并提升稳定性。
