中间件开发

Kafka Schema Registry 与 Avro 兼容性策略实战

---title: Kafka Schema Registry 与 Avro 兼容性策略实战keywords:- Schema Registry- Avro- 兼容性- 演进- Producer/Consumerdescription: 使用 Schema Registry 管理 Avro 模式,介绍兼容性策略与生产者/消费者集成示例,保障演进与解耦。tags:- Avro-...

Kafka KRaft与ZooKeeper迁移治理

---title: Kafka KRaft与ZooKeeper迁移治理keywords:- Kafka- KRaft- ZooKeeper- 迁移- 控制面description: 评估并迁移到 KRaft 控制面,理解架构差异与滚动升级策略,降低复杂度与运维成本。tags:- KRaft- Kafka- ZooKeeper- 控制面- 数据- 架构- 迁移cat...

Kafka Connect SMT:数据清洗与标准化

---title: Kafka Connect SMT:数据清洗与标准化keywords:- SMT- Single Message Transform- 重命名- 过滤- 规范化description: 使用 Kafka Connect 的 SMT 在管道中进行字段重命名、过滤与规范化,降低下游适配成本。tags:- Connect- Kafka- SMT- Singl...

Kafka Connect 与 Debezium MySQL CDC 实战

---title: Kafka Connect 与 Debezium MySQL CDC 实战keywords:- Kafka Connect- Debezium- MySQL CDC- Binlog- Connectordescription: 使用 Debezium 在 Kafka Connect 中捕获 MySQL 变更,提供 Connector 配置与主题命名规范,适合增量...

Kafka KRaft 无 ZooKeeper 集群配置要点

---title: Kafka KRaft 无 ZooKeeper 集群配置要点keywords:- KRaft- controller.quorum.voters- process.roles- node.id- listenersdescription: 在 KRaft 模式下配置 Kafka 集群的控制器与代理角色,提供 server.properties 关键参数说明。t...

Kafka Connect JDBC Sink 写入 PostgreSQL 实战

---title: Kafka Connect JDBC Sink 写入 PostgreSQL 实战keywords: JdbcSinkConnector, auto.create, insert.mode, pk.mode, table.name.formatdescription: 配置 JDBC Sink 将 Kafka 主题写入 PostgreSQL,启用自动建表、主键与插入模式,实...

Kafka MirrorMaker2 跨区域复制与一致性治理(2025)

# Kafka MirrorMaker2 跨区域复制与一致性治理(2025) ## 一、拓扑与链路 - 拓扑:源集群→(MirrorMaker2)→ 目标集群,多区域互备;避免环路。 - 连接器:配置 `replication.policy.class` 与心跳/检查点主题,确保位点同步。 ## 二、延迟与吞吐 - 延迟(延迟):监控复制延迟与网络 RTT;按批大小与并发调节。 - 吞吐:压缩