数据库技术

CDC 变更数据捕获与异构同步实践(2025)

# CDC 变更数据捕获与异构同步实践(2025) CDC 将数据库的变更事件化,支持跨系统的低延迟同步与审计。 ## 一、捕获与来源 - binlog/redo:从数据库日志捕获变更(如 MySQL binlog)。 - 表级变更:配置过滤与白名单,控制事件体量。 ## 二、管道与传输 - 事件总线:以 Kafka 等传输与缓冲变更事件。 - 模式与兼容:保持模式与类型一致性,避免解析错误

Elasticsearch 索引与查询优化(2025)

# Elasticsearch 索引与查询优化(2025) Elasticsearch 以倒排索引支撑全文检索与分析,需在模式与查询上优化。 ## 一、索引与映射 - 字段类型:合理设置 keyword/text 与 analyzer。 - 映射:禁用动态映射的隐患字段,控制索引膨胀。 ## 二、分片与副本 - 分片数:按数据规模与并发设定,避免过多小分片。 - 副本:平衡读取性能与写入开销

PostgreSQL 逻辑复制与多活读扩展(2025)

# PostgreSQL 逻辑复制与多活读扩展(2025) ## 一、发布与订阅 - 发布:源库创建 `PUBLICATION`,选择需复制的表与列,启用 `wal_level=logical`。 - 订阅:目标库创建 `SUBSCRIPTION`,绑定复制槽与连接信息,实现增量同步(订阅)。 - 参数:`max_replication_slots`、`max_wal_senders` 按并发与

Kafka Connect JDBC Sink 写入 PostgreSQL 实战

--- title: Kafka Connect JDBC Sink 写入 PostgreSQL 实战 keywords: JdbcSinkConnector, auto.create, insert.mode, pk.mode, table.name.format description: 配置 JDBC Sink 将 Kafka 主题写入 PostgreSQL,启用自动建表、主键与插入模式,实...

PostgreSQL 逻辑解码输出插件(pgoutput、wal2json 与验证)

--- title: PostgreSQL 逻辑解码输出插件(pgoutput、wal2json 与验证) date: 2025-11-26 keywords: - 逻辑解码 - pgoutput - wal2json - 复制槽 - 流式输出 description: 配置PostgreSQL逻辑解码并选择输出插件(pgoutput/wal2json),创建复制槽与流式输出,提供验证方法确保事件...

PostgreSQL Autovacuum与表膨胀治理实践

--- title: PostgreSQL Autovacuum与表膨胀治理实践 keywords: - Autovacuum - 膨胀 - VACUUM - ANALYZE - 吐血兔子 - pgtoast description: 调整Autovacuum与维护策略治理表膨胀与统计信息失真,提供可验证的参数与监控查询,提升性能与稳定性。 date: 2025-11-26 tags: - ANA...