CDC 变更数据捕获与异构同步实践(2025) # CDC 变更数据捕获与异构同步实践(2025) CDC 将数据库的变更事件化,支持跨系统的低延迟同步与审计。 ## 一、捕获与来源 - binlog/redo:从数据库日志捕获变更(如 MySQL binlog)。 - 表级变更:配置过滤与白名单,控制事件体量。 ## 二、管道与传输 - 事件总线:以 Kafka 等传输与缓冲变更事件。 - 模式与兼容:保持模式与类型一致性,避免解析错误 数据库技术 2026年04月30日 0 点赞 0 评论 42 浏览
ClickHouse表引擎与分区索引:高并发查询治理 掌握 MergeTree 系列表引擎的分区与索引策略,优化高并发与大数据量查询性能与成本。 数据库技术 2026年04月30日 0 点赞 0 评论 42 浏览
Elasticsearch异步搜索与滚动查询大数据分页实践 使用异步搜索与滚动查询处理大数据分页,结合 `search_after` 游标与资源策略,避免深分页退化,提供验证与监控方法。 数据库技术 2026年04月30日 0 点赞 0 评论 42 浏览
Elasticsearch索引生命周期管理:热温冷分层与滚动策略 利用 ILM 将索引分层与自动化滚动,优化成本与查询性能,并简化长期数据治理。 数据库技术 2026年04月30日 0 点赞 0 评论 42 浏览
Elasticsearch 索引与查询优化(2025) # Elasticsearch 索引与查询优化(2025) Elasticsearch 以倒排索引支撑全文检索与分析,需在模式与查询上优化。 ## 一、索引与映射 - 字段类型:合理设置 keyword/text 与 analyzer。 - 映射:禁用动态映射的隐患字段,控制索引膨胀。 ## 二、分片与副本 - 分片数:按数据规模与并发设定,避免过多小分片。 - 副本:平衡读取性能与写入开销 数据库技术 2026年04月30日 0 点赞 0 评论 41 浏览
PostgreSQL 索引优化与查询计划入门 从 EXPLAIN ANALYZE 出发,理解 PostgreSQL 的索引类型与查询计划,掌握高性价比的优化方法。 数据库技术 2026年04月30日 0 点赞 0 评论 41 浏览
PostgreSQL 逻辑复制与多活读扩展(2025) # PostgreSQL 逻辑复制与多活读扩展(2025) ## 一、发布与订阅 - 发布:源库创建 `PUBLICATION`,选择需复制的表与列,启用 `wal_level=logical`。 - 订阅:目标库创建 `SUBSCRIPTION`,绑定复制槽与连接信息,实现增量同步(订阅)。 - 参数:`max_replication_slots`、`max_wal_senders` 按并发与 数据库技术 2026年04月30日 0 点赞 0 评论 41 浏览
Kafka Connect JDBC Sink 写入 PostgreSQL 实战 --- title: Kafka Connect JDBC Sink 写入 PostgreSQL 实战 keywords: JdbcSinkConnector, auto.create, insert.mode, pk.mode, table.name.format description: 配置 JDBC Sink 将 Kafka 主题写入 PostgreSQL,启用自动建表、主键与插入模式,实... 数据库技术 2026年04月30日 0 点赞 0 评论 40 浏览
PostgreSQL 逻辑解码输出插件(pgoutput、wal2json 与验证) --- title: PostgreSQL 逻辑解码输出插件(pgoutput、wal2json 与验证) date: 2025-11-26 keywords: - 逻辑解码 - pgoutput - wal2json - 复制槽 - 流式输出 description: 配置PostgreSQL逻辑解码并选择输出插件(pgoutput/wal2json),创建复制槽与流式输出,提供验证方法确保事件... 数据库技术 2026年04月30日 0 点赞 0 评论 40 浏览
Elasticsearch 查询与索引优化(倒排索引、分片、副本与查询DSL) 系统梳理 ES 的索引与查询优化,包含分片/副本规划、倒排索引与查询 DSL 调优,并提供可验证的配置与观测方法。 数据库技术 2026年04月30日 0 点赞 0 评论 40 浏览
Elasticsearch查询缓存与请求缓存治理 正确使用查询缓存与请求缓存,统一过滤器与缓存键策略,提升检索与聚合性能并控制一致性。 数据库技术 2026年04月30日 0 点赞 0 评论 40 浏览
Elasticsearch索引排序与time_series模式治理 使用 `index.sort` 与 `index.mode: time_series` 优化写入与查询性能,在时序场景中降低段合并与扫描成本。 数据库技术 2026年04月30日 0 点赞 0 评论 40 浏览
PostgreSQL 触发器与变更审计(AFTER/BEFORE、Audit 表与验证) 使用AFTER/BEFORE触发器记录数据变更到审计表,包含变更前后数据、操作者与时间,提供实现与一致性验证,满足合规与追踪需求。 数据库技术 2026年04月30日 0 点赞 0 评论 40 浏览
PostgreSQL Autovacuum与表膨胀治理实践 --- title: PostgreSQL Autovacuum与表膨胀治理实践 keywords: - Autovacuum - 膨胀 - VACUUM - ANALYZE - 吐血兔子 - pgtoast description: 调整Autovacuum与维护策略治理表膨胀与统计信息失真,提供可验证的参数与监控查询,提升性能与稳定性。 date: 2025-11-26 tags: - ANA... 数据库技术 2026年04月30日 0 点赞 0 评论 39 浏览