Elasticsearch 查询与索引优化（倒排索引、分片、副本与查询DSL）
系统梳理 ES 的索引与查询优化，包含分片/副本规划、倒排索引与查询 DSL 调优，并提供可验证的配置与观测方法。
数据库技术
Elasticsearch ILM生命周期策略治理
通过 ILM 在热/温/冷/删除阶段自动滚动、压缩与合并，降低成本并保障查询性能。
Elasticsearch Ingest Pipeline与处理器治理
通过摄取管道与处理器在写入时规范化与增强文档，统一字段、时间与标签治理，降低查询成本。
Elasticsearch Ingest Pipeline与字段规范化实践
使用Ingest Pipeline在写入阶段进行字段解析与规范化，提供可验证的管道与索引示例，提升检索一致性与质量。
Elasticsearch Data Stream 与索引模板管理实践
创建数据流与模板，按时间写入并稳定滚动，提升日志与时序数据管理能力。
Elasticsearch ILM 与冷热分层及 RollOver 治理（2025）
# Elasticsearch ILM 与冷热分层及 RollOver 治理（2025）
## 一、索引生命周期与策略
- ILM：定义 hot/warm/cold/frozen 阶段（热冷分层），控制 `Segment` 合并与迁移。
- RollOver：按文档数/大小/时间触发新索引，避免 `Shard` 过大或过小。
- 模板：统一索引模板与别名，便于 RollOver 与查询切换。
Debezium CDC实践：快照与增量一致性治理
使用 Debezium 捕获数据库变更，规范快照与增量阶段的一致性与去重，构建稳定的数据集成通道。
Debezium CDC：变更数据捕获与下游同步实践
利用 Debezium 从数据库日志中捕获变更事件，构建可靠的下游同步与事件驱动架构。
Debezium MySQL Source 连接器变更捕获到 Kafka 实战
使用 Debezium MySQL Source 连接器捕获数据库变更并写入 Kafka，配置主题前缀与表过滤及快照策略。
Debezium PostgreSQL Source 连接器变更捕获到 Kafka 实战
使用 Debezium PostgreSQL Source 连接器捕获数据库变更并写入 Kafka，配置复制槽与发布、表过滤与模式变更输出。
Debezium CDC 与 Outbox 模式（可靠事件与验证）
使用Debezium进行数据库变更捕获并结合Outbox表发布可靠事件，降低双写与一致性风险，提供连接器配置与端到端验证方法。
Debezium CDC 与 Schema Registry 变更治理（2025）
# Debezium CDC 与 Schema Registry 变更治理（2025）
## 一、连接器与事件
- 连接器：为 PostgreSQL/MySQL/MongoDB 配置 Debezium 连接器；设置快照与增量。
- 事件：统一 `变更事件` 格式（创建/更新/删除）；携带表/主键/版本信息。
## 二、Schema Registry 与兼容性
- 兼容性：设置 `BACKWAR
Debezium CDC 数据变更捕获（Kafka Connect、事务边界与幂等）
使用 Debezium 构建 CDC 流水线，明确事务边界与顺序保证，结合幂等处理与去重策略，提供验证与观测方法。
