技术教程
Elasticsearch ILM生命周期策略治理
通过 ILM 在热/温/冷/删除阶段自动滚动、压缩与合并,降低成本并保障查询性能。
Elasticsearch Ingest Pipeline与处理器治理
通过摄取管道与处理器在写入时规范化与增强文档,统一字段、时间与标签治理,降低查询成本。
Elasticsearch Ingest Pipeline与字段规范化实践
使用Ingest Pipeline在写入阶段进行字段解析与规范化,提供可验证的管道与索引示例,提升检索一致性与质量。
Elasticsearch Data Stream 与索引模板管理实践
创建数据流与模板,按时间写入并稳定滚动,提升日志与时序数据管理能力。
Elasticsearch ILM 与冷热分层及 RollOver 治理(2025)
# Elasticsearch ILM 与冷热分层及 RollOver 治理(2025)
## 一、索引生命周期与策略
- ILM:定义 hot/warm/cold/frozen 阶段(热冷分层),控制 `Segment` 合并与迁移。
- RollOver:按文档数/大小/时间触发新索引,避免 `Shard` 过大或过小。
- 模板:统一索引模板与别名,便于 RollOver 与查询切换。
Elasticsearch ILM 滚动与生命周期策略实战
定义 ILM 策略与索引模板,启用别名滚动与分阶段管理,兼顾性能与成本。
ESM-CJS双包危害治理(type-main-module-exports一致性)最佳实践
对 `type/main/module/exports` 进行一致性校验,避免双包危害导致的入口不一致与运行时异常,保障包可用性与安全性。
ETL编排选型:Airflow与Dagster对比
对比两大编排平台在 DAG 模型、类型与观测能力上的差异,指导批处理与数据管道的工程选型。
EPSS与风险评分策略治理(权重-阻断-灰度)最佳实践
将 EPSS 概率与 CVSS 评分结合权重形成风险分,按阈值实施阻断与灰度策略,提升修复优先级与安全性。
Document Policy:禁用不推荐特性与兼容治理
说明 Document Policy 响应头的配置,用于禁用或限制不推荐特性(如 `document.write`),在站点层面推动兼容与性能治理,提供示例与参考。
Debezium CDC实践:快照与增量一致性治理
使用 Debezium 捕获数据库变更,规范快照与增量阶段的一致性与去重,构建稳定的数据集成通道。
Debezium CDC:变更数据捕获与下游同步实践
利用 Debezium 从数据库日志中捕获变更事件,构建可靠的下游同步与事件驱动架构。
Debezium MySQL Source 连接器变更捕获到 Kafka 实战
使用 Debezium MySQL Source 连接器捕获数据库变更并写入 Kafka,配置主题前缀与表过滤及快照策略。
Debezium PostgreSQL Source 连接器变更捕获到 Kafka 实战
使用 Debezium PostgreSQL Source 连接器捕获数据库变更并写入 Kafka,配置复制槽与发布、表过滤与模式变更输出。
