数据库技术

Great Expectations 数据质量校验与管道集成(2025)

一、期望与套件;期望类型:唯一性/非空/范围/正则等。校验套件:按数据集组织,并版本化管理。二、管道与触发;集成:在采集/变换/发布环节作为闸点触发。失败处理:阻断与告警与缺陷记录闭环。三、报告与审计;报告:生成人读报告与存档

MongoDB Change Streams 实时事件与异构集成(2025)

一、订阅与过滤;订阅:按集合或数据库级订阅变更;使用管道过滤。安全:权限最小化与租户隔离,防越权访问。二、去重与可靠性;去重:按 _id/事务标识去重,避免重复消费。重试与死信:失败事件退避重试并进入死信处理。三、回放与联动

MongoDB 模型设计与索引优化(2025)

MongoDB 模型设计与索引优化(2025)MongoDB 的性能依赖合理的文档模型与索引策略与聚合设计。一、模型设计;文档粒度:按访问模式划分嵌套与引用,降低跨集合联动。规范命名:字段与类型一致,便于索引与聚合。二、索引与TTL- 复合索引:覆盖过滤与排序字段,减少扫描。