技术动态

Great Expectations 数据质量校验与管道集成(2025)

# Great Expectations 数据质量校验与管道集成(2025) ## 一、期望与套件 - 期望类型:唯一性/非空/范围/正则等。 - 校验套件:按数据集组织,并版本化管理。 ## 二、管道与触发 - 集成:在采集/变换/发布环节作为闸点触发。 - 失败处理:阻断与告警与缺陷记录闭环。 ## 三、报告与审计 - 报告:生成人读报告与存档;可视化趋势。 - 审计:保留期望变更与执行

Event Sourcing与CQRS架构实践

通过事件溯源与读写分离(CQRS)提升可审计性与扩展性,给出快照、事件重放、有序与幂等策略及验证方法。

Flink 状态后端与容错机制(2025)

# Flink 状态后端与容错机制(2025) Flink 通过状态后端与 Checkpoint/Savepoint 提供一致性与容错能力。 ## 一、状态后端 - 选择与配置:基于 RocksDB/Memory 等选择适配的后端。 - 状态管理:合理拆分与压缩,优化读写性能。 ## 二、Checkpoint 与 Savepoint - Checkpoint:周期快照,支持故障恢复与一致性保

GraphQL 2025 年 9 月规范更新要点

引言 - 这是自 2021 年以来的首次完整规范更新,聚焦开发者体验与工具生态的可编程性提升。 核心更新(已验证) - OneOf 输入对象(输入联合):通过 `@oneOf` 指令表达互斥输入,简化入口同时保持类型安全。来源:GraphQL 官方博客 2025 年 9 月版公告;Apollo 博客大会回顾。 - Schema Coordinates:标准化引用 schema 各部分的坐标体