Redis 概率数据结构(Bloom Filter、HyperLogLog 与 Count-Min Sketch) 介绍 Redis 的概率数据结构模块,讲解 Bloom/HyperLogLog/Count-Min Sketch 的适用场景与误差边界,并提供验证方法。 数据科学与AI 2026年02月13日 0 点赞 0 评论 19 浏览
数据建模与规范化与反规范化权衡(2025) 数据建模与规范化与反规范化权衡(2025)数据建模需要面向场景选择合适范式,并以工程方法实现性能与演进的平衡。一、规范化与范式范式:避免更新异常与冗余,提升一致性。关联与约束:通过外键与约束保障数据质量。二、反规范化与冗余冗余视图:为查询热点构建反规范化视图提升读取性能。写入权衡:评估写入复杂度与维 数据科学与AI 2026年02月13日 0 点赞 0 评论 19 浏览
数据归档治理(2025) ClickHouse MergeTree 分区与 TTL/数据归档治理(2025)一、表设计与索引主键与排序键:根据查询模式选择高选择性列;避免宽主键导致写放大。索引:跳表(data skipping)与稀疏索引减少扫描;控制 granularity。二、分区与并行分区:按时间或租户分区,提升删除与 数据科学与AI 2026年02月14日 0 点赞 0 评论 18 浏览
Delta Lake ACID与时光回溯实践 在Lakehouse中使用Delta Lake实现ACID写入与时光回溯,提供可验证的Spark/SQL示例与维护命令。 数据科学与AI 2026年02月14日 0 点赞 0 评论 18 浏览
EventSource SSE 数据同步与断线重连实践 使用 EventSource 接收服务端推送并持久化,结合断线重连策略提升数据到达率。 数据科学与AI 2026年02月13日 0 点赞 0 评论 18 浏览
数据质量与验证:Great Expectations与断言策略 通过规则断言与可执行文档治理数据质量,将验证嵌入管道与消费侧,避免脏数据扩散。 数据科学与AI 2026年02月13日 0 点赞 0 评论 18 浏览
ClickHouse物化视图与合并队列治理 通过物化视图与 MergeTree 合并治理预聚合与分层存储,提升查询性能并控制写入与合并开销。 数据科学与AI 2026年02月14日 0 点赞 0 评论 17 浏览
Git子模块与外部仓库依赖治理(commit pin-只读-审计)最佳实践 通过子模块来源白名单与不可变提交引用,实施只读访问与审计,降低外部仓库依赖的安全风险。 数据科学与AI 2026年02月20日 0 点赞 0 评论 17 浏览
前端数据变更日志与回滚策略 `title: 前端数据变更日志与回滚策略``categories: Web 开发/前端/数据管理``keywords: 回滚,变更日志,IndexedDB,版本,一致性``description: 在前端记录数据变更日志并支持指定版本的回滚与重放,结合 IndexedDB 存储变更条目与版本标记, 数据科学与AI 2026年02月13日 0 点赞 0 评论 17 浏览