硬件技术

Parquet 与 ORC 存储格式与压缩优化(2025)

# Parquet 与 ORC 存储格式与压缩优化(2025) Parquet 与 ORC 是主流列式存储格式,广泛用于湖仓与离线分析场景。 ## 一、格式与编码 - 列式存储:按列组织数据,提升扫描与压缩效率。 - 编码:字典/Run-Length/位图等编码降低存储与 IO。 ## 二、压缩与性能 - 压缩算法:ZSTD/Snappy/Gzip 按场景选型,权衡压缩比与速度。 - 列裁剪

Loki 日志聚合与结构化治理(2025)

# Loki 日志聚合与结构化治理(2025) Loki 以标签索引日志,适合低成本、高效检索与聚合。 ## 一、结构化与标签 - 结构化:统一字段与上下文;JSON 行日志规范。 - 标签:控制基数,核心标签包括服务、环境、租户与 TraceID。 ## 二、采集与管道 - 采集:Promtail/Agent 收集并清洗;敏感信息脱敏。 - 管道:分发至 Loki 与归档存储,设定留存策略

Node.js 生产性能优化最佳实践

概述 Node.js 擅长 I/O 密集型场景,但在 CPU 密集型任务中需谨慎处理。本文给出生产可执行的优化策略,覆盖线程池、连接池、GC 配置和观测性。 已验证技术参数 - 建议使用稳定的 LTS 版本(例如 20.x LTS),保持依赖与运行时一致性 - 对 CPU 密集型任务使用 `worker_threads`;I/O 密集型保留主线程事件循环 - `UV_THREADPOOL_S

NATS JetStream 流与消费者治理(2025)

# NATS JetStream 流与消费者治理(2025) ## 一、Stream 与存储 - Stream:主题分组与副本;存储策略与保留(Limits/WorkQueue)。 - 分片与副本:按吞吐与可用性设副本;跨集群镜像与转发。 ## 二、Consumer 与投递 - Consumer:`Ack Policy`(Explicit/All/None)与 `Ack Wait`;`Deli

NATS JetStream 流存储与消息治理(2025)

# NATS JetStream 流存储与消息治理(2025) JetStream 提供持久化与重放能力,适合轻量事件与队列场景。 ## 一、主题与流 - 流定义:设置存储、保留与分段参数。 - 主题设计:命名与层级便于路由与权限控制。 ## 二、订阅与投递 - 推/拉订阅:适配不同消费模型与背压。 - Ack 与重试:对失败消息进行重试与死信处理。 ## 三、观测与成本 - 指标:积压与

ClickHouse 物化视图实时聚合与去重治理(2025)

# ClickHouse 物化视图实时聚合与去重治理(2025) ## 一、表与视图设计 - 明细表:存储原始事件;索引按查询模式设计。 - 物化视图(物化视图):将明细写入 `AggregatingMergeTree` 进行 `实时聚合` 与 `去重`。 ## 二、聚合与去重 - 聚合函数:`sum/count/uniqExact/argMax` 等;按业务选择。 - 去重:使用 `uniq

Node.js Worker Threads 与事件循环性能优化(2025)

# Node.js Worker Threads 与事件循环性能优化(2025) Node.js 单线程事件循环适合IO密集,计算密集需借助 Worker Threads 或拆分服务。 ## 一、并发模型 - 事件循环:避免长阻塞任务;拆分为微任务与批处理。 - Worker Threads:将CPU密集计算下放到线程池。 ## 二、进程与负载 - Cluster:多进程利用多核;结合反向代

Deno KV 会话存储与速率限制实战

引言 - Deno KV 为 Deno 提供原生键值存储与简易事务;在会话与速率限制场景下可提供低延迟与简化的持久化方案。 能力与用法(已验证) - KV 存储:支持基本读写与原子操作;可在多区域部署下使用。来源:Deno 手册与博客。 - 会话与限流:在 KV 中存储会话状态与计数器,结合 TTL 与原子递增实现限流。来源:Deno 手册。 实践建议 - 一致性评估:在多区域部署中评估