科技资讯

Parquet 与 ORC 存储格式与压缩优化(2025)

# Parquet 与 ORC 存储格式与压缩优化(2025) Parquet 与 ORC 是主流列式存储格式,广泛用于湖仓与离线分析场景。 ## 一、格式与编码 - 列式存储:按列组织数据,提升扫描与压缩效率。 - 编码:字典/Run-Length/位图等编码降低存储与 IO。 ## 二、压缩与性能 - 压缩算法:ZSTD/Snappy/Gzip 按场景选型,权衡压缩比与速度。 - 列裁剪

Loki 日志聚合与结构化治理(2025)

# Loki 日志聚合与结构化治理(2025) Loki 以标签索引日志,适合低成本、高效检索与聚合。 ## 一、结构化与标签 - 结构化:统一字段与上下文;JSON 行日志规范。 - 标签:控制基数,核心标签包括服务、环境、租户与 TraceID。 ## 二、采集与管道 - 采集:Promtail/Agent 收集并清洗;敏感信息脱敏。 - 管道:分发至 Loki 与归档存储,设定留存策略

Node.js 生产性能优化最佳实践

概述 Node.js 擅长 I/O 密集型场景,但在 CPU 密集型任务中需谨慎处理。本文给出生产可执行的优化策略,覆盖线程池、连接池、GC 配置和观测性。 已验证技术参数 - 建议使用稳定的 LTS 版本(例如 20.x LTS),保持依赖与运行时一致性 - 对 CPU 密集型任务使用 `worker_threads`;I/O 密集型保留主线程事件循环 - `UV_THREADPOOL_S

ClickHouse 写入与查询优化(2025)

# ClickHouse 写入与查询优化(2025) ClickHouse 面向高并发分析型查询,优化重点在表引擎与数据布局与查询路径。 ## 一、表与索引 - MergeTree 家族:根据写入与查询模式选择合适引擎(如 MergeTree、ReplacingMergeTree、SummingMergeTree)。 - 主键与排序键:合理设置提升范围查询与跳过数据块效率。 ## 二、分区与