数据湖

Apache Parquet 文件格式深度实战:从 Dremel 记录拆解到 Page Index 谓词下推的工程全链路

从文件物理布局讲起,拆解 Parquet 如何用 Dremel 的 repetition/definition level 无损表达嵌套结构,给出可运行的记录装配与 RLE/Bit-Packing 解码实现,并系统梳理字典编码、BYTE_STREAM_SPLIT 等编码体系与 Row Group / Page / Bloom Filter 三级谓词下推,最后给出生产环境 row group 大小、排序、schema 演进与压缩选型的实战经验。