在大数据引擎里,向量化执行不是「把一行换成一批」这么简单,它牵动算子实现、内存布局、调度模型与过滤下推的方方面面。本文以 Apache Doris 为例,拆解 Runtime Filter、Pipeline 调度与短路优化这三类关键机制,并给出可落地的调优路径。

一、向量化执行的基本思想

1.1 从行式到批式

  • 传统火山模型一次处理一行,虚函数调用与分支预测开销被放大。
  • 向量化模型一次处理一批(通常 4096 行),把循环展开在批内,减少调用次数。
  • 批内数据按列存放,便于 SIMD 指令做批量运算。

1.2 列式内存布局

  • 同一列的数据连续存放,压缩比与缓存命中率都更高。
  • 空值用位图(null bitmap)单独表示,避免污染数值列。
  • 字符串与变长类型通过 offset + data 两段式存储,定长部分仍可 SIMD。

1.3 算子向量化改造

  • 过滤、投影、聚合、连接都需要按批重写,而不是逐行判断。
  • 谓词求值尽量生成无分支代码,用位掩码表示命中行。
  • 聚合使用分区哈希表,批内先做局部聚合再合并,减少 shuffle。

二、Runtime Filter:把过滤提前

2.1 为什么需要运行时过滤

  • join 场景下,构建端的一些取值可能只匹配探测端极少的行。
  • 如果等扫描完再过滤,会白白扫描大量数据、做大量连接比较。
  • Runtime Filter 在构建端收集连接键的统计信息,生成过滤条件下推到探测端。

2.2 常见类型

  • IN Filter:把构建端键值收集成位图或哈希集合,探测端先判断是否在集合内。
  • Bloom Filter:用位数组 + 多个哈希函数,以极小内存换取「一定不存在」的判断。
  • Min/Max Filter:记录键值区间,探测端按区间快速跳过整块数据。
  • 半连接(Semi Join)下推:把 existence 判断提前到存储层。

2.3 Doris 中的实践

  • 构建端在哈希表构造过程中同步生成 filter,避免额外一遍扫描。
  • Filter 以共享内存或网络消息形式广播给所有探测任务。
  • 支持按分区、按分桶粒度下发,减少无效过滤。
  • 当构建端数据量过大时自动降级,避免 filter 本身成为瓶颈。

2.4 效果与边界

  • 对大表 join 大表、且连接键选择性高的场景,扫描量可下降一个数量级。
  • 对低基数键或构建端极小的场景,filter 收益有限甚至为负。
  • 需要监控 filter 的命中率和构建耗时,避免「过滤没省下多少、构建多花很多」。

三、Pipeline 调度模型

3.1 从阻塞算子到流水线

  • 传统模型里,排序、聚合等阻塞算子必须等全部输入就绪才能输出。
  • Pipeline 模型把算子拆成可并行的 task,通过阻塞队列连接,形成数据流。
  • 每个 task 独立调度,多核利用率更高,延迟更平滑。

3.2 Task 划分与驱动

  • 按数据分片(partition)切分 task,每个 task 处理一部分数据。
  • 阻塞队列在背压下会反压上游,天然形成流量控制。
  • 调度器负责把就绪 task 分配到工作线程,处理依赖与优先级。

3.3 阻塞与唤醒

  • 队列空时下游阻塞,队列满时上游阻塞,需要避免死锁。
  • 采用有界队列 + 超时唤醒,配合取消机制应对异常。
  • 关注队列等待时间,它往往是无并行度或数据倾斜的信号。

3.4 资源隔离

  • 通过资源组(resource group)给不同查询分配 CPU/内存配额。
  • 大查询限流,避免占满线程池拖垮小查询。
  • 结合 Spill to Disk,在内存不足时落盘,保证查询可完成。

四、短路优化(Short-Circuit)

4.1 谓词短路

  • AND 中把选择性高、代价低的谓词放前面,先过滤再算贵表达式。
  • OR 中把最可能为真的谓词放前面,减少后续求值。
  • 对恒真/恒假表达式做常量折叠,编译期直接消除。

4.2 分区与分桶裁剪

  • 查询条件命中分区键时,直接跳过无关分区。
  • 分桶键等值过滤可以定位到具体 tablet,减少扫描文件数。
  • 利用 min/max 统计信息做 block 级跳过(zone map)。

4.3 投影与读取裁剪

  • 只读取查询真正用到的列,避免宽表全列扫描。
  • 延迟物化:先做过滤和连接,最后才取出展示列。
  • 对物化视图做匹配改写,用预计算结果替代原始扫描。

4.4 TopN 与 Limit 优化

  • Limit 下推后,每个分片只保留前 N 条,减少传输与归并。
  • TopN 使用堆结构,内存占用与 N 相关而非与数据量相关。
  • 带 Offset 时注意深分页问题,必要时分批或改游标。

五、工程调优与观测

5.1 关键指标

  • 扫描量:扫描行数、扫描字节数,判断过滤是否有效。
  • 过滤率:Runtime Filter 命中/过滤比例。
  • 队列等待:Pipeline 各阶段阻塞时间,定位倾斜。
  • 内存与 Spill:是否频繁落盘,落盘量多大。

5.2 常见调优手段

  • 调整并行度与分桶数,平衡并行开销与文件数。
  • 为高频过滤列建索引或改用物化视图。
  • 对大 join 显式指定 filter 类型,或调整构建端顺序。
  • 合理设置内存上限与 Spill 阈值,避免 OOM。

5.3 观测闭环

  • 用 Profile 看每个算子的耗时与行数,定位瓶颈阶段。
  • 对比开关 Runtime Filter 前后的扫描量与耗时。
  • 把关键指标接入监控,按查询类型设置告警阈值。

结语

向量化执行的价值,来自算子、布局、调度与过滤四个层面的协同。Runtime Filter 让过滤更早发生,Pipeline 让多核真正被用起来,短路优化则把不必要的计算一点点削掉。调优时不要只看总耗时,要拆开看扫描量、过滤率与队列等待,才能找到真正的瓶颈。

点赞(0) 打赏

评论列表 共有 0 条评论

暂无评论
立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部