在大数据引擎里,向量化执行不是「把一行换成一批」这么简单,它牵动算子实现、内存布局、调度模型与过滤下推的方方面面。本文以 Apache Doris 为例,拆解 Runtime Filter、Pipeline 调度与短路优化这三类关键机制,并给出可落地的调优路径。
一、向量化执行的基本思想
1.1 从行式到批式
- 传统火山模型一次处理一行,虚函数调用与分支预测开销被放大。
- 向量化模型一次处理一批(通常 4096 行),把循环展开在批内,减少调用次数。
- 批内数据按列存放,便于 SIMD 指令做批量运算。
1.2 列式内存布局
- 同一列的数据连续存放,压缩比与缓存命中率都更高。
- 空值用位图(null bitmap)单独表示,避免污染数值列。
- 字符串与变长类型通过 offset + data 两段式存储,定长部分仍可 SIMD。
1.3 算子向量化改造
- 过滤、投影、聚合、连接都需要按批重写,而不是逐行判断。
- 谓词求值尽量生成无分支代码,用位掩码表示命中行。
- 聚合使用分区哈希表,批内先做局部聚合再合并,减少 shuffle。
二、Runtime Filter:把过滤提前
2.1 为什么需要运行时过滤
- join 场景下,构建端的一些取值可能只匹配探测端极少的行。
- 如果等扫描完再过滤,会白白扫描大量数据、做大量连接比较。
- Runtime Filter 在构建端收集连接键的统计信息,生成过滤条件下推到探测端。
2.2 常见类型
- IN Filter:把构建端键值收集成位图或哈希集合,探测端先判断是否在集合内。
- Bloom Filter:用位数组 + 多个哈希函数,以极小内存换取「一定不存在」的判断。
- Min/Max Filter:记录键值区间,探测端按区间快速跳过整块数据。
- 半连接(Semi Join)下推:把 existence 判断提前到存储层。
2.3 Doris 中的实践
- 构建端在哈希表构造过程中同步生成 filter,避免额外一遍扫描。
- Filter 以共享内存或网络消息形式广播给所有探测任务。
- 支持按分区、按分桶粒度下发,减少无效过滤。
- 当构建端数据量过大时自动降级,避免 filter 本身成为瓶颈。
2.4 效果与边界
- 对大表 join 大表、且连接键选择性高的场景,扫描量可下降一个数量级。
- 对低基数键或构建端极小的场景,filter 收益有限甚至为负。
- 需要监控 filter 的命中率和构建耗时,避免「过滤没省下多少、构建多花很多」。
三、Pipeline 调度模型
3.1 从阻塞算子到流水线
- 传统模型里,排序、聚合等阻塞算子必须等全部输入就绪才能输出。
- Pipeline 模型把算子拆成可并行的 task,通过阻塞队列连接,形成数据流。
- 每个 task 独立调度,多核利用率更高,延迟更平滑。
3.2 Task 划分与驱动
- 按数据分片(partition)切分 task,每个 task 处理一部分数据。
- 阻塞队列在背压下会反压上游,天然形成流量控制。
- 调度器负责把就绪 task 分配到工作线程,处理依赖与优先级。
3.3 阻塞与唤醒
- 队列空时下游阻塞,队列满时上游阻塞,需要避免死锁。
- 采用有界队列 + 超时唤醒,配合取消机制应对异常。
- 关注队列等待时间,它往往是无并行度或数据倾斜的信号。
3.4 资源隔离
- 通过资源组(resource group)给不同查询分配 CPU/内存配额。
- 大查询限流,避免占满线程池拖垮小查询。
- 结合 Spill to Disk,在内存不足时落盘,保证查询可完成。
四、短路优化(Short-Circuit)
4.1 谓词短路
AND中把选择性高、代价低的谓词放前面,先过滤再算贵表达式。OR中把最可能为真的谓词放前面,减少后续求值。- 对恒真/恒假表达式做常量折叠,编译期直接消除。
4.2 分区与分桶裁剪
- 查询条件命中分区键时,直接跳过无关分区。
- 分桶键等值过滤可以定位到具体 tablet,减少扫描文件数。
- 利用 min/max 统计信息做 block 级跳过(zone map)。
4.3 投影与读取裁剪
- 只读取查询真正用到的列,避免宽表全列扫描。
- 延迟物化:先做过滤和连接,最后才取出展示列。
- 对物化视图做匹配改写,用预计算结果替代原始扫描。
4.4 TopN 与 Limit 优化
Limit下推后,每个分片只保留前 N 条,减少传输与归并。- TopN 使用堆结构,内存占用与 N 相关而非与数据量相关。
- 带
Offset时注意深分页问题,必要时分批或改游标。
五、工程调优与观测
5.1 关键指标
- 扫描量:扫描行数、扫描字节数,判断过滤是否有效。
- 过滤率:Runtime Filter 命中/过滤比例。
- 队列等待:Pipeline 各阶段阻塞时间,定位倾斜。
- 内存与 Spill:是否频繁落盘,落盘量多大。
5.2 常见调优手段
- 调整并行度与分桶数,平衡并行开销与文件数。
- 为高频过滤列建索引或改用物化视图。
- 对大 join 显式指定 filter 类型,或调整构建端顺序。
- 合理设置内存上限与 Spill 阈值,避免 OOM。
5.3 观测闭环
- 用 Profile 看每个算子的耗时与行数,定位瓶颈阶段。
- 对比开关 Runtime Filter 前后的扫描量与耗时。
- 把关键指标接入监控,按查询类型设置告警阈值。
结语
向量化执行的价值,来自算子、布局、调度与过滤四个层面的协同。Runtime Filter 让过滤更早发生,Pipeline 让多核真正被用起来,短路优化则把不必要的计算一点点削掉。调优时不要只看总耗时,要拆开看扫描量、过滤率与队列等待,才能找到真正的瓶颈。

发表评论 取消回复