Rust 实现高性能 JSON 序列化引擎：SIMD 加速与零拷贝解析深度实战

引言：JSON 处理的性能瓶颈

在现代后端服务中，JSON 是事实上的数据交换协议。从 API 网关到微服务间通信，从日志序列化到配置加载，JSON 解析与序列化的性能直接影响系统吞吐。标准库的 serde_json 虽然安全易用，但在处理 GB 级日志或高吞吐 RPC 场景时，往往成为 CPU 瓶颈。

以 TechEmpower 基准测试为例，Rust 的 JSON 序列化性能与 C 的 simdjson 相差数倍。这并非语言运行时开销，而是解析算法本身对现代硬件特性的利用不足。现代 CPU 提供的 SIMD 指令集（AVX2、AVX-512、NEON）可在单条指令内处理 32/64 字节数据，而传统逐字符扫描无法触及这一层级。

本文将带你从零构建一个生产级 SIMD 加速 JSON 引擎，核心目标：

• 利用 SIMD 指令加速结构字符（括号、逗号、引号）定位
• 实现零拷贝字符串解析（borrowed string，避免堆分配）
• 设计编译期派发的多格式反序列化架构
• 集成到 serde 生态，保持兼容性
• 提供与 serde_json、simd-json 的 benchmark 对比数据

一、JSON 解析的算法本质

1.1 传统 SAX 与 DOM 模型

JSON 解析器通常有两个层次：SAX（事件驱动）构建和 DOM（树结构）构建。传统实现有两种典型策略：

• 递归下降解析器：语义清晰、错误信息友好，但分支预测失败率高，性能受限
• 表驱动状态机（如 udp↑）：可预测分支、缓存友好，适合高性能场景

无论哪种实现，核心问题在于：如何在字节流中快速定位结构字符 {、}、[、]、,、"、:？传统实现逐字节扫描，时间复杂度 O(n)。当 n 达到百 MB 级别时，cache miss 和分支预测失败会成为主要瓶颈。

1.2 SIMD 加速的核心原理

现代 x86 CPU 提供 SSE/AVX2/AVX-512 指令集，可在一个向量寄存器中并行处理 16/32/64 字节数据。JSON 结构字符均为 ASCII 字节，可用 SIMD 实现并行匹配。

考虑以下例子：

{"result":{"code":200,"data":{"items":[{"id":1,"name":"item1"},{"id":2,"name":"item2"}]}}}

传统扫描需要逐字节比较 26 个字符，而 SIMD 可以一次处理 32 字节，在 1-2 次向量比较内定位所有 {、}、, 位置。核心思想是：将"单个字符的相等比较"批量化为"32 个字符的并行相等比较"。

二、simd-json 架构剖析

2.1 整体架构

simd-json 的核心设计哲学是"零拷贝 SIMD 加速"。其解析流程分为两个阶段：

阶段一：结构索引（Structural Indexer）

利用 SIMD 指令快速识别 JSON 中的结构字符，生成一个位掩码（bitmask）数组。每一位表示对应字符是否为结构字符。这个阶段的输出是一个压缩的索引结构，记录所有对象的括号层、数组元素边界和字符串边界。

阶段二：增量解析（Tape Parser）

基于索引结构体，按需将 JSON 转换为紧凑的 Tape 表示。Tape 是一个扁平化数组，每个元素包含类型标签（object start、array start、string、number 等）和偏移量。

2.2 关键数据结构

/// 紧凑的 Tape 表示
#[derive(Debug, Clone)]
pub struct Tape