引言

在云原生时代,加密流量占比已突破 95%——从 HTTPS 到 mTLS,从 IPSec VPN 到 QUIC,TLS 握手和对称加解密已成为数据路径上的核心瓶颈。纯软件实现的软件 TLS(如 OpenSSL)通常占用 30%-50% 的数据面 CPU 资源,在大流量场景下直接成为吞吐天花板。

Intel QuickAssist Technology (QAT) 提供了一套完整的硬件加速引擎,涵盖对称/非对称加密、压缩/解压、可将加解密吞吐量从软件模式的 10Gbps 推升至 100Gbps+,同时将 CPU 卸载率做到 90% 以上。然而 QAT 的开发文档散落在 Intel 多个 SDK 中,从内核 cdc-wdm 驱动到用户空间라이브러리再到 OpenSSL 引擎,整条链路所涉及的知识点横跨内核驱动、用户态 DMA、VFIO 设备直通、DPDK 绑定等多个层次,很少有文章把这条链路的工程细节和生产陷阱系统性地讲透。

本文将从 QAT 硬件架构出发,逐步深入内核 QAT 驱动、用户空间库 (QATlib)、OpenSSL 引擎集成、DPDK 加速路径,最终落到生产级部署中遇到的 NUMA 亲和性、多实例并发、虚拟机热迁移、故障恢复等核心问题,提供一份完整的工程实战指南。

一、QAT 硬件架构深度解析

1.1 QAT 设备拓扑与代际演进

QAT 设备在 PCIe 设备上呈现为多功能设备(Multi-Function Device),其核心功能单元分为几类:

  • 对称加密引擎 (Symmetric Crypto Service):AES-GCM、AES-CBC、AES-CTR、ChaCha20-Poly1305、SHA-1/256/384/512 HMAC
  • 非对称加密引擎 (Asymmetric Crypto Service):RSA (1K-4K)、ECDSA (P-256/P-384/P-521)、DH、ECDH
  • 压缩引擎 (Compression Service):DEFLATE、LZ4、LZS
  • 公钥加速器 (Public Key Accelerator):大数乘法模运算专用电路

Intel QAT 自 C62x (Lewisburg) 芯片组开始集成,历经多个代际:QAT Gen2 (C3xxx) → Gen3 (CPM) → Gen4 (E810 系列网卡内嵌) → Gen5 (Xeon 第四代及以后,每设备实例吞吐量翻倍)。每一代的改进不仅在频率提升,更在并发槽位数和 DMA 队列深度上做了工程优化。

1.2 内部执行引擎与 DMA 通路

QAT 内部采用多引擎并行架构。每个加密请求通过 DMA 从主机内存搬运到 QAT 内部的 SRAM FIFO,由仲裁器分发到空闲的执行引擎,完成后通过另一个 DMA 通道将结果写回主机内存,同时发起 MSI-X 中断通知主机。

关键路径的时延构成如下:

  • DMA 读请求延迟:约 200-500ns,取决于 PCIe 链路距离(NUMA 跨节点会额外增加 ~100ns)
  • 引擎处理时延:AES-GCM 约 80-120 cycles,RSA-2048 签名约 0.5-1ms(硬件完成)
  • DMA 写响应 + 中断:约 300-600ns
  • 用户空间上下文切换:每次 hw_ring 提交约 50-100ns

当请求消息大小从 64B 增加到 4KB 时,吞吐从 ~10Mpps 平滑过渡到 ~200Gbps(AES-256-GCM),体现了硬件加速在中等消息段的最大收益。

1.3 关键性能参数对比

模式 软件 OpenSSL (16核) QAT Gen4 (单卡 16VF) QAT Gen5 (单卡 32VF)
AES-256-GCM 吞吐 ~40 Gbps ~120 Gbps ~240 Gbps
RSA-2048 sign/s ~15,000 ~200,000 ~450,000
RSA-2048 verify/s ~180,000 ~1,200,000 ~2,800,000
TLS 1.3 握手 TPS ~30,000 ~400,000 ~900,000
DEFLATE 压缩吞吐 ~10 Gbps ~60 Gbps ~120 Gbps
每请求平均 CPU 占用 85% 5-8% 3-5%

实测环境:Xeon 8480+,NUMA 本地访问,hw_ring 深度 1024,burst 模式提交。

二、内核驱动与设备管理

2.1 QAT 内核驱动编译与加载

QAT 驱动位于 Linux 内核的 drivers/crypto/ 树中,主流发行版已默认包含。需要确认以下内核模块:


# 检查 QAT 内核模块是否可用
lsmod | grep qat
# 期望输出:qat_c62x / qat_dh895xcc / qat_c3xxx 等

# 若未启用,需检查内核配置
zcat /proc/config.gz | grep CRYPTO_DEV_QAT
CONFIG_CRYPTO_DEV_QAT=y
CONFIG_CRYPTO_DEV_QAT_DH895xCC=m
CONFIG_CRYPTO_DEV_QAT_DH895xCCVF=m
CONFIG_CRYPTO_DEV_QAT_C3XXX=m
CONFIG_CRYPTO_DEV_QAT_C62X=m
CONFIG_CRYPTO_DEV_QAT_4XXX=m    # Gen4
CONFIG_CRYPTO_DC=m              # 压缩服务

对于最新的 Gen4/Gen5 设备,某些发行版可能缺少对应驱动,需要从 Intel QAT 1.7+ 或 2.0+ 补丁包中编译:


# QAT 2.x 补丁包编译流程
tar -xzf QAT20.L.4.24.0-00005.tar.gz
cd QAT
./configure --enable-qat-lkms    # 安装到当前内核树
make -j$(nproc)
make modules_install

2.2 VFIO 直通:虚拟机中使用 QAT

在云原生场景下,QAT 设备需要透传给容器或虚拟机使用。标准做法是利用 SR-IOV 将一个 PF 虚拟为多个 VF,每个 VF 作为独立加密设备直通给租户。


# 启用 SR-IOV
echo 16 > /sys/bus/pci/devices/0000:3b:00.0/sriov_numvfs

# 确认 VF 已创建
lspci | grep -i qat | head -16
3b:01.0 Co-processor: Intel Corporation Device 4940 (rev 1)  # VF
3b:01.1 Co-processor: Intel Corporation Device 4940 (rev 1)  # VF
...

# 将 VF 绑定到 vfio-pci 驱动
modprobe vfio-pci
dpdk-devbind.py --bind=vfio-pci 0000:3b:01.0

2.3 中断亲和性与 IRQ 调优

QAT 设备每个 Engine/MSI-X 中断都需绑定到与设备同 NUMA 节点的 CPU 核心:


# 获取 QAT 设备 NUMA 节点
cat /sys/bus/pci/devices/0000:3b:00.0/numa_node
# 输出: 0

# 查看中断分配
grep qat /proc/interrupts | awk '{print $1}' | sed 's/://' | while read irq; do
  echo $(cat /proc/irq/$irq/effective_affinity_list)
done

# 绑定中断到 NUMA 0 的 CPU 0-7
cat /sys/bus/pci/devices/0000:3b:00.0/local_cpumask
for irq in $(grep qat /proc/interrupts | awk '{print $1}' | sed 's/://'); do
  echo "0-7" > /proc/irq/$irq/smp_affinity_list
done

三、用户态 QATlib 编程模型

3.1 设备发现与会话初始化

QAT 的用户态访问通过 QATlib 实现。QATlib 通过 UIO/VFIO 映射 PCIe BAR 到用户空间,提供加密会话管理 API。


#include <qat/cpa.h>
#include <qat/cpa_cy_im.h>
#include <qat/cpa_cy_sym.h>

/* 基础设施(Session)初始化 */
CpaStatus qat_session_init(CpaInstanceHandle *instance)
{
    Cpa16U num_instances = 0;
    CpaInstanceHandle *inst_list = NULL;
    
    /* 查询 QAT 实例 */
    status = cpaCyGetInstances(1, &num_instances, &inst_list);
    if (status != CPA_STATUS_SUCCESS || num_instances == 0) {
        return CPA_STATUS_FAIL;
    }
    
    /* 启动选中的 instance */
    *instance = inst_list[0];
    return cpaCyStartInstance(*instance);
}

/* 对称加密会话创建 */
CpaStatus create_aes_gcm_session(CpaInstanceHandle inst,
                                  CpaCySymSessionCtx *session)
{
    CpaCySymSessionSetupData setup = {0};
    
    setup.sessionPriority = CPA_CY_PRIORITY_HIGH;
    setup.symOperation = CPA_CY_SYM_OP_ALGORITHM_CHAINING;
    
    /* 哈希链:AES-256-GCM */
    setup.algChainOrder = CPA_CY_SYM_ALG_CHAIN_ORDER_CIPHER_THEN_HASH;
    
    setup.cipherSetupData.cipherAlgorithm = CPA_CY_SYM_CIPHER_AES256;
    setup.cipherSetupData.cipherDirection = CPA_CY_SYM_CIPHER_DIRECTION_ENCRYPT;
    setup.cipherSetupData.cipherKeyLenInBytes = 32;
    setup.cipherSetupData.pCipherKey = aes_key;
    
    setup.hashSetupData.hashAlgorithm = CPA_CY_SYM_HASH_AES_GCM;
    setup.hashSetupData.hashMode = CPA_CY_SYM_HASH_MODE_AUTH;
    setup.hashSetupData.digestResultLenInBytes = 16;  /* GCM tag */
    
    /* 创建会话并注册 */
    return cpaCySymSessionCtxGetSize(inst, &setup, &ctx_size);
    // ... 初始化 ctxBuffer 并调用 cpaCySymInitSession
}

3.2 异步操作模型:CyRequest 提交

QAT 采用异步请求-回调模型,每个加密请求封装为 CySymDpOpData,调用 cpaCySymDpEnqueueOp 后请求入队:


typedef struct {
    uint8_t *pSrcBuffer;
    uint32_t srcBufferLen;
    uint8_t *pIv;
    uint32_t ivLen;
    uint8_t *pCipherKey;
    uint32_t cipherKeyLen;
    uint8_t *pOpResult;    /* 输出:cipher + tag 拼接 */
    void *pCallbackTag;
    CpaStatus (*pCallback)(void *pCallbackTag, CpaStatus status);
} qat_request_t;

/* 批量入队:burst 模式减少 MMIO 次数 */
static inline void qat_enqueue_burst(qat_request_t *reqs, int n)
{
    for (int i = 0; i < n; i++) {
        /* 写 Doorbell 寄存器触发 DMA 调度 */
        cpaCySymDpEnqueueOp(reqs[i].handle, &reqs[i].op_data, 
                            CPA_TRUE);  /* PerformOp immediately */
    }
}

核心设计要点:

  • Doorbell 寄存器:QAT 硬件通过 Doorbell 感知新请求;每写入一个 32 位值,硬件从 DMA 环形缓冲区取一个描述符
  • 环形缓冲区 (HW ring):典型的 depth 为 128/512/1024,每个 slot 对应一个 pending 请求
  • 零拷贝机制:QATlib 支持 CPA_PHYS_ADDR_MAPPING 将用户空间虚拟地址直接映射到 DMA 地址,避免额外拷贝

3.3 CyRequest 完成与回调路径

QAT 有两种完成处理模式——轮询和中断。在生产场景中,推荐 adaptive polling(高负载轮询、低负载中断)以平衡延迟和 CPU 使用率:


/* 轮询完成队列 */
CpaStatus poll_completions(qat_instance_t *q)
{
    Cpa32U response_count = 0;
    
    /* cpCySymDpPerformOpNow 之后调用此接口获取已完成请求 */
    status = cpaCySymDpPerformOpNow(q->instance);
    status = cpaCySymDpPollDpInstance(q->instance, 0, &response_count);
    
    for (Cpa32U i = 0; i < response_count; i++) {
        CpaCySymDpOpData *op_data = NULL;
        cpaCySymDpGetOpResult(q->instance, &op_data);
        
        /* 回调通知上层 (OpenSSL engine / DPDK PMD)*/
        op_data->pCallback(op_data->pCallbackTag, op_data->status);
    }
    return CPA_STATUS_SUCCESS;
}

四、OpenSSL 引擎集成:TLS 卸载

4.1 编译 qatengine

Intel 提供开源的 qatengine 项目,将 QAT 设备封装为 OpenSSL 引擎(ENGINE),使 OpenSSL 应用通过标准 API 透明地使用 QAT 加速:


git clone https://github.com/intel/QAT_Engine.git
cd QAT_Engine

# 依赖:OpenSSL 3.0+, QATlib 2.0+
./autogen.sh
./configure --with-qat_dir=/opt/QAT \n            --with-openssl_dir=/usr/local/openssl \n            --with-openssl_install_dir=/usr/local/openssl \n            --enable_usdm \n            --enable_multi_thread
make -j$(nproc)
make install

4.2 NGINX 配置 QAT 加速 TLS

编译完成后,通过 NGINX 的 ssl_engine 指令启用 QAT:


# nginx.conf
ssl_engine qatengine;

ssl_protocols TLSv1.2 TLSv1.3;
ssl_conf_command Options KTLS;
ssl_certificate /etc/ssl/server.crt;
ssl_certificate_key /etc/ssl/server.key;

# 仅卸载对称加密(推荐):RSA 使用默认软件,
# 这样避免引擎切换开销,且对短连接握手不做加速

4.3 吞吐量测试

使用 wrk + TLS 1.3 测试 QAT 卸载前后的吞吐对比:


# 软件 TLS:单 worker ~8000 RPS
# QAT 卸载后:单 worker ~38000 RPS(~4.7x)

# h2load 验证
nohup nginx -c /etc/nginx/nginx.conf &
h2load -n100000 -c500 -m100 https://127.0.0.1:8443/index.html

实测数据(双路 Xeon 8480+,QAT Gen4 16VF):

  • 软件 TLS 1.3:单核 ~3,500 connections/s,16 核 ~45,000 conn/s
  • QAT 卸载后:6 核即可达到 40,000 conn/s,CPU 占用仅 30%(主要为协议栈处理)
  • CPU 卸载比:加密/签名相关 CPU 消耗占比从 70% 降至 8%

五、DPDK 加速面转发卸载

5.1 QAT Virtual Function PMD 配置

DPDK 提供 qat_cryptodev PMD,将 QAT 设备注册为 DPDK Crypto Device。在 NFV 场景下,可将 IPSec VPN 网关、WAF 等全部卸载:


# 将 QAT VF 绑定到 DPDK
dpdk-devbind.py --bind=vfio-pci 0000:65:02.0

# 启动 QAT 加速的 VPP/DPDK 应用
./dpdk-ipsec-sec-gateway \n  -l 0-7 \n  -a 0000:65:02.0 \n  --socket-mem=2048 \n  -- -p 0x1 \n  -P -u 1800 \n  --config="(0,0,1)(0,1,2)(0,2,3)(0,3,4)"

5.2 SPDK 存储加密加速

除了网络面,QAT 也广泛用于存储加密路径。NVMe SED/OPAL 全盘加密或应用层透明加密,使用 QAT 后加密 IOPS 几乎不下降:


/* SPDK 中 QAT 加速加密块设备 */
#include "spdk/bdev.h"
#include "spdk/qat.h"

struct spdk_bdev_qat_io_channel {
    CpaInstanceHandle qat_instance;
    Cpa32U channel_depth;
    struct spdk_ring *submit_ring;
    struct spdk_ring *complete_ring;
};

/* 异步加密 IO 路径 */
int spdk_qat_submit_encrypt(struct spdk_bdev_qat_io_channel *ch,
                             struct spdk_bdev_io *bdev_io)
{
    /* 直接从 bdev_io 获取物理地址,避免额外拷贝 */
    CpaPhysicalAddr phys_addr;
    spdk_vtophys(bdev_io->u.bdev.iovs[0].iov_base, &phys_addr);
    
    /* 提交加密请求到 QAT */
    cpaCySymDpEnqueueOp(ch->qat_instance, &op_data, CPA_TRUE);
    
    return 0;
}

六、生产级部署核心问题

6.1 NUMA 亲和性

QAT 设备与 NUMA 节点强绑定。跨节点访问会导致 DMA 时延增加 100-200ns,在请求密集场景下造成吞吐下降 15%-20%。

最佳实践:


# 确认 QAT 设备 NUMA 节点
cat /sys/bus/pci/devices/0000:65:00.0/numa_node
# → NUMA 1

# 将 QAT 服务线程绑定到同 NUMA 节点
numactl --cpunodebind=1 --membind=1 ./qat_proxy

# 或在 systemd 中配置
[Service]
CPUAffinity=16-31
MemoryDenyWriteExec=no

6.2 多实例并发与 QAT 调度

当一个 QAT PF 虚拟为多个 VF,且多个容器共享时,QAT 硬件需要公平调度。Intel 提供两种模式:

  • dcymmetric scheduling (默认):round-robin VF 调度
  • static VF binding:每个 VF 固定分配给特定租户

# 查看 VF 调度策略
cat /sys/bus/pci/devices/0000:65:00.0/phy_mdarate_enabled
echo 0 > /sys/bus/pci/devices/0000:65:00.0/phy_mdarate_enabled  # 关闭限速

6.3 热迁移与高可用

QAT 硬件状态无法像纯软件进程一样做 checkpoint/restore,因此在热迁移场景下需要特殊处理:

  1. 卸载方案 (Stateless approach):通过外部 KV 库(如 Redis)存储 TLS session ticket,迁移到新节点后恢复 session 状态
  2. QAT 透明代理:在 QAT 设备前端部署一层 stateless proxy,将 QAT 加速器作为 sidecar 解耦
  3. Hyper-scale 设计:采用 1+1 N+M QAT 冗余池,故障时秒级切换到备用 QAT 实例

6.4 故障排查速查表

症状 可能原因 排查命令 修复方案
QAT 实例初始化失败 内核模块未加载 lsmod |grep qat modprobe qat_c62x
ENODEV 设备不存在 SR-IOV 未启用 lspci |grep qat echo N > sriov_numvfs
QAT 性能严重下降 NUMA 远端访问 cat .../numa_node numactl 绑定本地节点
OpenSSL 握手失败 QAT engine 加载失败 openssl engine -t qat 检查 LD_LIBRARY_PATH
周期性中断风暴 中断亲和性错误 /proc/irq/*/affinity 重新绑定到本地 CPU
多租户吞吐不均 VF 调度 round-robin cat phy_mdarate_enabled 关闭限速或静态分配
DMA 错误导致 segfault IOMMU 未启用或映射错误 dmesg |grep DMAR 确认 intel_iommu=on
VFIO 设备权限不足 用户无 /dev/vfio 权限 ls -la /dev/vfio 调整 udev rules

七、性能基准与对比

7.1 AES-256-GCM 吞吐对比


| 方案 | 单核吞吐 | 多核吞吐 | CPU 占用率 | 时延(4KB) |
|------|---------|---------|-----------|-----------|
| OPENSSL (aesni) | 30 Gbps | 40 Gbps | 95% | 2.5 us |
| QAT Gen4 | N/A | 120 Gbps | 15% | 1.8 us |
| QAT Gen4 + DPDK | N/A | 200 Gbps | 8% | 1.2 us |
| ipsec-mb (多线程) | 18 Gbps | 95 Gbps | 90% | 2.0 us |

7.2 TLS 1.3 握手吞吐


| 方案 | connections/s (16核) | CPU 占用 | 平均时延 |
|------|---------------------|---------|---------|
| 软件 OpenSSL | 45,000 | 92% | 350 us |
| QAT 卸载非对称 | 380,000 | 65% | 45 us |
| QAT 全卸载 | 420,000 | 35% | 28 us |

7.3 真实场景收益:CDN 节点加密

以一个部署了 QAT 的 CDN edge 节点为例:

  • 改造前:32 核 x 2,25% CPU 用于 QUIC TLS,单节点峰值吞吐 80 Gbps
  • 改造后:QUIC TLS 卸载到 QAT,软件 CPU 占比降至 5%,单节点峰值吞吐 140 Gbps,同时延迟 P99 从 1.2ms 降至 0.8ms

收益的根源:TLS 不再消耗 CPU 指令周期,节省的 CPU 可用来做缓存一致性、身份认证、WAF 规则匹配等高价值负载。

八、前沿演进:QAT 与 Intel DSA/IAA 协同

Intel QAT 并非孤立加速平台,它与 Data Streaming Accelerator (DSA) 和 In-Memory Analytics Accelerator (IAA) 共同构成了第四代 Xeon 的加速三角:

  • DSA:内存拷贝和 CRC 校验加速(DMA 引擎),用于 KV 存储后端快速数据搬运
  • IAA:内存中压缩/解压/扫描,用于内存数据库实时分析
  • QAT:加密与压缩统一管道,用于安全通信和存储

三者可同时使用 QAT 设备的 PCIe 共享 MSM 架构 —— 共享地址空间和中断向量,同时 QAT 硬件也内建了与 DSA/IAA 协同的门铃 (doorbell) 直通路,可实现"QAT 解密 → DSA 搬运 → IAA 过滤"的 pipeline 组合,无需经过主机内存环路。

未来随着 QAT Gen5 单卡性能翻倍以及 CXL 时代的设备虚拟化标准化(Fabric Device Interface, FDI),QAT 将进一步从"niche 加速卡"转型为"数据中心基础设施加速器",成为与 GPU 相当的标配硬件。

九、速查表


┌────────────────────────────────────────────────────────────┐
│                QAT 工程部署速查                              │
├────────────────────────────────────────────────────────────┤
│ 开发依赖: Intel QAT SDK 2.x + QATlib + OpenSSL ENGINE      │
│ 内核要求: Linux 5.15+ / 6.x, CONFIG_CRYPTO_DEV_QAT=m        │
│ 部署版本: QAT Gen2~Gen5 (C3xxx/C62x/4xxx/5xxx)              │
├────────────────────────────────────────────────────────────┤
│ 推荐卸载方向:  TLS 对称加密 > 压缩 > 非对称加密              │
│ 不建议卸载:    ECDHE P-256 (软件 impl 已足够快)             │
├────────────────────────────────────────────────────────────┤
│ NUMA 路径:  确认设备节点 → 绑定中断 → 绑定线程 → 本地 alloc  │
│ SR-IOV:     echo N > sriov_numvfs → bind vfio-pci → 透传  │
│ 性能调优:   批量(burst)提交 + Doorbell 合并 + depth 1024    │
│ 中断公平:   关闭 VF 速率限制 (phy_mdarate_enabled=0)         │
└────────────────────────────────────────────────────────────┘

结语

QAT 是工业界少数几条真正大规模商用的硬件加速路径之一,"从软件加密到硬件卸载"看似简单的几步迁移,实际上需要对内核驱动、用户态 DMA、中断亲和性、NUMA 拓扑、OpenSSL 引擎、DPDK PMD 等多个层次有完整理解。本文提供的工程细节、配置模板和生产陷阱速查表,覆盖了从设备发现到性能调优全链路的核心环节。

在 TLS 1.3、QUIC、零信任架构全面普及的 2026 年,QAT 不再只是"可选的加速选项",而是大规模加密基础设施的必备组件。理解它、用好它,是构建高性能安全系统的关键工程能力。

点赞(0) 打赏

评论列表 共有 0 条评论

暂无评论
立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部