io_uring 共享多提交队列：构建无锁 AI 推理服务的多生产者请求引擎

%3Ch1%3Eio_uring%20%E5%85%B1%E4%BA%AB%E5%A4%9A%E6%8F%90%E4%BA%A4%E9%98%9F%E5%88%97%EF%BC%9A%E6%9E%84%E5%BB%BA%E6%97%A0%E9%94%81%20AI%20%E6%8E%A8%E7%90%86%E6%9C%8D%E5%8A%A1%E7%9A%84%E5%A4%9A%E7%94%9F%E4%BA%A7%E8%80%85%E8%AF%B7%E6%B1%82%E5%BC%95%E6%93%8E%3C%2Fh1%3E%0A%0A%3Ch2%3E%E5%BC%95%E8%A8%80%3C%2Fh2%3E%0A%0A%3Cp%3E%E7%8E%B0%E4%BB%A3%20AI%20%E6%8E%A8%E7%90%86%E6%9C%8D%E5%8A%A1%EF%BC%88vLLM%E3%80%81TGI%E3%80%81Triton%20Inference%20Server%EF%BC%89%E7%9A%84%E6%A0%B8%E5%BF%83%E7%93%B6%E9%A2%88%E4%B9%8B%E4%B8%80%EF%BC%8C%E6%98%AF%E5%A6%82%E4%BD%95%E5%9C%A8%E9%AB%98%E5%B9%B6%E5%8F%91%E5%9C%BA%E6%99%AF%E4%B8%8B%E5%B0%86%E6%95%B0%E5%8D%83%E4%B8%AA%E6%8E%A8%E7%90%86%E8%AF%B7%E6%B1%82%E9%AB%98%E6%95%88%E5%9C%B0%E5%88%86%E5%8F%91%E7%BB%99%E5%90%8E%E7%AB%AF%E8%AE%A1%E7%AE%97%E8%B5%84%E6%BA%90%E3%80%82%E4%BC%A0%E7%BB%9F%E7%9A%84%20epoll%20%2B%20%E7%BA%BF%E7%A8%8B%E6%B1%A0%20%2B%20mutex%20%E6%8F%90%E4%BA%A4%E6%A8%A1%E5%BC%8F%EF%BC%8C%E9%9A%8F%E7%9D%80%E5%B9%B6%E5%8F%91%E9%87%8F%E5%A2%9E%E9%95%BF%E4%BC%9A%E8%BF%85%E9%80%9F%E9%81%87%E5%88%B0%E9%98%BF%E5%A7%86%E8%BE%BE%E5%B0%94%E5%AE%9A%E5%BE%8B%E7%9A%84%E5%A4%A9%E8%8A%B1%E6%9D%BF%E2%80%94%E2%80%94%E5%A4%9A%E7%BA%BF%E7%A8%8B%E4%BA%89%E6%8A%A2%E5%8D%95%E4%B8%80%E6%8F%90%E4%BA%A4%E9%98%9F%E5%88%97%E7%9A%84%E9%94%81%E6%88%90%E4%B8%BA%E9%9A%BE%E4%BB%A5%E9%80%BE%E8%B6%8A%E7%9A%84%E6%80%A7%E8%83%BD%E5%A3%81%E5%9E%92%E3%80%82%3C%2Fp%3E%0A%0A%3Cp%3Eio_uring%20%E4%BB%8E%205.11%20%E6%97%B6%E4%BB%A3%E8%B5%B7%E5%B0%B1%E5%BC%95%E5%85%A5%E4%BA%86%20%3Cstrong%3EIORING_SETUP_ATTACH_WQ%3C%2Fstrong%3E%20%E6%A0%87%E5%BF%97%EF%BC%8C%E5%85%81%E8%AE%B8%E5%A4%9A%E4%B8%AA%20ring%20%E5%AE%9E%E4%BE%8B%E7%BB%91%E5%AE%9A%E5%88%B0%E5%90%8C%E4%B8%80%E4%B8%AA%E5%B7%A5%E4%BD%9C%E9%98%9F%E5%88%97%EF%BC%88Work%20Queue%EF%BC%89%EF%BC%8C%E5%AE%9E%E7%8E%B0%E7%9C%9F%E6%AD%A3%E7%9A%84%E5%A4%9A%E7%94%9F%E4%BA%A7%E8%80%85%E6%97%A0%E9%94%81%E6%8F%90%E4%BA%A4%E3%80%82%E7%84%B6%E8%80%8C%EF%BC%8C%E8%BF%99%E4%B8%80%E8%83%BD%E5%8A%9B%E5%9C%A8%E7%94%9F%E4%BA%A7%E7%8E%AF%E5%A2%83%E7%9A%84%20AI%20%E6%8E%A8%E7%90%86%E5%9C%BA%E6%99%AF%E4%B8%AD%E5%8D%B4%E5%A7%8B%E7%BB%88%E6%9C%AA%E8%A2%AB%E5%85%85%E5%88%86%E6%8C%96%E6%8E%98%E3%80%82%E6%9C%AC%E6%96%87%E4%BB%8E%E5%AE%9E%E6%88%98%E8%A7%92%E5%BA%A6%E5%87%BA%E5%8F%91%EF%BC%8C%E6%B7%B1%E5%85%A5%E5%89%96%E6%9E%90%20Multi-SQ%20%E6%A8%A1%E5%BC%8F%E7%9A%84%E6%9E%B6%E6%9E%84%E5%8E%9F%E7%90%86%E3%80%81%E4%BB%A3%E7%A0%81%E5%AE%9E%E7%8E%B0%E5%92%8C%E6%80%A7%E8%83%BD%E8%B0%83%E4%BC%98%EF%BC%8C%E5%B9%B6%E7%BB%99%E5%87%BA%E5%9C%A8%E7%94%9F%E4%BA%A7%E7%BA%A7%20AI%20%E6%8E%A8%E7%90%86%E7%BD%91%E5%85%B3%E4%B8%AD%E8%90%BD%E5%9C%B0%E7%9A%84%E5%AE%8C%E6%95%B4%E6%96%B9%E6%A1%88%E3%80%82%3C%2Fp%3E%0A%0A%3Ch2%3E%E4%B8%80%E3%80%81%E5%8D%95%E6%8F%90%E4%BA%A4%E9%98%9F%E5%88%97%E7%9A%84%E7%93%B6%E9%A2%88%E5%88%86%E6%9E%90%3C%2Fh2%3E%0A%0A%3Ch3%3E1.1%20%E5%85%B8%E5%9E%8B%20AI%20%E6%8E%A8%E7%90%86%E6%9C%8D%E5%8A%A1%E7%9A%84%20I%2FO%20%E6%A8%A1%E5%BC%8F%3C%2Fh3%3E%0A%0A%3Cp%3E%E4%B8%80%E4%B8%AA%E5%AE%8C%E6%95%B4%E7%9A%84%20AI%20%E6%8E%A8%E7%90%86%E8%AF%B7%E6%B1%82%E9%80%9A%E5%B8%B8%E6%B6%89%E5%8F%8A%E4%BB%A5%E4%B8%8B%20I%2FO%20%E6%93%8D%E4%BD%9C%E9%93%BE%EF%BC%9A%3C%2Fp%3E%0A%0A%3Col%3E%0A%3Cli%3E%3Cstrong%3E%E6%8E%A5%E6%94%B6%E9%98%B6%E6%AE%B5%3C%2Fstrong%3E%EF%BC%9A%E7%BD%91%E7%BB%9C%E5%A5%97%E6%8E%A5%E5%AD%97%E8%AF%BB%E5%8F%96%E6%8E%A8%E7%90%86%E8%AF%B7%E6%B1%82%EF%BC%88HTTP%2FgRPC%20payload%EF%BC%89%3C%2Fli%3E%0A%3Cli%3E%3Cstrong%3E%E9%A2%84%E5%A4%84%E7%90%86%E9%98%B6%E6%AE%B5%3C%2Fstrong%3E%EF%BC%9A%E8%AF%BB%E5%8F%96%E5%88%86%E8%AF%8D%E5%99%A8%E9%85%8D%E7%BD%AE%E3%80%81%E5%AD%97%E5%85%B8%E6%96%87%E4%BB%B6%E3%80%81%E6%A8%A1%E5%9E%8B%E6%9D%83%E9%87%8D%E5%88%86%E7%89%87%E7%B4%A2%E5%BC%95%3C%2Fli%3E%0A%3Cli%3E%3Cstrong%3E%E8%B0%83%E5%BA%A6%E9%98%B6%E6%AE%B5%3C%2Fstrong%3E%EF%BC%9A%E5%B0%86%E6%8E%A8%E7%90%86%E4%BB%BB%E5%8A%A1%E6%8F%90%E4%BA%A4%E5%88%B0%20GPU%2FNPU%20%E8%AE%A1%E7%AE%97%E9%98%9F%E5%88%97%3C%2Fli%3E%0A%3Cli%3E%3Cstrong%3E%E5%90%8E%E5%A4%84%E7%90%86%E9%98%B6%E6%AE%B5%3C%2Fstrong%3E%EF%BC%9A%E5%86%99%E5%9B%9E%E6%8E%A8%E7%90%86%E7%BB%93%E6%9E%9C%E5%88%B0%E5%93%8D%E5%BA%94%E7%BC%93%E5%86%B2%E5%8C%BA%E5%B9%B6%E5%8F%91%E9%80%81%3C%2Fli%3E%0A%3C%2Ful%3E%0A%0A%3Cp%3E%E5%9C%A8%E4%BC%A0%E7%BB%9F%20epoll%20%2B%20%E7%BA%BF%E7%A8%8B%E6%B1%A0%E6%9E%B6%E6%9E%84%E4%B8%AD%EF%BC%8C%E5%A4%9A%E4%B8%AA%20worker%20%E7%BA%BF%E7%A8%8B%E5%90%84%E8%87%AA%E5%A4%84%E7%90%86%E8%AF%B7%E6%B1%82%EF%BC%8C%E4%BD%86%E6%9C%80%E7%BB%88%E9%83%BD%E8%A6%81%E9%80%9A%E8%BF%87%E5%90%8C%E4%B8%80%E4%B8%AA%20io_uring%20%E5%AE%9E%E4%BE%8B%E6%8F%90%E4%BA%A4%20I%2FO%20%E6%93%8D%E4%BD%9C%E3%80%82%E8%BF%99%E5%BC%95%E5%85%A5%E4%BA%86%E4%B8%A5%E9%87%8D%E7%9A%84%E9%94%81%E4%BA%89%E7%94%A8%E9%97%AE%E9%A2%98%E3%80%82%3C%2Fp%3E%0A%0A%3Ch3%3E1.2%20%E9%94%81%E4%BA%89%E7%94%A8%E7%9A%84%E9%87%8F%E5%8C%96%E8%A1%A8%E7%8E%B0%3C%2Fh3%3E%0A%0A%3Cp%3E%E6%88%91%E4%BB%AC%E5%9C%A8%E4%B8%80%E5%8F%B0%2096%20%E6%A0%B8%20AMD%20EPYC%207763%20%E6%9C%8D%E5%8A%A1%E5%99%A8%E4%B8%8A%E4%BD%BF%E7%94%A8%20fio%20%E9%85%8D%E5%90%88%20io_uring%20%E8%BF%9B%E8%A1%8C%E5%9F%BA%E5%87%86%E6%B5%8B%E8%AF%95%EF%BC%9A%3C%2Fp%3E%0A%0A%3Ctable%3E%3Cthead%3E%3Ctr%3E%0A%3Cth%3E%E7%BA%BF%E7%A8%8B%E6%95%B0%3C%2Fth%3E%0A%3Cth%3E%E5%8D%95%20SQ%20%2B%20mutex%20%28KIOPS%29%3C%2Fth%3E%0A%3Cth%3E%E5%8D%95%20SQ%20%2B%20SQPOLL%20%28KIOPS%29%3C%2Fth%3E%0A%3Cth%3E%E7%90%86%E8%AE%BA%E7%BA%BF%E6%80%A7%E6%89%A9%E5%B1%95%3C%2Fth%3E%0A%3C%2Ftr%3E%3C%2Fthead%3E%3Ctbody%3E%0A%3Ctr%3E%0A%3Ctd%3E1%3C%2Ftd%3E%0A%3Ctd%3E320%3C%2Ftd%3E%0A%3Ctd%3E285%3C%2Ftd%3E%0A%3Ctd%3E320%3C%2Ftd%3E%0A%3C%2Ftr%3E%0A%3Ctr%3E%0A%3Ctd%3E4%3C%2Ftd%3E%0A%3Ctd%3E1%2C050%3C%2Ftd%3E%0A%3Ctd%3E980%3C%2Ftd%3E%0A%3Ctd%3E1%2C280%3C%2Ftd%3E%0A%3C%2Ftr%3E%0A%3Ctr%3E%0A%3Ctd%3E16%3C%2Ftd%3E%0A%3Ctd%3E2%2C800%3C%2Ftd%3E%0A%3Ctd%3E2%2C450%3C%2Ftd%3E%0A%3Ctd%3E5%2C120%3C%2Ftd%3E%0A%3C%2Ftr%3E%0A%3Ctr%3E%0A%3Ctd%3E64%3C%2Ftd%3E%0A%3Ctd%3E4%2C200%3C%2Ftd%3E%0A%3Ctd%3E3%2C800%3C%2Ftd%3E%0A%3Ctd%3E20%2C480%3C%2Ftd%3E%0A%3C%2Ftr%3E%0A%3Ctr%3E%0A%3Ctd%3E96%3C%2Ftd%3E%0A%3Ctd%3E3%2C600%3C%2Ftd%3E%0A%3Ctd%3E3%2C100%3C%2Ftd%3E%0A%3Ctd%3E30%2C720%3C%2Ftd%3E%0A%3C%2Ftr%3E%0A%3C%2Ftbody%3E%3C%2Ftable%3E%0A%0A%3Cp%3E%E5%8F%AF%E4%BB%A5%E7%9C%8B%E5%88%B0%EF%BC%8C%E5%8D%95%20SQ%20%E6%A8%A1%E5%BC%8F%E5%9C%A8%2064%20%E7%BA%BF%E7%A8%8B%E6%97%B6%E5%B0%B1%E5%B7%B2%E5%87%BA%E7%8E%B0%E4%B8%A5%E9%87%8D%E7%9A%84%E6%80%A7%E8%83%BD%E5%9B%9E%E9%80%80%E2%80%94%E2%80%94%E6%AD%A4%E6%97%B6%E5%A4%A7%E9%83%A8%E5%88%86%20CPU%20%E6%97%B6%E9%97%B4%E6%B6%88%E8%80%97%E5%9C%A8%E5%86%85%E6%A0%B8%E9%94%81%E4%BA%89%E7%94%A8%E4%B8%8A%EF%BC%88%E9%80%9A%E8%BF%87%20%3Ccode%3Eperf%20lock%3C%2Fcode%3E%20%E5%8F%AF%E8%A7%82%E5%AF%9F%E5%88%B0%E8%B6%85%E8%BF%87%2040%25%20%E7%9A%84%20%3Ccode%3Emutex_lock%3C%2Fcode%3E%20%E7%AD%89%E5%BE%85%EF%BC%89%E3%80%82%3C%2Fp%3E%0A%0A%3Ch3%3E1.3%20SQPOLL%20%E6%A8%A1%E5%BC%8F%E7%9A%84%E5%B1%80%E9%99%90%3C%2Fh3%3E%0A%0A%3Cp%3ESQPOLL%EF%BC%88Submission%20Queue%20Polling%EF%BC%89%E8%AE%A9%E5%86%85%E6%A0%B8%E7%BA%BF%E7%A8%8B%E4%B8%BB%E5%8A%A8%E8%BD%AE%E8%AF%A2%E6%8F%90%E4%BA%A4%E9%98%9F%E5%88%97%EF%BC%8C%E6%B6%88%E9%99%A4%E4%BA%86%E7%B3%BB%E7%BB%9F%E8%B0%83%E7%94%A8%E5%BC%80%E9%94%80%EF%BC%8C%E4%BD%86%E6%B2%A1%E6%9C%89%E8%A7%A3%E5%86%B3%E5%A4%9A%E7%BA%BF%E7%A8%8B%E5%B9%B6%E5%8F%91%E5%85%A5%E9%98%9F%E6%97%B6%E7%9A%84%E7%AB%9E%E4%BA%89%E9%97%AE%E9%A2%98%E3%80%82SQPOLL%20%E5%86%85%E6%A0%B8%E7%BA%BF%E7%A8%8B%E5%9C%A8%E5%85%A5%E9%98%9F%20SQ%20%E6%97%B6%E4%BB%8D%E9%9C%80%E8%A6%81%E8%8E%B7%E5%8F%96%20%3Ccode%3Esq-%3Elock%3C%2Fcode%3E%EF%BC%8C%E8%BF%99%E5%9C%A8%20NUMA%20%E8%B7%A8%E8%8A%82%E7%82%B9%E8%AE%BF%E9%97%AE%E6%97%B6%E6%9B%B4%E5%8A%A0%E8%87%B4%E5%91%BD%E3%80%82%3C%2Fp%3E%0A%0A%3Ch2%3E%E4%BA%8C%E3%80%81%E5%85%B1%E4%BA%AB%E5%A4%9A%E6%8F%90%E4%BA%A4%E9%98%9F%E5%88%97%E7%9A%84%E6%9E%B6%E6%9E%84%E5%8E%9F%E7%90%86%3C%2Fh2%3E%0A%0A%3Ch3%3E2.1%20IORING_SETUP_ATTACH_WQ%20%E6%9C%BA%E5%88%B6%3C%2Fh3%3E%0A%0A%3Cp%3Eio_uring%20%E7%9A%84%E8%AE%BE%E8%AE%A1%E4%B8%AD%E5%B0%86%20%3Cstrong%3Eio-wq%3C%2Fstrong%3E%EF%BC%88%E5%B7%A5%E4%BD%9C%E9%98%9F%E5%88%97%EF%BC%89%E4%B8%8E%20%3Cstrong%3ESQ%3C%2Fstrong%3E%EF%BC%88%E6%8F%90%E4%BA%A4%E9%98%9F%E5%88%97%EF%BC%89%E8%A7%A3%E8%80%A6%E3%80%82%E9%80%9A%E8%BF%87%20%3Ccode%3EIORING_SETUP_ATTACH_WQ%3C%2Fcode%3E%EF%BC%8C%E5%8F%AF%E4%BB%A5%E5%88%9B%E5%BB%BA%E5%A4%9A%E4%B8%AA%20io_uring%20%E5%AE%9E%E4%BE%8B%EF%BC%8C%E4%BD%86%E5%AE%83%E4%BB%AC%E5%85%B1%E4%BA%AB%E5%90%8C%E4%B8%80%E4%B8%AA%E5%BA%95%E5%B1%82%E7%9A%84%20io-wq%20%E7%BA%BF%E7%A8%8B%E6%B1%A0%EF%BC%9A%3C%2Fp%3E%0A%0A%3Cpre%3E%3Ccode%3E%0A%E2%94%8C%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%90%0A%E2%94%82%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20AI%20Inference%20Service%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%0A%E2%94%9C%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%A4%0A%E2%94%82%20%20Worker-0%20%20%20%20%20%20%20%20%20%20Worker-1%20%20%20%20%20%20%20%20%20%20Worker-N%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%0A%E2%94%82%20%20%E2%94%8C%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%90%20%20%20%20%20%20%20%20%20%20%20%E2%94%8C%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%90%20%20%20%20%20%20%20%20%20%20%20%E2%94%8C%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%90%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%0A%E2%94%82%20%20%E2%94%82%20SQ0%20%E2%94%82%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%20SQ1%20%E2%94%82%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%20SQn%20%E2%94%82%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%0A%E2%94%82%20%20%E2%94%94%E2%94%80%E2%94%80%E2%94%AC%E2%94%80%E2%94%80%E2%94%98%20%20%20%20%20%20%20%20%20%20%20%E2%94%94%E2%94%80%E2%94%80%E2%94%AC%E2%94%80%E2%94%80%E2%94%98%20%20%20%20%20%20%20%20%20%20%20%E2%94%94%E2%94%80%E2%94%80%E2%94%AC%E2%94%80%E2%94%80%E2%94%98%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%0A%E2%94%82%20%20%20%20%20%E2%94%82%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%0A%E2%94%82%20%20%20%20%20%E2%94%94%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%AC%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%B4%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%AC%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%98%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%0A%E2%94%82%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%20%20%20%20%20attach%20%20%20%20%20%20%E2%94%82%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%0A%E2%94%82%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%96%BC%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%96%BC%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%0A%E2%94%82%20%20%E2%94%8C%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%90%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%0A%E2%94%82%20%20%E2%94%82%20%20%20%20Shared%20io-wq%20%28kernel%20workers%29%20%20%20%20%E2%94%82%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%0A%E2%94%82%20%20%E2%94%9C%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%A4%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%0A%E2%94%82%20%20%E2%94%82%20%20%E2%97%8B%20%E2%97%8B%20%E2%97%8B%20%E2%97%8B%20%E2%97%8B%20%E2%97%8B%20%E2%97%8B%20%E2%97%8B%20%E2%97%8B%20%E2%97%8B%20%E2%97%8B%20%E2%97%8B%20%E2%97%8B%20%E2%97%8B%20%E2%97%8B%20%20%E2%94%82%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%0A%E2%94%82%20%20%E2%94%94%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%AC%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%98%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%0A%E2%94%82%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%0A%E2%94%82%20%20%E2%94%8C%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%96%BC%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%90%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%0A%E2%94%82%20%20%E2%94%82%20%20%20%20Shared%20Completion%20Queue%20%28CQ%29%20%20%20%20%20%E2%94%82%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%0A%E2%94%82%20%20%E2%94%82%20%20%20%20CQ0%20%E2%86%90%E2%86%92%20CQ1%20%E2%86%90%E2%86%92%20...%20%E2%86%90%E2%86%92%20CQn%20%20%20%20%20%20%20%20%20%E2%94%82%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%0A%E2%94%82%20%20%E2%94%94%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%98%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%0A%E2%94%94%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%98%0A%3C%2Fcode%3E%3C%2Fpre%3E%0A%0A%3Cp%3E%E6%A0%B8%E5%BF%83%E8%AE%BE%E8%AE%A1%E8%A6%81%E7%82%B9%EF%BC%9A%3C%2Fp%3E%0A%0A%3Cul%3E%0A%3Cli%3E%3Cstrong%3E%E6%AF%8F%E4%B8%AA%20Worker%20%E7%BA%BF%E7%A8%8B%E7%8B%AC%E5%8D%A0%E4%B8%80%E4%B8%AA%20SQ%3C%2Fstrong%3E%EF%BC%9A%E6%B6%88%E9%99%A4%E7%94%9F%E4%BA%A7%E8%80%85%E4%B9%8B%E9%97%B4%E7%9A%84%E9%94%81%E4%BA%89%E7%94%A8%3C%2Fli%3E%0A%3Cli%3E%3Cstrong%3E%E5%85%B1%E4%BA%AB%20io-wq%20%E7%BA%BF%E7%A8%8B%E6%B1%A0%3C%2Fstrong%3E%EF%BC%9A%E5%A4%9A%E4%B8%AA%20SQ%20%E6%8F%90%E4%BA%A4%E7%9A%84%E5%B7%A5%E4%BD%9C%E9%A1%B9%E7%94%B1%E5%86%85%E6%A0%B8%E7%BB%9F%E4%B8%80%E8%B0%83%E5%BA%A6%E6%89%A7%E8%A1%8C%3C%2Fli%3E%0A%3Cli%3E%3Cstrong%3E%E5%8F%AF%E9%80%89%E7%9A%84%E5%85%B1%E4%BA%AB%20CQ%20%E7%8E%AF%3C%2Fstrong%3E%EF%BC%9A%E5%AE%8C%E6%88%90%E4%BA%8B%E4%BB%B6%E5%8F%AF%E4%BB%A5%E7%94%B1%E4%BB%BB%E4%B8%80%E7%BA%BF%E7%A8%8B%E6%94%B6%E5%89%B2%EF%BC%88%E9%80%9A%E5%B8%B8%E6%AF%8F%E4%B8%AA%E7%BA%BF%E7%A8%8B%E6%94%B6%E5%89%B2%E8%87%AA%E5%B7%B1%E7%9A%84%EF%BC%89%3C%2Fli%3E%0A%3Cli%3E%3Cstrong%3E%E6%94%AF%E6%8C%81%20IORING_SETUP_SQE128%3C%2Fstrong%3E%EF%BC%9A%E6%89%A9%E5%B1%95%20SQE%20%E5%88%B0%20128%20%E5%AD%97%E8%8A%82%EF%BC%8C%E9%99%84%E5%8A%A0%E6%9B%B4%E5%A4%9A%E4%B8%8A%E4%B8%8B%E6%96%87%E4%BF%A1%E6%81%AF%3C%2Fli%3E%0A%3C%2Ful%3E%0A%0A%3Ch3%3E2.2%20%E4%B8%BA%E4%BB%80%E4%B9%88%20Multi-SQ%20%E8%83%BD%E8%A7%A3%E5%86%B3%20AI%20%E6%8E%A8%E7%90%86%E7%9A%84%E7%93%B6%E9%A2%88%3C%2Fh3%3E%0A%0A%3Cp%3EAI%20%E6%8E%A8%E7%90%86%E6%9C%8D%E5%8A%A1%E7%9A%84%20I%2FO%20%E6%A8%A1%E5%BC%8F%E5%85%B7%E6%9C%89%E4%BB%A5%E4%B8%8B%E7%89%B9%E5%BE%81%EF%BC%8C%E4%BD%BF%E5%85%B6%E7%89%B9%E5%88%AB%E9%80%82%E5%90%88%20Multi-SQ%20%E6%9E%B6%E6%9E%84%EF%BC%9A%3C%2Fp%3E%0A%0A%3Col%3E%0A%3Cli%3E%3Cstrong%3E%E7%BA%BF%E7%A8%8B%E7%BB%91%E5%AE%9A%E6%A0%B8%E5%BF%83%E4%BA%B2%E5%92%8C%E6%80%A7%3C%2Fstrong%3E%EF%BC%9A%E6%8E%A8%E7%90%86%20worker%20%E9%80%9A%E5%B8%B8%E7%BB%91%E5%AE%9A%E7%89%B9%E5%AE%9A%20CPU%20%E6%A0%B8%E5%BF%83%EF%BC%8CMulti-SQ%20%E8%AE%A9%E6%AF%8F%E4%B8%AA%E6%A0%B8%E5%BF%83%E7%9A%84%E6%93%8D%E4%BD%9C%E5%AE%8C%E5%85%A8%E7%8B%AC%E7%AB%8B%3C%2Fli%3E%0A%3Cli%3E%3Cstrong%3E%E8%AF%B7%E6%B1%82%E9%9A%94%E7%A6%BB%E6%80%A7%3C%2Fstrong%3E%EF%BC%9A%E4%B8%8D%E5%90%8C%E5%AE%A2%E6%88%B7%E7%AB%AF%E8%AF%B7%E6%B1%82%E7%94%B1%E4%B8%8D%E5%90%8C%20worker%20%E5%A4%84%E7%90%86%EF%BC%8C%E5%A4%A9%E7%84%B6%E9%80%82%E5%90%88%20per-thread%20SQ%3C%2Fli%3E%0A%3Cli%3E%3Cstrong%3EI%2FO%20%E6%93%8D%E4%BD%9C%E7%B1%BB%E5%9E%8B%E5%A4%9A%E6%A0%B7%E5%8C%96%3C%2Fstrong%3E%EF%BC%9A%E7%BD%91%E7%BB%9C%E8%AF%BB%E3%80%81%E6%96%87%E4%BB%B6%E8%AF%BB%E3%80%81eventfd%20%E4%BF%A1%E5%8F%B7%E5%8F%AF%E4%BB%A5%E5%90%84%E8%87%AA%E6%8F%90%E4%BA%A4%E5%88%B0%E4%B8%93%E5%B1%9E%20SQ%EF%BC%8C%E9%81%BF%E5%85%8D%E7%B1%BB%E5%9E%8B%E6%B7%B7%E6%9D%82%3C%2Fli%3E%0A%3Cli%3E%3Cstrong%3ENUMA%20%E6%84%9F%E7%9F%A5%3C%2Fstrong%3E%EF%BC%9A%E5%B0%86%20SQ%20%E5%88%86%E9%85%8D%E5%9C%A8%20worker%20%E7%BA%BF%E7%A8%8B%E6%89%80%E5%9C%A8%E7%9A%84%20NUMA%20%E8%8A%82%E7%82%B9%EF%BC%8C%E5%87%8F%E5%B0%91%E8%B7%A8%E8%8A%82%E7%82%B9%E5%86%85%E5%AD%98%E8%AE%BF%E9%97%AE%3C%2Fli%3E%0A%3C%2Ful%3E%0A%0A%3Ch2%3E%E4%B8%89%E3%80%81%E5%AE%9E%E6%88%98%EF%BC%9A%E6%9E%84%E5%BB%BA%20AI%20%E6%8E%A8%E7%90%86%E8%AF%B7%E6%B1%82%E5%88%86%E5%8F%91%E5%BC%95%E6%93%8E%3C%2Fh2%3E%0A%0A%3Ch3%3E3.1%20%E6%95%B4%E4%BD%93%E6%9E%B6%E6%9E%84%E8%AE%BE%E8%AE%A1%3C%2Fh3%3E%0A%0A%3Cp%3E%E6%88%91%E4%BB%AC%E4%BB%A5%20Rust%20%2B%20io-uring%20crate%20%E4%B8%BA%E4%BE%8B%EF%BC%8C%E6%9E%84%E5%BB%BA%E4%B8%80%E4%B8%AA%E9%9D%A2%E5%90%91%20AI%20%E6%8E%A8%E7%90%86%E7%9A%84%E8%AF%B7%E6%B1%82%E5%88%86%E5%8F%91%E5%BC%95%E6%93%8E%EF%BC%9A%3C%2Fp%3E%0A%0A%3Cpre%3E%3Ccode%3E%0A%E2%94%8C%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%90%0A%E2%94%82%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20InferenceGateway%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%0A%E2%94%9C%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%A4%0A%E2%94%82%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%0A%E2%94%82%20%20%E2%94%8C%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%90%20%20%20%20%E2%94%8C%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%90%20%20%20%20%E2%94%8C%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%90%20%E2%94%82%0A%E2%94%82%20%20%E2%94%82%20Listener%20%E2%94%82%E2%94%80%E2%94%80%E2%94%80%E2%96%B6%E2%94%82%20%20RequestRouter%20%20%E2%94%82%E2%94%80%E2%94%80%E2%94%80%E2%96%B6%E2%94%82%20WorkerPool%20%20%20%E2%94%82%20%E2%94%82%0A%E2%94%82%20%20%E2%94%82%20%28SQ-0%29%20%20%20%E2%94%82%20%20%20%20%E2%94%82%20%20%28round-robin%29%20%20%E2%94%82%20%20%20%20%E2%94%82%20SQ-1..SQ-N%20%20%20%E2%94%82%20%E2%94%82%0A%E2%94%82%20%20%E2%94%94%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%98%20%20%20%20%E2%94%94%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%98%20%20%20%20%E2%94%94%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%AC%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%98%20%E2%94%82%0A%E2%94%82%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%20%20%20%20%20%20%20%20%20%E2%94%82%0A%E2%94%82%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%8C%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%98%20%20%20%20%20%20%20%20%20%E2%94%82%0A%E2%94%82%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%96%BC%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%0A%E2%94%82%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%8C%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%90%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%0A%E2%94%82%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%20%20Shared%20WQ%20%20%20%E2%94%82%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%0A%E2%94%82%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%94%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%AC%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%98%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%0A%E2%94%82%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%0A%E2%94%82%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%8C%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%BC%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%90%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%0A%E2%94%82%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%96%BC%20%20%20%20%20%20%20%20%20%20%20%E2%96%BC%20%20%20%20%20%20%20%20%20%20%20%E2%96%BC%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%0A%E2%94%82%20%20%20%20%20%20%20%20%20%E2%94%8C%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%90%20%20%E2%94%8C%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%90%20%20%E2%94%8C%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%90%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%0A%E2%94%82%20%20%20%20%20%20%20%20%20%E2%94%82%20GPU-0%20%20%E2%94%82%20%20%E2%94%82%20GPU-1%20%20%E2%94%82%20%20%E2%94%82%20GPU-N%20%20%E2%94%82%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%0A%E2%94%82%20%20%20%20%20%20%20%20%20%E2%94%82%20Submit%20%E2%94%82%20%20%E2%94%82%20Submit%20%E2%94%82%20%20%E2%94%82%20Submit%20%E2%94%82%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%0A%E2%94%82%20%20%20%20%20%20%20%20%20%E2%94%94%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%98%20%20%E2%94%94%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%98%20%20%E2%94%94%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%98%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%0A%E2%94%82%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%E2%94%82%0A%E2%94%82%20%20%E2%94%8C%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%90%20%20%20%20%E2%94%82%0A%E2%94%82%20%20%E2%94%82%20%20Completion%20Aggregator%20%28per-worker%20CQ%20poller%29%20%20%20%20%E2%94%82%20%20%20%20%E2%94%82%0A%E2%94%82%20%20%E2%94%94%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%98%20%20%20%20%E2%94%82%0A%E2%94%94%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%98%0A%3C%2Fcode%3E%3C%2Fpre%3E%0A%0A%3Ch3%3E3.2%20%E6%A0%B8%E5%BF%83%E4%BB%A3%E7%A0%81%E5%AE%9E%E7%8E%B0%3C%2Fh3%3E%0A%0A%3Cpre%3E%3Ccode%20class%3D%22language-rust%22%3E%0Ause%20io_uring%3A%3A%7BIoUring%2C%20types%2C%20squeue%2C%20cqueue%7D%3B%0Ause%20std%3A%3Async%3A%3AArc%3B%0Ause%20std%3A%3Aos%3A%3Aunix%3A%3Aio%3A%3ARawFd%3B%0A%0A%2F%2F%2F%20%E5%85%B1%E4%BA%AB%E5%B7%A5%E4%BD%9C%E9%98%9F%E5%88%97%E7%AE%A1%E7%90%86%E5%99%A8%0Apub%20struct%20SharedWqManager%20%7B%0A%20%20%20%20%2F%2F%2F%20%E6%8B%A5%E6%9C%89%E5%85%B1%E4%BA%AB%20wq%20%E7%9A%84%E6%A8%A1%E6%9D%BF%20ring%EF%BC%88%E7%94%A8%E4%BA%8E%E8%8E%B7%E5%8F%96%20wq%20fd%EF%BC%89%0A%20%20%20%20template_ring%3A%20IoUring%2C%0A%20%20%20%20%2F%2F%2F%20per-worker%20%E7%9A%84%20io_uring%20%E5%AE%9E%E4%BE%8B%0A%20%20%20%20workers%3A%20Vec%26lt%3BWorkerRing%26gt%3B%2C%0A%20%20%20%20%2F%2F%2F%20%E5%AE%8C%E6%88%90%E4%BA%8B%E4%BB%B6%E8%81%9A%E5%90%88%E5%99%A8%0A%20%20%20%20completion_aggregator%3A%20CompletionAggregator%2C%0A%7D%0A%0A%2F%2F%2F%20%E6%AF%8F%E4%B8%AA%20worker%20%E7%BA%BF%E7%A8%8B%E7%9A%84%20ring%0Apub%20struct%20WorkerRing%20%7B%0A%20%20%20%20ring%3A%20IoUring%2C%20%20%20%20%20%20%20%20%20%20%20%2F%2F%20%E7%BB%91%E5%AE%9A%E5%88%B0%E5%85%B1%E4%BA%AB%20wq%20%E7%9A%84%20ring%0A%20%20%20%20sq_tail%3A%20%2Amut%20u32%2C%20%20%20%20%20%20%20%2F%2F%20%E6%8F%90%E4%BA%A4%E9%98%9F%E5%88%97%E5%B0%BE%E6%8C%87%E9%92%88%EF%BC%88%E7%94%A8%E4%BA%8E%E6%97%A0%E9%94%81%E6%8F%90%E4%BA%A4%EF%BC%89%0A%20%20%20%20thread_id%3A%20usize%2C%0A%20%20%20%20cpu_affinity%3A%20usize%2C%0A%7D%0A%0Aimpl%20SharedWqManager%20%7B%0A%20%20%20%20pub%20fn%20new%28num_workers%3A%20usize%2C%20entries%3A%20u32%29%20-%26gt%3B%20std%3A%3Aio%3A%3AResult%26lt%3BSelf%26gt%3B%20%7B%0A%20%20%20%20%20%20%20%20%2F%2F%20%E6%AD%A5%E9%AA%A41%EF%BC%9A%E5%88%9B%E5%BB%BA%E6%A8%A1%E6%9D%BF%20ring%EF%BC%8C%E8%8E%B7%E5%8F%96%20wq%20%E6%96%87%E4%BB%B6%E6%8F%8F%E8%BF%B0%E7%AC%A6%0A%20%20%20%20%20%20%20%20let%20template_ring%20%3D%20IoUring%3A%3Abuilder%28%29%0A%20%20%20%20%20%20%20%20%20%20%20%20.setup_sqpoll%281000%29%20%20%2F%2F%20%E5%86%85%E6%A0%B8%E8%BD%AE%E8%AF%A2%E7%BA%BF%E7%A8%8B%E7%A9%BA%E9%97%B2%201ms%20%E5%90%8E%E4%BC%91%E7%9C%A0%0A%20%20%20%20%20%20%20%20%20%20%20%20.setup_sqpoll_cpu%280%29%20%2F%2F%20%E7%BB%91%E5%AE%9A%20CPU%200%0A%20%20%20%20%20%20%20%20%20%20%20%20.build%28entries%29%3F%3B%0A%20%20%20%20%20%20%20%20%0A%20%20%20%20%20%20%20%20let%20wq_fd%20%3D%20template_ring.as_raw_fd%28%29%3B%0A%20%20%20%20%20%20%20%20%0A%20%20%20%20%20%20%20%20%2F%2F%20%E6%AD%A5%E9%AA%A42%EF%BC%9A%E4%B8%BA%E6%AF%8F%E4%B8%AA%20worker%20%E5%88%9B%E5%BB%BA%E7%BB%91%E5%AE%9A%E5%88%B0%E5%85%B1%E4%BA%AB%20wq%20%E7%9A%84%20ring%0A%20%20%20%20%20%20%20%20let%20mut%20workers%20%3D%20Vec%3A%3Awith_capacity%28num_workers%29%3B%0A%20%20%20%20%20%20%20%20%0A%20%20%20%20%20%20%20%20for%20i%20in%200..num_workers%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20let%20worker_ring%20%3D%20IoUring%3A%3Abuilder%28%29%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.setup_attach_wq%28wq_fd%29%20%20%2F%2F%20%E5%85%B3%E9%94%AE%EF%BC%9A%E7%BB%91%E5%AE%9A%E5%88%B0%E5%85%B1%E4%BA%AB%20wq%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.setup_sqdryoif%28%29%20%20%20%20%20%20%20%20%20%2F%2F%20%E5%8F%AF%E9%80%89%EF%BC%9A%E5%85%B1%E4%BA%AB%20SQPOLL%20%E7%BA%BF%E7%A8%8B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.build%28entries%29%3F%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%0A%20%20%20%20%20%20%20%20%20%20%20%20workers.push%28WorkerRing%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ring%3A%20worker_ring%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sq_tail%3A%20std%3A%3Aptr%3A%3Anull_mut%28%29%2C%20%2F%2F%20%E7%94%B1%20Submitter%20%E5%88%9D%E5%A7%8B%E5%8C%96%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20thread_id%3A%20i%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20cpu_affinity%3A%20i%20%2A%202%2C%20%2F%2F%20%E5%BB%BA%E8%AE%AE%E8%B7%B3%E8%BF%87%E8%B6%85%E7%BA%BF%E7%A8%8B%E5%AF%B9%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%29%3B%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%0A%20%20%20%20%20%20%20%20Ok%28SharedWqManager%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20template_ring%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20workers%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20completion_aggregator%3A%20CompletionAggregator%3A%3Anew%28num_workers%29%2C%0A%20%20%20%20%20%20%20%20%7D%29%0A%20%20%20%20%7D%0A%20%20%20%20%0A%20%20%20%20%2F%2F%2F%20%E8%8E%B7%E5%8F%96%E6%8C%87%E5%AE%9A%20worker%20%E7%9A%84%20ring%20%E5%BC%95%E7%94%A8%0A%20%20%20%20pub%20fn%20get_worker%28%26mut%20self%2C%20thread_id%3A%20usize%29%20-%26gt%3B%20%26mut%20WorkerRing%20%7B%0A%20%20%20%20%20%20%20%20%26mut%20self.workers%5Bthread_id%5D%0A%20%20%20%20%7D%0A%20%20%20%20%0A%20%20%20%20%2F%2F%2F%20%E5%88%86%E5%8F%91%E8%AF%B7%E6%B1%82%E5%88%B0%20worker%0A%20%20%20%20pub%20fn%20dispatch_request%28%26mut%20self%2C%20request%3A%20InferenceRequest%29%20-%26gt%3B%20std%3A%3Aio%3A%3AResult%26lt%3B%28%29%26gt%3B%20%7B%0A%20%20%20%20%20%20%20%20let%20worker_id%20%3D%20request.client_id%20%25%20self.workers.len%28%29%3B%0A%20%20%20%20%20%20%20%20let%20worker%20%3D%20%26mut%20self.workers%5Bworker_id%5D%3B%0A%20%20%20%20%20%20%20%20%0A%20%20%20%20%20%20%20%20unsafe%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%2F%2F%20%E8%8E%B7%E5%8F%96%E4%B8%8B%E4%B8%80%E4%B8%AA%E7%A9%BA%E9%97%B2%20SQE%0A%20%20%20%20%20%20%20%20%20%20%20%20let%20sqe%20%3D%20worker.ring.submission%28%29.next_sqe%28%29%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.ok_or%28std%3A%3Aio%3A%3AError%3A%3Anew%28%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20std%3A%3Aio%3A%3AErrorKind%3A%3AOther%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22submission%20queue%20full%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%29%29%3F%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%2F%2F%20%E5%A1%AB%E5%85%85%20SQE%EF%BC%9A%E8%AF%BB%E5%8F%96%E8%AF%B7%E6%B1%82%E4%BD%93%E5%88%B0%E9%A2%84%E6%B3%A8%E5%86%8C%E7%BC%93%E5%86%B2%E5%8C%BA%0A%20%20%20%20%20%20%20%20%20%20%20%20sqe.set_data64%28request.req_id%20as%20u64%29%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%0A%20%20%20%20%20%20%20%20%20%20%20%20let%20read_op%20%3D%20types%3A%3AReadMulti%3A%3Anew%28%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20types%3A%3AFd%28request.client_fd%29%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20request.buf_idx%2C%20%20%2F%2F%20%E9%A2%84%E6%B3%A8%E5%86%8C%E7%BC%93%E5%86%B2%E5%8C%BA%E7%B4%A2%E5%BC%95%0A%20%20%20%20%20%20%20%20%20%20%20%20%29%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20sqe.set_opcode%28libc%3A%3AIORING_OP_READ%20as%20u8%29%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20sqe.set_buffer_group%28request.buf_group%29%3B%20%20%2F%2F%20BGID%20for%20provided%20buffers%0A%20%20%20%20%20%20%20%20%20%20%20%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%2F%2F%20%E9%93%BE%E6%8E%A5%E4%B8%8B%E4%B8%80%E4%B8%AA%20SQE%EF%BC%9A%E8%AF%BB%E5%8F%96%E5%AE%8C%E6%88%90%E5%90%8E%E7%AB%8B%E5%8D%B3%E6%8F%90%E4%BA%A4%E5%88%B0%20GPU%20%E9%98%9F%E5%88%97%0A%20%20%20%20%20%20%20%20%20%20%20%20sqe.set_io_link%28%29%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%0A%20%20%20%20%20%20%20%20%20%20%20%20let%20gpu_submit%20%3D%20types%3A%3AWrite%3A%3Anew%28%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20types%3A%3AFd%28request.gpu_queue_fd%29%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20request.gpu_cmd.as_ptr%28%29%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20request.gpu_cmd.len%28%29%20as%20u32%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%29%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%2F%2F%20...%20%E9%93%BE%E6%8E%A5%E5%88%B0%E4%B8%8B%E4%B8%80%E4%B8%AA%20SQE%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%0A%20%20%20%20%20%20%20%20Ok%28%28%29%29%0A%20%20%20%20%7D%0A%7D%0A%3C%2Fcode%3E%3C%2Fpre%3E%0A%0A%3Ch3%3E3.3%20%E6%97%A0%E9%94%81%E6%8F%90%E4%BA%A4%E7%9A%84%E5%85%B3%E9%94%AE%E6%8A%80%E5%B7%A7%3C%2Fh3%3E%0A%0A%3Cp%3EMulti-SQ%20%E7%9A%84%E6%A0%B8%E5%BF%83%E4%BC%98%E5%8A%BF%E5%9C%A8%E4%BA%8E%E6%AF%8F%E4%B8%AA%E7%BA%BF%E7%A8%8B%E7%8B%AC%E5%8D%A0%E8%87%AA%E5%B7%B1%E7%9A%84%20SQ%EF%BC%8C%E5%9B%A0%E6%AD%A4%E6%8F%90%E4%BA%A4%E6%93%8D%E4%BD%9C%E4%B8%8D%E9%9C%80%E8%A6%81%E5%8A%A0%E9%94%81%E3%80%82%E5%AE%9E%E7%8E%B0%E6%97%B6%E9%9C%80%E8%A6%81%E6%B3%A8%E6%84%8F%E4%BB%A5%E4%B8%8B%E8%A6%81%E7%82%B9%EF%BC%9A%3C%2Fp%3E%0A%0A%3Cpre%3E%3Ccode%20class%3D%22language-rust%22%3E%0A%2F%2F%2F%20%E9%AB%98%E6%80%A7%E8%83%BD%E6%89%B9%E9%87%8F%E6%8F%90%E4%BA%A4%E5%99%A8%0Apub%20struct%20BatchSubmitter%26lt%3B%27a%26gt%3B%20%7B%0A%20%20%20%20worker%3A%20%26%27a%20mut%20WorkerRing%2C%0A%20%20%20%20pending_count%3A%20u32%2C%0A%20%20%20%20batch_threshold%3A%20u32%2C%0A%7D%0A%0Aimpl%26lt%3B%27a%26gt%3B%20BatchSubmitter%26lt%3B%27a%26gt%3B%20%7B%0A%20%20%20%20pub%20fn%20new%28worker%3A%20%26%27a%20mut%20WorkerRing%29%20-%26gt%3B%20Self%20%7B%0A%20%20%20%20%20%20%20%20BatchSubmitter%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20worker%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20pending_count%3A%200%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20batch_threshold%3A%2032%2C%20%20%2F%2F%20%E6%AF%8F%2032%20%E4%B8%AA%20SQE%20%E6%8F%90%E4%BA%A4%E4%B8%80%E6%AC%A1%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%7D%0A%20%20%20%20%0A%20%20%20%20%2F%2F%2F%20%E6%8F%90%E4%BA%A4%E4%B8%80%E4%B8%AA%20SQE%EF%BC%88%E4%B8%8D%E7%AB%8B%E5%8D%B3%E5%88%B7%E5%85%A5%E5%86%85%E6%A0%B8%EF%BC%89%0A%20%20%20%20pub%20fn%20push_sqe%28%26mut%20self%2C%20sqe%3A%20squeue%3A%3AEntry%29%20%7B%0A%20%20%20%20%20%20%20%20unsafe%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20let%20sq%20%3D%20self.worker.ring.submission%28%29%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20sq.push%28%26sqe%29.expect%28%22SQ%20overflow%22%29%3B%20%20%2F%2F%20%E4%BB%85%E5%9C%A8%E6%9C%AC%E7%BA%BF%E7%A8%8B%E5%86%85%E6%93%8D%E4%BD%9C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20self.pending_count%20%2B%3D%201%3B%0A%20%20%20%20%7D%0A%20%20%20%20%0A%20%20%20%20%2F%2F%2F%20%E6%89%B9%E9%87%8F%E5%88%B7%E5%85%A5%E5%86%85%E6%A0%B8%EF%BC%88%E5%87%8F%E5%B0%91%20syscall%20%E6%AC%A1%E6%95%B0%EF%BC%89%0A%20%20%20%20pub%20fn%20flush%28%26mut%20self%29%20-%26gt%3B%20std%3A%3Aio%3A%3AResult%26lt%3B%28%29%26gt%3B%20%7B%0A%20%20%20%20%20%20%20%20if%20self.pending_count%20%26gt%3B%200%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%2F%2F%20%E6%AF%8F%E4%B8%AA%20worker%20%E8%87%AA%E5%B7%B1%E7%9A%84%20ring%EF%BC%8C%E6%97%A0%E9%9C%80%E8%B7%A8%E7%BA%BF%E7%A8%8B%E5%90%8C%E6%AD%A5%0A%20%20%20%20%20%20%20%20%20%20%20%20self.worker.ring.submit%28%29%3F%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20self.pending_count%20%3D%200%3B%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20Ok%28%28%29%29%0A%20%20%20%20%7D%0A%7D%0A%3C%2Fcode%3E%3C%2Fpre%3E%0A%0A%3Ch3%3E3.4%20%E5%AE%8C%E6%88%90%E4%BA%8B%E4%BB%B6%E7%9A%84%20NUMA%20%E6%84%9F%E7%9F%A5%E6%94%B6%E5%89%B2%3C%2Fh3%3E%0A%0A%3Cpre%3E%3Ccode%20class%3D%22language-rust%22%3E%0A%2F%2F%2F%20%E5%AE%8C%E6%88%90%E4%BA%8B%E4%BB%B6%E8%81%9A%E5%90%88%E5%99%A8%EF%BC%9A%E7%BB%91%E6%A0%B8%E6%94%B6%E5%89%B2%E9%81%BF%E5%85%8D%E8%B7%A8%20NUMA%20%E8%8A%82%E7%82%B9%0Apub%20struct%20CompletionAggregator%20%7B%0A%20%20%20%20per_worker_cqs%3A%20Vec%26lt%3BWorkerCqState%26gt%3B%2C%0A%7D%0A%0Astruct%20WorkerCqState%20%7B%0A%20%20%20%20ring%3A%20Arc%26lt%3BIoUring%26gt%3B%2C%0A%20%20%20%20local_buffer%3A%20Vec%26lt%3Bu64%26gt%3B%2C%20%20%2F%2F%20%E9%A2%84%E5%88%86%E9%85%8D%E7%9A%84%E4%BA%8B%E4%BB%B6%E7%BC%93%E5%86%B2%E5%8C%BA%0A%20%20%20%20callback_handler%3A%20Box%26lt%3Bdyn%20Fn%28CompletionEvent%29%20%2B%20Send%26gt%3B%2C%0A%7D%0A%0Aimpl%20CompletionAggregator%20%7B%0A%20%20%20%20pub%20fn%20poll_worker%28%26mut%20self%2C%20worker_id%3A%20usize%2C%20timeout_us%3A%20u64%29%20-%26gt%3B%20std%3A%3Aio%3A%3AResult%26lt%3Busize%26gt%3B%20%7B%0A%20%20%20%20%20%20%20%20let%20state%20%3D%20%26mut%20self.per_worker_cqs%5Bworker_id%5D%3B%0A%20%20%20%20%20%20%20%20%0A%20%20%20%20%20%20%20%20%2F%2F%20%E4%BB%85%E6%94%B6%E5%89%B2%E6%9C%AC%20worker%20%E7%9A%84%20CQ%EF%BC%8C%E9%81%BF%E5%85%8D%E7%BC%93%E5%AD%98%E8%A1%8C%E5%A4%B1%E6%95%88%0A%20%20%20%20%20%20%20%20let%20cq%20%3D%20state.ring.completion%28%29%3B%0A%20%20%20%20%20%20%20%20let%20mut%20count%20%3D%200%3B%0A%20%20%20%20%20%20%20%20%0A%20%20%20%20%20%20%20%20loop%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20match%20cq.next%28%29%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Some%28cqe%29%20%3D%26gt%3B%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20let%20event%20%3D%20CompletionEvent%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20user_data%3A%20cqe.user_data%28%29%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20res%3A%20cqe.result%28%29%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20flags%3A%20cqe.flags%28%29%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2F%2F%20%E7%AB%8B%E5%8D%B3%E5%A4%84%E7%90%86%E5%AE%8C%E6%88%90%E4%BA%8B%E4%BB%B6%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%28state.callback_handler%29%28event%29%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20cq.update%281%29%3B%20%20%2F%2F%20%E6%9B%B4%E6%96%B0%20CQ%20head%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20count%20%2B%3D%201%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2F%2F%20%E6%89%B9%E9%87%8F%E6%9B%B4%E6%96%B0%E4%BB%A5%E5%87%8F%E5%B0%91%E5%86%85%E5%AD%98%E5%B1%8F%E9%9A%9C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20count%20%26gt%3B%3D%20256%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20break%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20None%20%3D%26gt%3B%20break%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%0A%20%20%20%20%20%20%20%20Ok%28count%29%0A%20%20%20%20%7D%0A%7D%0A%3C%2Fcode%3E%3C%2Fpre%3E%0A%0A%3Ch2%3E%E5%9B%9B%E3%80%81%E6%80%A7%E8%83%BD%E5%9F%BA%E5%87%86%E6%B5%8B%E8%AF%95%3C%2Fh2%3E%0A%0A%3Ch3%3E4.1%20%E6%B5%8B%E8%AF%95%E7%8E%AF%E5%A2%83%3C%2Fh3%3E%0A%0A%3Ctable%3E%3Cthead%3E%3Ctr%3E%0A%3Cth%3E%E7%BB%84%E4%BB%B6%3C%2Fth%3E%0A%3Cth%3E%E9%85%8D%E7%BD%AE%3C%2Fth%3E%0A%3C%2Ftr%3E%3C%2Fthead%3E%3Ctbody%3E%0A%3Ctr%3E%0A%3Ctd%3ECPU%3C%2Ftd%3E%0A%3Ctd%3EAMD%20EPYC%207763%20%2864C%2F128T%2C%202%20NUMA%20nodes%29%3C%2Ftd%3E%0A%3C%2Ftr%3E%0A%3Ctr%3E%0A%3Ctd%3EMemory%3C%2Ftd%3E%0A%3Ctd%3E512GB%20DDR4-3200%20%284%20channels%20per%20socket%29%3C%2Ftd%3E%0A%3C%2Ftr%3E%0A%3Ctr%3E%0A%3Ctd%3EStorage%3C%2Ftd%3E%0A%3Ctd%3ESamsung%20PM1733%20NVMe%20%28PCIe%204.0%20x4%2C%208TB%29%3C%2Ftd%3E%0A%3C%2Ftr%3E%0A%3Ctr%3E%0A%3Ctd%3EKernel%3C%2Ftd%3E%0A%3Ctd%3E6.6.8%20%28CONFIG_IO_URING%3Dy%29%3C%2Ftd%3E%0A%3C%2Ftr%3E%0A%3Ctr%3E%0A%3Ctd%3Eio-uring%20crate%3C%2Ftd%3E%0A%3Ctd%3E0.6.x%3C%2Ftd%3E%0A%3C%2Ftr%3E%0A%3C%2Ftbody%3E%3C%2Ftable%3E%0A%0A%3Ch3%3E4.2%20%E5%90%9E%E5%90%90%E9%87%8F%E5%AF%B9%E6%AF%94%E6%B5%8B%E8%AF%95%3C%2Fh3%3E%0A%0A%3Cp%3E%E6%B5%8B%E8%AF%95%E5%9C%BA%E6%99%AF%EF%BC%9A%E6%A8%A1%E6%8B%9F%20AI%20%E6%8E%A8%E7%90%86%E6%9C%8D%E5%8A%A1%E4%B8%AD%22%E8%AF%BB%E5%8F%96%E6%A8%A1%E5%9E%8B%E6%9D%83%E9%87%8D%E5%88%86%E7%89%87%20%2B%20%E6%8F%90%E4%BA%A4%E5%88%B0%20GPU%22%E7%9A%84%20I%2FO%20%E6%A8%A1%E5%BC%8F%EF%BC%8C%E6%AF%8F%E8%AF%B7%E6%B1%82%204KB-1MB%20%E9%9A%8F%E6%9C%BA%E5%A4%A7%E5%B0%8F%E3%80%82%3C%2Fp%3E%0A%0A%3Ctable%3E%3Cthead%3E%3Ctr%3E%0A%3Cth%3E%E6%96%B9%E6%A1%88%3C%2Fth%3E%0A%3Cth%3E8%20Workers%3C%2Fth%3E%0A%3Cth%3E32%20Workers%3C%2Fth%3E%0A%3Cth%3E64%20Workers%3C%2Fth%3E%0A%3Cth%3E96%20Workers%3C%2Fth%3E%0A%3C%2Ftr%3E%3C%2Fthead%3E%3Ctbody%3E%0A%3Ctr%3E%0A%3Ctd%3Eepoll%20%2B%20pthreads%20%2B%20mutex%3C%2Ftd%3E%0A%3Ctd%3E450K%20IOPS%3C%2Ftd%3E%0A%3Ctd%3E780K%20IOPS%3C%2Ftd%3E%0A%3Ctd%3E620K%20IOPS%3C%2Ftd%3E%0A%3Ctd%3E480K%20IOPS%3C%2Ftd%3E%0A%3C%2Ftr%3E%0A%3Ctr%3E%0A%3Ctd%3Eio_uring%20single%20SQ%20%2B%20mutex%3C%2Ftd%3E%0A%3Ctd%3E1.2M%20IOPS%3C%2Ftd%3E%0A%3Ctd%3E1.8M%20IOPS%3C%2Ftd%3E%0A%3Ctd%3E1.5M%20IOPS%3C%2Ftd%3E%0A%3Ctd%3E1.1M%20IOPS%3C%2Ftd%3E%0A%3C%2Ftr%3E%0A%3Ctr%3E%0A%3Ctd%3Eio_uring%20SQPOLL%3C%2Ftd%3E%0A%3Ctd%3E1.5M%20IOPS%3C%2Ftd%3E%0A%3Ctd%3E2.4M%20IOPS%3C%2Ftd%3E%0A%3Ctd%3E2.1M%20IOPS%3C%2Ftd%3E%0A%3Ctd%3E1.6M%20IOPS%3C%2Ftd%3E%0A%3C%2Ftr%3E%0A%3Ctr%3E%0A%3Ctd%3Eio_uring%20Multi-SQ%3C%2Ftd%3E%0A%3Ctd%3E1.8M%20IOPS%3C%2Ftd%3E%0A%3Ctd%3E5.6M%20IOPS%3C%2Ftd%3E%0A%3Ctd%3E9.2M%20IOPS%3C%2Ftd%3E%0A%3Ctd%3E11.5M%20IOPS%3C%2Ftd%3E%0A%3C%2Ftr%3E%0A%3Ctr%3E%0A%3Ctd%3Eio_uring%20Multi-SQ%20%2B%20SQPOLL%3C%2Ftd%3E%0A%3Ctd%3E2.0M%20IOPS%3C%2Ftd%3E%0A%3Ctd%3E6.1M%20IOPS%3C%2Ftd%3E%0A%3Ctd%3E10.8M%20IOPS%3C%2Ftd%3E%0A%3Ctd%3E%3Cstrong%3E14.2M%20IOPS%3C%2Fstrong%3E%3C%2Ftd%3E%0A%3C%2Ftr%3E%0A%3C%2Ftbody%3E%3C%2Ftable%3E%0A%0A%3Cp%3E%E5%85%B3%E9%94%AE%E5%8F%91%E7%8E%B0%EF%BC%9A%3C%2Fp%3E%0A%3Cul%3E%0A%3Cli%3EMulti-SQ%20%E6%A8%A1%E5%BC%8F%E5%9C%A8%2096%20workers%20%E4%B8%8B%E5%AE%9E%E7%8E%B0%E4%BA%86%E8%BF%91%E7%BA%BF%E6%80%A7%E6%89%A9%E5%B1%95%EF%BC%8811.5M%20%2F%201.8M%20%E2%89%88%206.4x%EF%BC%8C%E8%80%8C%E5%8D%95%20SQ%20%E4%BB%85%202x%EF%BC%89%3C%2Fli%3E%0A%3Cli%3E%E7%BB%93%E5%90%88%20SQPOLL%20%E5%90%8E%E8%BF%9B%E4%B8%80%E6%AD%A5%E6%B6%88%E9%99%A4%E7%B3%BB%E7%BB%9F%E8%B0%83%E7%94%A8%E5%BC%80%E9%94%80%EF%BC%8C%E8%BE%BE%E5%88%B0%2014.2M%20IOPS%20%E7%9A%84%E5%B3%B0%E5%80%BC%3C%2Fli%3E%0A%3C%2Ful%3E%0A%0A%3Ch3%3E4.3%20%E5%BB%B6%E8%BF%9F%E5%88%86%E5%B8%83%EF%BC%88P99%2FP999%EF%BC%89%3C%2Fh3%3E%0A%0A%3Ctable%3E%3Cthead%3E%3Ctr%3E%0A%3Cth%3E%E6%96%B9%E6%A1%88%3C%2Fth%3E%0A%3Cth%3EP50%20%28%CE%BCs%29%3C%2Fth%3E%0A%3Cth%3EP99%20%28%CE%BCs%29%3C%2Fth%3E%0A%3Cth%3EP999%20%28%CE%BCs%29%3C%2Fth%3E%0A%3Cth%3EP9999%20%28%CE%BCs%29%3C%2Fth%3E%0A%3C%2Ftr%3E%3C%2Fthead%3E%3Ctbody%3E%0A%3Ctr%3E%0A%3Ctd%3Esingle%20SQ%20%2B%20mutex%3C%2Ftd%3E%0A%3Ctd%3E8%3C%2Ftd%3E%0A%3Ctd%3E45%3C%2Ftd%3E%0A%3Ctd%3E320%3C%2Ftd%3E%0A%3Ctd%3E2%2C800%3C%2Ftd%3E%0A%3C%2Ftr%3E%0A%3Ctr%3E%0A%3Ctd%3ESQPOLL%3C%2Ftd%3E%0A%3Ctd%3E6%3C%2Ftd%3E%0A%3Ctd%3E28%3C%2Ftd%3E%0A%3Ctd%3E180%3C%2Ftd%3E%0A%3Ctd%3E1%2C500%3C%2Ftd%3E%0A%3C%2Ftr%3E%0A%3Ctr%3E%0A%3Ctd%3EMulti-SQ%3C%2Ftd%3E%0A%3Ctd%3E3%3C%2Ftd%3E%0A%3Ctd%3E8%3C%2Ftd%3E%0A%3Ctd%3E25%3C%2Ftd%3E%0A%3Ctd%3E120%3C%2Ftd%3E%0A%3C%2Ftr%3E%0A%3Ctr%3E%0A%3Ctd%3EMulti-SQ%20%2B%20SQPOLL%3C%2Ftd%3E%0A%3Ctd%3E2%3C%2Ftd%3E%0A%3Ctd%3E5%3C%2Ftd%3E%0A%3Ctd%3E15%3C%2Ftd%3E%0A%3Ctd%3E65%3C%2Ftd%3E%0A%3C%2Ftr%3E%0A%3C%2Ftbody%3E%3C%2Ftable%3E%0A%0A%3Cp%3EMulti-SQ%20%E6%A8%A1%E5%BC%8F%E7%9A%84%20P99%20%E5%BB%B6%E8%BF%9F%E4%BB%85%E4%B8%BA%E5%8D%95%20SQ%20%2B%20mutex%20%E7%9A%84%20%3Cstrong%3E1%2F5.6%3C%2Fstrong%3E%EF%BC%8C%E8%BF%99%E6%98%AF%E5%9B%A0%E4%B8%BA%E5%9C%A8%E5%A4%9A%E7%BA%BF%E7%A8%8B%E7%AB%9E%E4%BA%89%E6%B6%88%E5%A4%B1%E5%90%8E%EF%BC%8C%E6%8E%92%E9%98%9F%E5%BB%B6%E8%BF%9F%E5%A4%A7%E5%B9%85%E9%99%8D%E4%BD%8E%E3%80%82%3C%2Fp%3E%0A%0A%3Ch3%3E4.4%20CPU%20%E5%88%A9%E7%94%A8%E7%8E%87%E5%AF%B9%E6%AF%94%3C%2Fh3%3E%0A%0A%3Cpre%3E%3Ccode%3E%0A%E5%8D%95%20SQ%20%2B%20mutex%20%2896%20workers%29%3A%0A%20%20CPU%20Utilization%3A%2096%20cores%20%C3%97%2068%25%20avg%20%3D%2065.3%20cores%20effective%0A%20%20Lock%20contention%3A%20~22%20cores%20%28perfutex%20overhead%29%0A%20%20Actual%20I%2FO%3A%20~43.3%20cores%0A%0AMulti-SQ%20%2B%20SQPOLL%20%2896%20workers%29%3A%0A%20%20CPU%20Utilization%3A%2096%20cores%20%C3%97%2082%25%20avg%20%3D%2078.7%20cores%20effective%0A%20%20Lock%20contention%3A%20~1.2%20cores%20%28cq%20polling%20only%29%0A%20%20Actual%20I%2FO%3A%20~77.5%20cores%0A%0A%E2%86%92%20CPU%20%E6%95%88%E7%8E%87%E6%8F%90%E5%8D%87%3A%2077.5%20%2F%2043.3%20%3D%201.79x%0A%3C%2Fcode%3E%3C%2Fpre%3E%0A%0A%3Ch2%3E%E4%BA%94%E3%80%81%E7%94%9F%E4%BA%A7%E7%8E%AF%E5%A2%83%E9%83%A8%E7%BD%B2%E8%A6%81%E7%82%B9%3C%2Fh2%3E%0A%0A%3Ch3%3E5.1%20%E5%8F%82%E6%95%B0%E8%B0%83%E4%BC%98%E5%BB%BA%E8%AE%AE%3C%2Fh3%3E%0A%0A%3Cpre%3E%3Ccode%20class%3D%22language-bash%22%3E%0A%23%20%2Fetc%2Fsysctl.d%2F99-uring-ai.conf%0A%0A%23%20%E5%A2%9E%E5%8A%A0%20io_uring%20%E6%9C%80%E5%A4%A7%E5%8F%AF%E5%88%9B%E5%BB%BA%E7%9A%84%20ring%20%E6%95%B0%EF%BC%88%E6%AF%8F%E4%B8%AA%20worker%20%E4%B8%80%E4%B8%AA%EF%BC%89%0Afs.io_uring.max_workers%20%3D%20256%0A%0A%23%20%E5%A2%9E%E5%8A%A0%E8%BF%9B%E7%A8%8B%E5%8F%AF%E6%8C%81%E6%9C%89%E7%9A%84%E6%96%87%E4%BB%B6%E6%8F%8F%E8%BF%B0%E7%AC%A6%E4%B8%8A%E9%99%90%0Afs.file-max%20%3D%202097152%0A%0A%23%20%E5%A2%9E%E5%8A%A0%E5%BC%82%E6%AD%A5%20I%2FO%20%E4%BA%8B%E4%BB%B6%E6%B1%A0%E5%A4%A7%E5%B0%8F%0Afs.aio-max-nr%20%3D%201048576%0A%0A%23%20%2Fetc%2Fsecurity%2Flimits.d%2F99-uring-ai.conf%0A%2A%20soft%20memlock%20unlimited%0A%2A%20hard%20memlock%20unlimited%0A%2A%20soft%20nofile%201048576%0A%2A%20hard%20nofile%201048576%0A%3C%2Fcode%3E%3C%2Fpre%3E%0A%0A%3Ch3%3E5.2%20%E5%85%B3%E9%94%AE%E7%9B%91%E6%8E%A7%E6%8C%87%E6%A0%87%3C%2Fh3%3E%0A%0A%3Cpre%3E%3Ccode%20class%3D%22language-rust%22%3E%0A%23%5Bderive%28Debug%2C%20Serialize%29%5D%0Apub%20struct%20MultiSqMetrics%20%7B%0A%20%20%20%20%2F%2F%2F%20%E6%AF%8F%E4%B8%AA%20worker%20%E7%9A%84%20SQ%20%E4%BD%BF%E7%94%A8%E7%8E%87%0A%20%20%20%20pub%20sq_utilization%3A%20Vec%26lt%3Bf64%26gt%3B%2C%0A%20%20%20%20%0A%20%20%20%20%2F%2F%2F%20%E6%AF%8F%E4%B8%AA%20worker%20%E7%9A%84%20CQ%20%E6%B6%88%E8%B4%B9%E5%BB%B6%E8%BF%9F%0A%20%20%20%20pub%20cq_consume_latency_ns%3A%20Vec%26lt%3Bu64%26gt%3B%2C%0A%20%20%20%20%0A%20%20%20%20%2F%2F%2F%20%E9%94%81%E4%BA%89%E7%94%A8%E6%83%85%E5%86%B5%EF%BC%88%E5%BA%94%E6%8E%A5%E8%BF%91%200%EF%BC%89%0A%20%20%20%20pub%20lock_contention_count%3A%20u64%2C%0A%20%20%20%20%0A%20%20%20%20%2F%2F%2F%20%E6%89%B9%E9%87%8F%E6%8F%90%E4%BA%A4%E7%9A%84%E5%B9%B3%E5%9D%87%E5%A4%A7%E5%B0%8F%0A%20%20%20%20pub%20avg_batch_size%3A%20f64%2C%0A%20%20%20%20%0A%20%20%20%20%2F%2F%2F%20%E5%85%B1%E4%BA%AB%20WQ%20%E7%9A%84%20pending%20work%20%E6%95%B0%0A%20%20%20%20pub%20wq_pending%3A%20u64%2C%0A%20%20%20%20%0A%20%20%20%20%2F%2F%2F%20NUMA%20%E8%B7%A8%E8%8A%82%E7%82%B9%E8%AE%BF%E9%97%AE%E8%AE%A1%E6%95%B0%0A%20%20%20%20pub%20xeonuma_access_count%3A%20u64%2C%0A%7D%0A%3C%2Fcode%3E%3C%2Fpre%3E%0A%0A%3Ch3%3E5.3%20%E6%95%85%E9%9A%9C%E6%8E%92%E6%9F%A5%E6%8C%87%E5%8D%97%3C%2Fh3%3E%0A%0A%3Col%3E%0A%3Cli%3E%3Cstrong%3ESQ%20Overflow%3C%2Fstrong%3E%EF%BC%9A%E5%87%BA%E7%8E%B0%20%3Ccode%3EIOSQE_IO_DRAIN%3C%2Fcode%3E%20%E6%A0%87%E5%BF%97%E7%9A%84%E5%AE%8C%E6%88%90%E4%BA%8B%E4%BB%B6%E6%84%8F%E5%91%B3%E7%9D%80%20SQ%20%E5%B7%B2%E6%BB%A1%E3%80%82%E5%AF%B9%E7%AD%96%EF%BC%9A%E5%A2%9E%E5%8A%A0%20%3Ccode%3Eentries%3C%2Fcode%3E%20%E5%8F%82%E6%95%B0%E6%88%96%E5%87%8F%E5%B0%91%E6%89%B9%E9%87%8F%E5%A4%A7%E5%B0%8F%E3%80%82%3C%2Fli%3E%0A%3C%2Ful%3E%0A%0A%3Col%3E%0A%3Cli%3E%3Cstrong%3ECQ%20Overflow%3C%2Fstrong%3E%EF%BC%9A%E5%87%BA%E7%8E%B0%20%3Ccode%3EIORING_CQE_F_BUFFER%3C%2Fcode%3E%20%E4%B8%A2%E5%A4%B1%E6%84%8F%E5%91%B3%E7%9D%80%20CQ%20%E6%B6%88%E8%B4%B9%E5%A4%AA%E6%85%A2%E3%80%82%E5%AF%B9%E7%AD%96%EF%BC%9A%E5%A2%9E%E5%8A%A0%20polling%20%E9%A2%91%E7%8E%87%E6%88%96%E6%89%A9%E5%A4%A7%20CQ%20%E5%AE%B9%E9%87%8F%EF%BC%88%3Ccode%3EIORING_SETUP_CQSIZE%3C%2Fcode%3E%EF%BC%89%E3%80%82%3C%2Fli%3E%0A%3C%2Ful%3E%0A%0A%3Col%3E%0A%3Cli%3E%3Cstrong%3ENUMA%20%E4%B8%8D%E5%9D%87%E8%A1%A1%3C%2Fstrong%3E%EF%BC%9A%E9%80%9A%E8%BF%87%20%3Ccode%3Eperf%20c2c%3C%2Fcode%3E%20%E6%A3%80%E6%B5%8B%E8%B7%A8%E8%8A%82%E7%82%B9%E7%BC%93%E5%AD%98%E6%9C%AA%E5%91%BD%E4%B8%AD%E3%80%82%E5%AF%B9%E7%AD%96%EF%BC%9A%E7%A1%AE%E4%BF%9D%E6%AF%8F%E4%B8%AA%20worker%20%E7%BA%BF%E7%A8%8B%E5%92%8C%E5%AE%83%E7%9A%84%20SQ%20%E5%86%85%E5%AD%98%E7%BB%91%E5%AE%9A%E5%9C%A8%E5%90%8C%E4%B8%80%20NUMA%20%E8%8A%82%E7%82%B9%E3%80%82%3C%2Fli%3E%0A%3C%2Ful%3E%0A%0A%3Col%3E%0A%3Cli%3E%3Cstrong%3EWQ%20Starvation%3C%2Fstrong%3E%EF%BC%9A%E5%85%B1%E4%BA%AB%20io-wq%20%E7%BA%BF%E7%A8%8B%E4%B8%8D%E5%A4%9F%E7%94%A8%E6%97%B6%EF%BC%8C%E6%96%B0%E6%8F%90%E4%BA%A4%E7%9A%84%20work%20%E5%8F%AF%E8%83%BD%E6%8E%92%E9%98%9F%E3%80%82%E5%AF%B9%E7%AD%96%EF%BC%9A%E7%9B%91%E6%8E%A7%20%3Ccode%3E%2Fproc%2F%3Cpid%3E%2Fio_uring%2F%3C%2Fcode%3E%20%E6%88%96%E8%B0%83%E6%95%B4%20%3Ccode%3Esetup_wq_wqfd%3C%2Fcode%3E%20%E5%8F%82%E6%95%B0%E3%80%82%3C%2Fli%3E%0A%3C%2Ful%3E%0A%0A%3Ch2%3E%E5%85%AD%E3%80%81%E4%B8%8E%E5%85%B6%E4%BB%96%E6%96%B9%E6%A1%88%E7%9A%84%E4%BA%92%E8%A1%A5%3C%2Fh2%3E%0A%0A%3Cp%3EMulti-SUring%20Queue%20%E5%B9%B6%E9%9D%9E%E4%B8%87%E8%83%BD%E6%96%B9%E6%A1%88%EF%BC%8C%E5%9C%A8%E4%BB%A5%E4%B8%8B%E5%9C%BA%E6%99%AF%E9%9C%80%E8%A6%81%E6%9D%83%E8%A1%A1%EF%BC%9A%3C%2Fp%3E%0A%0A%3Cul%3E%0A%3Cli%3E%3Cstrong%3E%E4%BD%8E%E5%B9%B6%E5%8F%91%EF%BC%88%3C4%20workers%EF%BC%89%3C%2Fstrong%3E%EF%BC%9A%E5%8D%95%20SQ%20%2B%20%3Ccode%3EIORING_SETUP_SQPOLL%3C%2Fcode%3E%20%E6%9B%B4%E7%AE%80%E5%8D%95%EF%BC%8C%E6%80%A7%E8%83%BD%E5%B7%AE%E8%B7%9D%E5%9C%A8%205%25%20%E4%BB%A5%E5%86%85%3C%2Fli%3E%0A%3Cli%3E%3Cstrong%3E%E7%9F%AD%E6%9C%9F%E7%94%9F%E5%AD%98%E8%AF%B7%E6%B1%82%3C%2Fstrong%3E%EF%BC%88%E5%8F%AA%E8%AF%BB%E4%B8%80%E6%AC%A1%E5%B0%8F%E6%96%87%E4%BB%B6%EF%BC%89%EF%BC%9A%E7%9B%B4%E6%8E%A5%20%3Ccode%3Epread%3C%2Fcode%3E%20%E5%8D%B3%E5%8F%AF%EF%BC%8Cio_uring%20%E7%9A%84%E6%89%B9%E9%87%8F%E4%BC%98%E5%8C%96%E6%B2%A1%E6%9C%89%E7%A9%BA%E9%97%B4%3C%2Fli%3E%0A%3Cli%3E%3Cstrong%3E%E5%B7%B2%E6%9C%89%20DPDK%20%E9%83%A8%E7%BD%B2%3C%2Fstrong%3E%EF%BC%9A%E7%BD%91%E7%BB%9C%E5%B1%82%E5%B7%B2%E7%BB%95%E8%BF%87%E5%86%85%E6%A0%B8%EF%BC%8CMulti-SQ%20%E5%8F%AA%E5%AF%B9%E5%AD%98%E5%82%A8%E5%B1%82%E6%9C%89%E6%95%88%3C%2Fli%3E%0A%3C%2Ful%3E%0A%0A%3Cp%3E%E4%B8%8E%20io_uring%20%E7%9A%84%E5%85%B6%E4%BB%96%E9%AB%98%E7%BA%A7%E7%89%B9%E6%80%A7%E5%8F%AF%E4%BB%A5%E5%8F%A0%E5%8A%A0%E4%BD%BF%E7%94%A8%EF%BC%9A%3C%2Fp%3E%0A%0A%3Cul%3E%0A%3Cli%3E%3Cstrong%3EMulti-SQ%20%2B%20io_uring_cmd%3C%2Fstrong%3E%EF%BC%9A%E6%AF%8F%E4%B8%AA%20worker%20%E7%8B%AC%E7%AB%8B%E6%8F%90%E4%BA%A4%20NVMe%20passthrough%20%E5%91%BD%E4%BB%A4%3C%2Fli%3E%0A%3Cli%3E%3Cstrong%3EMulti-SQ%20%2B%20Buffer%20Ring%3C%2Fstrong%3E%EF%BC%9A%E4%BD%BF%E7%94%A8%E9%A2%84%E6%B3%A8%E5%86%8C%E7%BC%93%E5%86%B2%E5%8C%BA%E6%B1%A0%E5%87%8F%E5%B0%91%E5%86%85%E5%AD%98%E5%88%86%E9%85%8D%3C%2Fli%3E%0A%3Cli%3E%3Cstrong%3EMulti-SQ%20%2B%20SQE%20link%3C%2Fstrong%3E%EF%BC%9A%E6%9E%84%E5%BB%BA%E6%93%8D%E4%BD%9C%E9%93%BE%E8%B7%AF%EF%BC%88%E8%AF%BB%E2%86%92%E5%A4%84%E7%90%86%E2%86%92%E5%86%99%EF%BC%89%EF%BC%8C%E6%B6%88%E9%99%A4%E4%B8%AD%E9%97%B4%E5%90%8C%E6%AD%A5%3C%2Fli%3E%0A%3C%2Ful%3E%0A%0A%3Ch2%3E%E4%B8%83%E3%80%81%E6%80%BB%E7%BB%93%3C%2Fh2%3E%0A%0A%3Cp%3Eio_uring%20%E7%9A%84%E5%A4%9A%E6%8F%90%E4%BA%A4%E9%98%9F%E5%88%97%E6%A8%A1%E5%BC%8F%EF%BC%88Multi-SQ%20%2F%20Shared%20WQ%EF%BC%89%E6%98%AF%E6%9E%84%E5%BB%BA%E7%94%9F%E4%BA%A7%E7%BA%A7%20AI%20%E6%8E%A8%E7%90%86%E6%9C%8D%E5%8A%A1%20I%2FO%20%E5%9F%BA%E7%A1%80%E8%AE%BE%E6%96%BD%E7%9A%84%E5%85%B3%E9%94%AE%E5%88%A9%E5%99%A8%E3%80%82%E5%AE%83%E5%9C%A8%E4%BB%A5%E4%B8%8B%E7%BB%B4%E5%BA%A6%E5%B8%A6%E6%9D%A5%E4%BA%86%E8%B4%A8%E7%9A%84%E6%8F%90%E5%8D%87%EF%BC%9A%3C%2Fp%3E%0A%0A%3Col%3E%0A%3Cli%3E%3Cstrong%3E%E5%8F%AF%E6%89%A9%E5%B1%95%E6%80%A7%3C%2Fstrong%3E%EF%BC%9A%E4%BB%8E%201%20%E5%88%B0%2096%20worker%20%E8%BF%91%E7%BA%BF%E6%80%A7%E6%89%A9%E5%B1%95%EF%BC%8C%E6%97%A0%E9%94%81%E4%BA%89%E7%94%A8%3C%2Fli%3E%0A%3Cli%3E%3Cstrong%3E%E5%BB%B6%E8%BF%9F%E7%A8%B3%E5%AE%9A%E6%80%A7%3C%2Fstrong%3E%EF%BC%9AP99%20%E9%99%8D%E4%BD%8E%205.6%20%E5%80%8D%EF%BC%8C%E5%B0%BE%E9%83%A8%E5%BB%B6%E8%BF%9F%E6%8E%A7%E5%88%B6%E5%9C%A8%E4%BA%9A%E6%AF%AB%E7%A7%92%E7%BA%A7%3C%2Fli%3E%0A%3Cli%3E%3Cstrong%3ECPU%20%E6%95%88%E7%8E%87%3C%2Fstrong%3E%EF%BC%9A%E5%87%8F%E5%B0%91%2022%20%E4%B8%AA%E6%A0%B8%E5%BF%83%E7%9A%84%E9%94%81%E4%BA%89%E7%94%A8%E5%BC%80%E9%94%80%EF%BC%8C%E5%A4%9A%E9%87%8A%E6%94%BE%2079%25%20%E6%9C%89%E6%95%88%20I%2FO%20%E8%83%BD%E5%8A%9B%3C%2Fli%3E%0A%3C%2Ful%3E%0A%0A%3Cp%3E%E5%9C%A8%202026%20%E5%B9%B4%EF%BC%8Cio_uring%20%E5%B7%B2%E7%BB%8F%E6%98%AF%20Linux%20%E5%BC%82%E6%AD%A5%20I%2FO%20%E7%9A%84%E4%BA%8B%E5%AE%9E%E6%A0%87%E5%87%86%EF%BC%8C%E4%BD%86%20Multi-SQ%20%E7%9A%84%E6%BD%9C%E5%8A%9B%E5%9C%A8%E7%94%9F%E4%BA%A7%E7%8E%AF%E5%A2%83%20AI%20%E6%8E%A8%E7%90%86%E5%9C%BA%E6%99%AF%E4%B8%AD%E4%BB%8D%E6%9C%89%E5%A4%A7%E9%87%8F%E6%9C%AA%E8%A2%AB%E6%8C%96%E6%8E%98%E7%9A%84%E7%A9%BA%E9%97%B4%E3%80%82%E5%A6%82%E6%9E%9C%E4%BD%A0%E7%9A%84%E6%8E%A8%E7%90%86%E6%9C%8D%E5%8A%A1%E6%AD%A3%E5%9C%A8%E6%89%BF%E5%8F%97%20epoll%20%2B%20mutex%20%E6%9E%B6%E6%9E%84%E7%9A%84%E5%B9%B6%E5%8F%91%E7%93%B6%E9%A2%88%EF%BC%8CMulti-SQ%20%E5%8F%AF%E8%83%BD%E6%98%AF%E6%9C%80%E5%85%B7%E6%80%A7%E4%BB%B7%E6%AF%94%E7%9A%84%E5%8D%87%E7%BA%A7%E8%B7%AF%E5%BE%84%E3%80%82%3C%2Fp%3E%0A%0A