评估搜索架构的完成度,可以看倒排索引、分片、相关性评分是否都有明确的输入、输出与失败处理。本文围绕这 3 个要点展开,并给出服务端架构场景下的验证方式。
一、问题定位
很多搜索架构的问题在测试环境看不出来:倒排索引的调用间隔一拉长,分片的本地缓存就命中率骤降,长尾被整体抬起来。
1.1 为什么现在更值得讨论
搜索架构的讨论常常停在「要重视」,服务端架构团队更需要的是可执行的检查项:
- 自动化优先(服务端架构):重复三次的流程就该脚本化
- 人工只处理例外(服务端架构):常规路径无人干预,异常才叫醒人
- 失败可自愈(服务端架构):常见故障有自动恢复路径
二、按要点拆解:搜索架构
2.1 倒排索引
倒排索引的设计要先回答一个问题:倒排索引到底是主路径还是兜底路径。定位不同,倒排索引的超时、重试和降级力度完全不同。
- 限流保护:倒排索引要能拒绝超过处理能力的请求,而不是让队列无限堆积
- 版本标识:倒排索引的每次变更都要带版本,便于灰度期间对比效果
- 文档同步:倒排索引的边界条件与默认值要写进仓库,而不是留在人脑里
2.2 分片
分片的设计要先回答一个问题:分片到底是主路径还是兜底路径。定位不同,分片的超时、重试和降级力度完全不同。
- 观测:分片至少有成功率、P99、积压量三个指标能被独立查询
- 数据兼容:分片改造期间,新旧状态格式必须双向可读
- 限流保护:分片要能拒绝超过处理能力的请求,而不是让队列无限堆积
2.3 相关性评分
相关性评分的重试策略要和它的幂等性配套。相关性评分支持重试的前提是重复执行不会放大副作用,否则重试就是把小问题放大。
- 变更可逆:相关性评分的配置与代码要能在 30 秒内回到上一版
- 数据兼容:相关性评分改造期间,新旧状态格式必须双向可读
- 被测过的最坏路径:相关性评分的超时、抖动、部分失败都要有对应用例
3 个要点(倒排索引、分片、相关性评分)按依赖排列后,真正的瓶颈往往只有一环:
倒排索引 → 分片 → 相关性评分
倒排索引与分片的交界处是整条链最容易出问题的地方:倒排索引追求低延迟,分片要求强一致,二者争夺同一份资源。先把倒排索引的边界条件列清楚,分片的设计才有依据。
三、最小可运行实现
服务端架构的一个老服务曾经出现过这样的现象:倒排索引与分片都在正常工作,但两者对同一份数据的解读不一致,导致状态来回翻动,告警却指向别处。
排查之后发现是配置问题:倒排索引的超时比分片的处理时间短,导致大量请求被提前掐断。把倒排索引的超时按 P99 的两倍重设之后,现象消失。
服务端架构场景里,倒排索引、分片、相关性评分的实现骨架可以抽象成下面这样:
# 搜索架构:倒排索引上的 BM25 打分与分片/副本的取舍
import math
from collections import defaultdict
from typing import Dict, List
K1, B = 1.2, 0.75 # K1 控制词频饱和,B 控制文档长度惩罚强度
class InvertedIndex:
def __init__(self) -> None:
self.postings: Dict[str, Dict[str, int]] = defaultdict(dict)
self.lengths: Dict[str, int] = defaultdict(int)
self.total = 0
def add(self, doc_id: str, text: str) -> None:
for term in text.lower().split():
self.postings[term][doc_id] = self.postings[term].get(doc_id, 0) + 1
self.lengths[doc_id] += 1
self.total += 1
@property
def avg_len(self) -> float:
return sum(self.lengths.values()) / max(self.total, 1)
def idf(self, term: str) -> float:
df = len(self.postings.get(term, {}))
return math.log(1 + (self.total - df + 0.5) / (df + 0.5))
def search(self, query: List[str], top: int = 10) -> List[tuple]:
scores: Dict[str, float] = defaultdict(float)
for term in query:
idf = self.idf(term)
for doc_id, tf in self.postings.get(term, {}).items():
norm = 1 - B + B * self.lengths[doc_id] / self.avg_len
scores[doc_id] += idf * tf * (K1 + 1) / (tf + K1 * norm)
ranked = sorted(scores.items(), key=lambda kv: kv[1], reverse=True)
return ranked[:top]
# 分片与副本的三个工程约束:
# 1) 主分片数创建后不可改,改需要 reindex,应按 3~5 年数据量预估;
# 2) 副本提升检索吞吐与容灾,但同步写放大 refresh 压力;
# 3) 相关性打分在单分片内完成,跨分片只做 top-K 归并,
# 分片过多会让全局 top-K 失真,需要 dfs_query_then_fetch 校正 IDF。
四、验证与调优
把搜索架构的调优拆成三轮,每轮只动一个参数,结果如下:
| 环节 | 单次耗时 | 占关键路径 | 优化手段 |
|---|---|---|---|
| 倒排索引 | 2.0ms | 38% | 缓存热路径结果 |
| 分片 | 3.2ms | 27% | 压缩状态体积 |
| 相关性评分 | 4.4ms | 20% | 降低锁竞争 |
整体指标:P99 从 317ms 降到 126ms(-60%),吞吐从 14 万 QPS 提升到 22 万 QPS(+57%),CPU 占用从 88% 降到 66%。
4.1 灰度策略
- 阶段一(服务端架构):先在新数据分片上验证,确认路由正确
- 阶段二(服务端架构):覆盖一半分片,观察跨分片查询
- 阶段三(服务端架构):全分片铺开,重点看热点分片
- 阶段四(服务端架构):全量后保留分片级摘除能力
4.2 观测面
搜索架构的观测项上线后要有人负责,无人维护的指标迟早变成误导:
- 指标(服务端架构):区分「错误率」与「降级率」,后者往往更早暴露问题
- 日志(服务端架构):同一请求的日志用同一个追踪 ID 串起来
- 巡检(服务端架构):定期跑一遍最坏路径,确认兜底仍然有效
五、结论
如果把搜索架构的投入排序,我会先做倒排索引、分片、相关性评分的契约与测试,再做性能。搜索架构的契约不稳时做的性能优化,很容易在下次改动中被推翻。
- 把复杂度放在正确的一层(服务端架构):能下沉到平台就不要留给业务方
- 失败要可观测(服务端架构):静默失败比报错更危险
- 保持可回退(服务端架构):任何阶段都要留一条回到上一版的路
本文由 AI 辅助完成,搜索架构的示例架构与参数需按自身容量与团队规模调整。

发表评论 取消回复