编程技术

KServe 推理服务自动伸缩与 GPU 调度治理(2025)

# KServe 推理服务自动伸缩与 GPU 调度治理(2025) ## 一、架构与部署 - 模型服务:`InferenceService` 定义接口与路由;支持 REST/gRPC。 - 资源:为 `GPU` 设置 requests/limits 与节点选择器;隔离不同模型的资源。 - 存储:模型拉取与缓存策略,减少启动时延。 ## 二、自动伸缩与队列 - Autoscaling:按 QPS

OpenResty与Nginx Lua:网关扩展与策略控制

--- title: OpenResty与Nginx Lua:网关扩展与策略控制 keywords: - OpenResty - Nginx - Lua - 网关策略 - 流量治理 description: 通过 OpenResty 在 Nginx 层以 Lua 扩展网关能力,实现鉴权、路由与限流等策略控制。 categories: - 文章资讯 - 技术教程 --- # OpenRest...

Dapr 服务调用与状态管理实践(2025)

# Dapr 服务调用与状态管理实践(2025) ## 一、服务调用与重试 - 统一调用:通过 sidecar 统一服务寻址与重试/超时。 - 熔断与限流:在调用层配置策略,提升稳健性。 ## 二、状态管理 - 状态存储:抽象后端(Redis/SQL 等),统一一致性与并发控制。 - 事务与并发:ETag 与并发模型避免写冲突。 ## 三、Pub/Sub 与绑定 - Pub/Sub:解耦与可

Idle Detection API:用户空闲与屏幕状态治理

--- title: Idle Detection API:用户空闲与屏幕状态治理 keywords: - IdleDetector - requestPermission - userState - screenState - threshold description: 使用 Idle Detection 识别用户与屏幕空闲状态,合理安排后台任务与同步,避免打扰并提升资源利用率。 catego...