LLM 服务端流式传输与断点续传（SSE/WebSocket、分片与验证）
使用SSE或WebSocket提供LLM流式输出，并通过分片与游标实现断点续传与重试安全，给出服务端与客户端实现与验证方法。
大语言模型
LLM函数调用与JSON模式约束：结构化输出与工具编排
通过函数调用与 JSON Schema 约束实现结构化输出与工具编排，提升可控性与集成效率。
LLM 函数调用与工具编排实践（2025）
# LLM 函数调用与工具编排实践（2025）
函数调用与工具编排让模型与系统协作，提升可控性与可复现性。
## 一、接口与模式
- JSON Schema：定义函数参数与返回，校验输入输出。
- 安全边界：限制可调用能力与资源，遵循最小权限。
## 二、计划与执行
- 计划执行：将多步任务拆分为计划与步骤，控制顺序与依赖。
- 观察与回路：记录每次调用的观察与结果，便于回溯与调试。
##
LLM 响应结构化与 Guardrails（JSON 模式、Schema 验证与安全）
将LLM输出结构化为JSON并通过Schema验证与安全过滤，结合PII检测与字段白名单，提供实现与验证方法以增强可靠性与合规。
LLM 推理优化（Batching、Cache、Speculative Decoding 与验证）
总结大模型推理的性能优化方法，包括批处理、缓存与推测解码，并提供可验证的压测与观测路径。
LLM 推理缓存与去重策略（Prompt Cache、Fingerprint 与验证）
通过Prompt缓存与请求指纹实现去重与命中，结合结果分片与Speculative策略降低延迟与成本，提供实现与验证方法。
BullMQ与Celery：任务队列与调度对比
比较 Node 与 Python 生态下两大任务队列在并发、重试与调度上的差异，指导微服务与数据处理选型。
AI Prompt Injection 防护与上下文隔离（2025）
# AI Prompt Injection 防护与上下文隔离（2025）
提示注入通过诱导模型违反边界执行敏感操作，需要在架构与提示与执行层面防护。
## 一、上下文与权限
- 上下文隔离：用于不同任务的数据与权限分隔。
- 最小权限：工具与接口仅开放必要能力。
## 二、提示与约束
- 引用约束：明确只能基于提供上下文回答与引用。
- 模板与过滤：对输入进行过滤与正则清洗，降低风险。
#
PWA 安装体验：beforeinstallprompt 与 appinstalled
---
title: PWA 安装体验：beforeinstallprompt 与 appinstalled
keywords:
- beforeinstallprompt
- appinstalled
- 安装提示
- manifest
- 用户引导
description: 使用 beforeinstallprompt 与 appinstalled 管理 PWA 安装提示与...
LLM输出防护：提示注入、敏感信息与事实核查
---
title: LLM输出防护：提示注入、敏感信息与事实核查
keywords: ["提示注入", "敏感信息", "事实核查", "上下文隔离", "引用证据"]
description: 通过上下文隔离、输入/输出过滤与引用证据，实现对提示注入与敏感信息泄露的防护，并进行事实核查。
categories:
- 应用软件
- 系统工具
---
# LLM输出防护：提示注入、敏感信...
LLM 输出去敏与审计流水（PII Redaction、审计与验证）
---
title: LLM 输出去敏与审计流水（PII Redaction、审计与验证）
date: 2025-11-26
keywords:
- PII Redaction
- 审计流水
- Masking
- 合规
- 日志
description: 为LLM输出进行PII去敏与审计记录，通过规则与模型识别敏感信息并替换，保留审计流水与证据链，提供实现与验证方法。
cat...
