子项索引

子项	一句话
prompt-management skill	prompt 工程化 — 模板外置不硬编码、每版打版本号且 trace 关联版本、模板内显式写格式/范围/语气/长度约束
streaming-sse skill	LLM 流式响应默认用 SSE（单向、标准 HTTP、EventSource 自动重连），token 边到边逐块 flush，仅双向交互才上 WebSocket
rate-limit-token skill	LLM 网关层做 TPM+RPM 双限流（TPM 是成本主控维度），并按 input/output/cached token 单价实时核算每次调用成本
retry-degradation skill	LLM 调用失败用指数退避+full jitter 重试，先区分瞬时错误（可重试）与结构性错误（不盲目重试），并按错误率+成本速率+延迟三类触发器熔断降级
structured-output skill	需要可解析结果时强制用 JSON schema / function calling 约束模型输出，并对每次响应做 schema 校验（校验失败率是模型回归的先行指标）
caching skill	LLM 三层缓存 — 精确匹配普通缓存（FAQ 可省 80%+ 调用）、按语义命中跳过模型的语义缓存、供应商 prompt caching 降长前缀成本
observability skill	LLM 调用每条 trace 记录 prompt(含版本)/response/token 用量/延迟，并按调用维度归集成本；prompt 版本化是可观测性的前提

子项

一句话

prompt-management skill

prompt 工程化 — 模板外置不硬编码、每版打版本号且 trace 关联版本、模板内显式写格式/范围/语气/长度约束

streaming-sse skill

LLM 流式响应默认用 SSE（单向、标准 HTTP、EventSource 自动重连），token 边到边逐块 flush，仅双向交互才上 WebSocket

rate-limit-token skill

LLM 网关层做 TPM+RPM 双限流（TPM 是成本主控维度），并按 input/output/cached token 单价实时核算每次调用成本

retry-degradation skill

LLM 调用失败用指数退避+full jitter 重试，先区分瞬时错误（可重试）与结构性错误（不盲目重试），并按错误率+成本速率+延迟三类触发器熔断降级

structured-output skill

需要可解析结果时强制用 JSON schema / function calling 约束模型输出，并对每次响应做 schema 校验（校验失败率是模型回归的先行指标）

caching skill

LLM 三层缓存 — 精确匹配普通缓存（FAQ 可省 80%+ 调用）、按语义命中跳过模型的语义缓存、供应商 prompt caching 降长前缀成本

observability skill

LLM 调用每条 trace 记录 prompt(含版本)/response/token 用量/延迟，并按调用维度归集成本；prompt 版本化是可观测性的前提

LLM Engineering · 子项索引

LLM 调用工程拆成七个独立决策点，按你正在做的事下钻：

韧性栈顺序：请求队列(TPM/RPM 双限) → 熔断(错误率+成本+延迟) → 网关(指数退避+full jitter 重试) → LLM。文中省钱比例为第三方观察的量级参考，需用自有调用数据复测后定参。