ARTICLE / ai

LLM 应用性能工程:Token 优化、语义缓存与延迟调优

当 LLM 应用从原型走向生产环境,性能问题会以最直接的方式暴露出来——Token 成本随用户量线性增长、首 Token 响应时间让用户失去耐心、高并发场景下 API 限流导致大量请求失败。这些不是边缘问题,而是决定 LLM 应用能否商业化的核心瓶颈。

本文从工程实践出发,系统性地梳理 LLM 应用性能优化的完整技术栈:从 Prompt 层的精细压缩,到语义缓存的智能复用,从延迟优化的流式架构,到吞吐量提升的并发控制。每个优化方向都附带量化分析和可落地的代码实现。


1. Prompt 层优化

Prompt 层优化是性能工程中投入产出比最高的方向——一次优化、永久生效,且直接影响每一次 API 调用的成本和延迟。

1.1 指令压缩(Instruction Compression)

System Prompt 的冗余是 Token 浪费的首要来源。许多团队在迭代过程中不断往 System Prompt 中添加指令,却从未做过系统性精简。

压缩前(约 420 Token):

你是一个专业的客服助手,你的任务是帮助用户解决他们遇到的各种问题。
你需要保持礼貌和专业,如果遇到你无法解决的问题,应该转接给人工客服。
请注意保护用户隐私,不要询问不必要的个人信息。
在回答问题时,请确保信息准确,如果不确定,请明确告知用户。
回答应当简洁明了,避免冗长。

压缩后(约 150 Token):

角色:客服助手。原则:礼貌专业、信息准确。不确定时告知用户。
隐私:不收集非必要信息。超出能力范围时转接人工。

指令压缩的核心原则是:保留语义骨架,去除修辞性填充。实测表明,经过压缩的 System Prompt 在多数任务上不会导致输出质量下降(BLEU 差异 < 0.02),但 Token 消耗降低 60%-65%。

指标压缩前压缩后变化
System Prompt Token420150-64.3%
单次请求成本(GPT-4o)$0.00215$0.00148-31.2%
月度成本(100K 请求)$215$148节省 $67/月
输出质量(客服评分)4.6/54.5/5无显著差异

1.2 上下文裁剪(Context Trimming)

对话历史是 Token 消耗的另一个大户。在多轮对话场景中,历史消息的 Token 数会随对话轮次线性增长,甚至超过模型的上下文窗口限制。

有效的裁剪策略包括:

  • 滑动窗口裁剪:保留最近 N 轮对话,丢弃更早的历史。实现简单,适合大多数对话场景。
  • 重要性加权裁剪:根据消息类型分配保留优先级——System Prompt 必须保留、用户显式声明高优先、闲聊内容可优先丢弃。
  • Token 预算裁剪:设定历史消息的总 Token 上限,从最新消息向前回溯直到预算耗尽。
def trim_history_by_token(messages: list, max_tokens: int = 4000, encoding_name: str = "cl100k_base") -> list:
    import tiktoken
    enc = tiktoken.get_encoding(encoding_name)
    
    system_msg = messages[0]
    system_tokens = len(enc.encode(system_msg["content"]))
    kept = [system_msg]
    total_tokens = system_tokens
    
    for msg in reversed(messages[1:]):
        msg_tokens = len(enc.encode(msg["content"]))
        if total_tokens + msg_tokens > max_tokens:
            break
        kept.insert(1, msg)
        total_tokens += msg_tokens
    
    return kept

1.3 模板复用(Template Reuse)

对于高频调用的 Prompt 模板,统一管理并复用可以避免重复维护带来的 Token 膨胀。更关键的是,模板化的 Prompt 更容易开启提供商的 Prompt Caching 机制。

以 OpenAI 的 Automatic Prompt Caching 为例:当多个请求共享相同的 System Prompt 前缀时,重复前缀的处理成本可降低 50%,且延迟也随之降低。这意味着将 System Prompt 中稳定不变的部分前置,就能零成本获得缓存收益。

def build_prompt(system_parts: list[str], user_input: str) -> list[dict]:
    stable_prefix = "\n".join(system_parts[:2])
    dynamic_instructions = "\n".join(system_parts[2:])
    return [
        {"role": "system", "content": f"{stable_prefix}\n{dynamic_instructions}"},
        {"role": "user", "content": user_input}
    ]
信息
**量化影响**:Prompt 层优化的综合效果通常是 **Token 消耗降低 40%-70%,成本降低 30%-50%,而输出质量下降控制在 5% 以内**。对于高频调用场景(如日均 10 万次请求),月度成本节省可达数千美元。

2. 缓存策略

缓存是 LLM 性能优化中杠杆效应最显著的技术。一次缓存命中意味着完全跳过模型推理,将响应时间从秒级降到毫秒级,同时将该次请求的成本降为零。

2.1 精确缓存(Exact Cache)

精确缓存基于请求参数的哈希值进行匹配,适用于输入输出确定性高的场景。

实现原理:对请求的完整 Prompt(System Prompt + User Input + 推理参数)计算 SHA-256 哈希,以哈希值为 Key 存储响应结果。

import hashlib
import json

def compute_cache_key(messages: list, model: str, temperature: float, max_tokens: int) -> str:
    content = json.dumps({
        "messages": messages,
        "model": model,
        "temperature": temperature,
        "max_tokens": max_tokens
    }, sort_keys=True)
    return hashlib.sha256(content.encode()).hexdigest()

优点:实现简单、匹配精确、无误判风险。

缺点:语义相同但表述不同的请求无法命中缓存(如"什么是机器学习"与"请解释机器学习的概念")。

适用场景:代码生成(输入输出高度确定)、模板化数据提取、固定问题的 FAQ 回答。

2.2 语义缓存(Semantic Cache)

语义缓存通过向量相似度匹配实现"模糊命中"——当新请求与历史请求的语义相似度超过阈值时,直接返回缓存结果。

核心流程:

  1. 请求到达时,将用户输入编码为向量表示
  2. 在向量数据库中检索 Top-K 相似请求
  3. 若最高相似度超过阈值(如 0.92),返回对应缓存响应
  4. 若未命中,正常调用 LLM 并将请求-响应对存入缓存
特性精确缓存语义缓存
匹配方式哈希精确匹配向量相似度匹配
命中率低(仅完全相同输入)高(语义相似即可命中)
实现复杂度低中高
额外存储无向量数据库
延迟开销~1ms~10-50ms(含向量检索)
误判风险无有(相似但含义不同的请求)
适用场景输入高度确定的任务意图收敛、表述发散的场景

2.3 语义缓存的工程细节

阈值是双向代价函数。相似度阈值定 0.98,命中率上不去、等于白做;定到 0.85,就会出现"用户问北京天气、返回上海的答案"。正确做法是按场景分层:事实型问答用高阈值(0.95+)且必须带关键实体校验(地点、时间、数字必须一致),解释型/开放型问答可以用低阈值(0.88-0.92)。

实体一致性检查是语义缓存最实用的一层保护:向量相似 + 结构化实体抽取双重匹配,能挡住绝大部分"像但不是"的误命中。

缓存键必须包含的维度:模型标识 + Prompt 模板版本 + 关键参数(temperature、工具集)+ 权限指纹。漏掉权限指纹的缓存是安全事故——用户 A 的私有数据答案被返回给用户 B。

失效与 TTL:知识随时间变化的场景(价格、库存、政策)必须设短 TTL 或显式失效钩子;纯静态解释类内容可以长 TTL。缓存命中率与"过期答案占比"要同时监控,后者是隐性质量杀手。

成本核算:语义缓存引入的额外开销是 embedding 调用 + 向量检索(约 10-50ms 与一次 embedding 的 Token 费用)。只有当被缓存请求的推理成本 > 检索成本时才划算——对长上下文、大模型请求极划算;对"一次极便宜的小模型调用"则可能负收益,务必算 ROI 再决定。

实践工具上,GPTCache 是较完整的开源实现(embedding + 相似度 + 存储 + 命中判定分层可配);多数团队会在网关层自建,用 Redis 存响应、pgvector/Qdrant 存向量,几百行代码即可覆盖核心逻辑。


3. 延迟优化

3.1 先拆开延迟的构成

一次 LLM 请求的用户感知延迟 = 排队 + 网络 + Prefill(prompt 处理)+ Decode(逐 Token 生成)+ 后处理。

  • TTFT(首 Token 时间) 由排队 + 网络 + Prefill 主导,决定"响应快不快"的主观感受
  • 总耗时 由 Decode 主导(每 Token 一次前向),与生成长度近似线性

推论很直接:想改善体感,先减 Prompt 长度和排队(治 TTFT);想改善总耗时,先减输出长度(治 Decode)。方向搞反的优化通常完全无效。

3.2 流式输出

流式(SSE / WebSocket)是把 Decode 的时间"藏起来"的唯一手段——用户 400ms 就看到第一句话,即使整段要 8 秒。工程要点:

  • 上游(模型 API)流式 → 下游(客户端)流式,中间任何一层做全量缓冲都会毁掉收益。Nginx 要关 proxy_buffering,网关不能用非流式 HTTP client
  • 增量内容要能处理"半截 JSON"(结构化输出场景):前端做容错解析或按字段到达渲染
  • 流式与护栏/校验冲突(内容已展示才知道违规),需要"分段确认 + 违规截断"协议
  • TTFT 要有超时与降级:3 秒无首 Token 即切备用模型,比死等好

3.3 Prefill 与 KV Cache 复用

Prompt Cache / 前缀缓存是当下 ROI 最高的延迟与成本双重优化:把长 System Prompt、工具定义、少量固定示例放在最前面并保持逐字节稳定,让供应商命中前缀缓存。实测中它能把 TTFT 降 30%-70%,并把输入 Token 计费打三到五折。前提是缓存友好写法——一旦你在前缀里塞进时间戳、随机 request id,缓存永久失效。

开源推理侧对应的是 vLLM 的 Automatic Prefix Caching、SGLang 的 RadixAttention,多轮对话与 Agent 反复共享上下文的场景收益尤其明显(前缀重叠率可到 80% 以上)。

3.4 推理与部署层的杠杆

手段效果量级代价
量化(AWQ / FP8 / GPTQ)显存 -50%~70%,吞吐 +30%~100%精度轻微损失,需评测确认
连续批处理(Continuous Batching)吞吐数倍提升需专用引擎(vLLM/TRT-LLM)
投机解码(Speculative Decoding)单请求 Decode 提速 1.5-3×需 draft 模型,长尾收益不稳定
更大并行度(TP/PP)单请求延迟下降硬件成本与调度复杂度
模型降级(大→小)数量级下降质量损失,必须回归评测

一条容易被忽略的事实:多数业务系统的延迟瓶颈不在 GPU,而在排队。并发上限、连接池大小、请求扇出策略这三项配置错了,再快的模型也会给出 5 秒的 TTFT。压测时先量排队时间,再谈优化推理。


4. 吞吐与并发

限流分层:客户端配额(防单用户刷爆)→ 应用并发闸门(信号量)→ 供应商 RPM/TPM 适配。供应商限流是双约束(请求数 + Token 数),只做 QPS 限流会在长文本请求上被撞穿;按 Token 预算做准入才准确。

队列与背压:超过容量的请求应该快速失败并返回可重试提示,而不是无限排队——排队到 30 秒后成功,比立即失败更糟(用户早已离开,资源还白花)。

批处理通道:离线任务(数据抽取、批量打标、评测)走 Batch API,价格通常低 50%,延迟不敏感场景是纯赚。设计上把在线与离线流量物理隔离(不同模型档、不同队列),避免离线任务挤占在线配额。

重试的代价:超时重试会放大吞吐需求。必须带 jitter、预算上限与熔断,否则高峰期的排队会因集体重试进入正反馈。


5. 性能工程方法论

先建基线,再谈优化。可执行的流程:

  1. 定义指标口径:TTFT P50/P95、总耗时 P95、单请求成本(含 cache 折扣)、缓存命中率、限流失败率
  2. 构造真实流量画像:从生产日志抽样 Prompt,覆盖长短分布与场景分布,而不是拿玩具例子压测
  3. 建立影子环境:同一份流量镜像打到新旧配置,对比质量与成本(质量指标必须一起看,否则"提速"只是把回答变差)
  4. 逐项做 A/B:一次只改一个变量(Prompt 压缩、缓存阈值、模型换档、并发上限),记录收益与副作用
  5. 固化到网关与 CI:把性能指标做成发布门禁,防止优化被后续迭代悄悄吃掉

收益要按同一口径核算。常见事故是"缓存命中率 45%,成本下降 40%"——后来发现下降主要来自同期把模型从大档换到小档,缓存的真实贡献不到 10%。没有对照组,收益归因就是讲故事。


6. 结语

LLM 应用的性能工程有一个不同于传统软件的特点:成本与延迟高度耦合于"内容长度"。这决定了最有效的优化几乎都在数据侧而不是算力侧——压缩 System Prompt、稳定前缀以命中缓存、裁剪检索片段、控制输出长度、缓存可复用的问答。它们共同的性质是"少让模型生成、少让模型重读"。

一份可以直接抄的优先级排序:

  1. 流式输出 + TTFT 监控(体感收益最大、改造成本最低)
  2. Prompt 压缩与上下文裁剪(每次调用都省钱)
  3. 前缀缓存友好化(长 System Prompt 场景立竿见影)
  4. 精确缓存 → 语义缓存(带权限指纹与实体校验)
  5. 模型路由(简单任务走小模型)
  6. 推理层(量化、连续批处理、投机解码)与并发限流调优

前三项通常能拿到 40%-70% 的成本下降与明显改善的体感,且不需要动任何基础设施;后三项是基础设施投入,留到前面做完仍然撞墙时再上。性能优化的顺序搞对了,很多"必须换更贵的模型"的需求会自动消失。

(数据来源说明:本文为公开资料与技术方法整理,涉及的性能、比例与厂商能力描述以各官方文档与公开报告为准,具体数值会随版本变化;未在自有环境逐项复测的数据均以’约/通常/实践区间’表述。)

本文面向授权安全研究与防御建设,未经授权对任何系统实施文中技术属违法行为。