<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom"><channel><title>性能优化 :: 标签 :: x7peeps</title><link>https://blog.x7peeps.com/tags/%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96/index.html</link><description/><generator>Hugo</generator><language>zh-CN</language><lastBuildDate>Fri, 30 Oct 2026 14:47:30 +0800</lastBuildDate><atom:link href="https://blog.x7peeps.com/tags/%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96/index.xml" rel="self" type="application/rss+xml"/><item><title>LLM 应用性能工程：Token 优化、语义缓存与延迟调优</title><link>https://blog.x7peeps.com/AI/06-AI%E5%B7%A5%E7%A8%8B%E5%8C%96/LLM%E5%BA%94%E7%94%A8%E6%80%A7%E8%83%BD%E5%B7%A5%E7%A8%8BToken%E4%BC%98%E5%8C%96%E8%AF%AD%E4%B9%89%E7%BC%93%E5%AD%98%E4%B8%8E%E5%BB%B6%E8%BF%9F%E8%B0%83%E4%BC%98/index.html</link><pubDate>Fri, 30 Oct 2026 14:47:30 +0800</pubDate><guid>https://blog.x7peeps.com/AI/06-AI%E5%B7%A5%E7%A8%8B%E5%8C%96/LLM%E5%BA%94%E7%94%A8%E6%80%A7%E8%83%BD%E5%B7%A5%E7%A8%8BToken%E4%BC%98%E5%8C%96%E8%AF%AD%E4%B9%89%E7%BC%93%E5%AD%98%E4%B8%8E%E5%BB%B6%E8%BF%9F%E8%B0%83%E4%BC%98/index.html</guid><description>LLM 应用性能工程：Token 优化、语义缓存与延迟调优 当 LLM 应用从原型走向生产环境，性能问题会以最直接的方式暴露出来——Token 成本随用户量线性增长、首 Token 响应时间让用户失去耐心、高并发场景下 API 限流导致大量请求失败。这些不是边缘问题，而是决定 LLM 应用能否商业化的核心瓶颈。</description></item><item><title>MLX 并行提速实录：macOS 本地 TTS 从 230 秒到 100 秒</title><link>https://blog.x7peeps.com/AI/06-AI%E5%B7%A5%E7%A8%8B%E5%8C%96/MLX%E5%B9%B6%E8%A1%8C%E6%8F%90%E9%80%9F%E5%AE%9E%E5%BD%95macOS%E6%9C%AC%E5%9C%B0TTS%E4%BB%8E230%E7%A7%92%E5%88%B0100%E7%A7%92/index.html</link><pubDate>Thu, 13 Aug 2026 12:16:44 +0800</pubDate><guid>https://blog.x7peeps.com/AI/06-AI%E5%B7%A5%E7%A8%8B%E5%8C%96/MLX%E5%B9%B6%E8%A1%8C%E6%8F%90%E9%80%9F%E5%AE%9E%E5%BD%95macOS%E6%9C%AC%E5%9C%B0TTS%E4%BB%8E230%E7%A7%92%E5%88%B0100%E7%A7%92/index.html</guid><description>MLX 并行提速实录：macOS 本地 TTS 从 230 秒到 100 秒 一句话结论：引入 Apple MLX 框架 + 4 进程池并行分块，在不替换模型、不牺牲音质的前提下，将本地 TTS 长文本生成从 230.7 秒降至 100.2 秒（RTF 1.25→0.53），短文本从 11.5 秒降至 7.5-8 秒，冷启动从 11 秒降至 1-2 秒。 核心发现是：MLX 单进程并不比调优后的 PyTorch 并行快，真正的提速来自「MLX GPU 推理 × 受控多进程并行」的组合；而并发失控（18 进程）会导致内存与 GPU 初始化风暴，必须使用进程池限流。</description></item><item><title>macOS 本地 TTS 朗读服务优化实录：从频繁超时到秒级响应</title><link>https://blog.x7peeps.com/AI/06-AI%E5%B7%A5%E7%A8%8B%E5%8C%96/macOS%E6%9C%AC%E5%9C%B0TTS%E6%9C%97%E8%AF%BB%E6%9C%8D%E5%8A%A1%E4%BC%98%E5%8C%96%E5%AE%9E%E5%BD%95/index.html</link><pubDate>Fri, 30 Oct 2026 14:47:30 +0800</pubDate><guid>https://blog.x7peeps.com/AI/06-AI%E5%B7%A5%E7%A8%8B%E5%8C%96/macOS%E6%9C%AC%E5%9C%B0TTS%E6%9C%97%E8%AF%BB%E6%9C%8D%E5%8A%A1%E4%BC%98%E5%8C%96%E5%AE%9E%E5%BD%95/index.html</guid><description>macOS 本地 TTS 朗读服务优化实录：从频繁超时到秒级响应 一句话结论：不换模型、不动推理代码，仅靠服务架构层面的 7 项改造，将本地 TTS 朗读服务的长文本生成时间从 377 秒降至 230 秒（RTF 2.17→1.25），短文本从约 20 秒降至 8-11 秒，并彻底消除"频繁超时"问题。 核心经验是：服务超时的根因往往不在推理速度，而在进程调度、探活机制与超时配置之间的系统性失衡。</description></item><item><title>本地LLM延迟优化实录：缓存会撒谎，慢的从来不是推理</title><link>https://blog.x7peeps.com/AI/06-AI%E5%B7%A5%E7%A8%8B%E5%8C%96/%E6%9C%AC%E5%9C%B0LLM%E5%BB%B6%E8%BF%9F%E4%BC%98%E5%8C%96%E5%AE%9E%E5%BD%95%E7%BC%93%E5%AD%98%E4%BC%9A%E6%92%92%E8%B0%8E%E6%85%A2%E7%9A%84%E4%BB%8E%E6%9D%A5%E4%B8%8D%E6%98%AF%E6%8E%A8%E7%90%86/index.html</link><pubDate>Thu, 24 Sep 2026 23:50:00 +0800</pubDate><guid>https://blog.x7peeps.com/AI/06-AI%E5%B7%A5%E7%A8%8B%E5%8C%96/%E6%9C%AC%E5%9C%B0LLM%E5%BB%B6%E8%BF%9F%E4%BC%98%E5%8C%96%E5%AE%9E%E5%BD%95%E7%BC%93%E5%AD%98%E4%BC%9A%E6%92%92%E8%B0%8E%E6%85%A2%E7%9A%84%E4%BB%8E%E6%9D%A5%E4%B8%8D%E6%98%AF%E6%8E%A8%E7%90%86/index.html</guid><description>本地 LLM 延迟优化实录：缓存会撒谎，慢的从来不是推理 一句话结论：**本地推理链路的两个"慢"，都不是模型慢。**一个是任务路由场景下前缀缓存"看起来没生效"——官方指标 prompt_eval_count 每次都报全量 token，但墙钟从 8.94s 收敛到 0.39s，指标在撒谎；另一个是语音助手首句要等 13-15 秒——根因是 23GB 模型闲置超时被卸载后的冷加载，热态下大模型首 token 只要 0.07s。修复都不换模型：把变量后置让前缀逐字节命中，用流式首句即播 + 常驻保活把可听延迟压到 2 秒。</description></item></channel></rss>