<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom"><channel><title>本地推理 :: 标签 :: x7peeps</title><link>https://blog.x7peeps.com/tags/%E6%9C%AC%E5%9C%B0%E6%8E%A8%E7%90%86/index.html</link><description/><generator>Hugo</generator><language>zh-CN</language><lastBuildDate>Mon, 19 Oct 2026 00:30:00 +0800</lastBuildDate><atom:link href="https://blog.x7peeps.com/tags/%E6%9C%AC%E5%9C%B0%E6%8E%A8%E7%90%86/index.xml" rel="self" type="application/rss+xml"/><item><title>买显卡前先跑一遍：llmspeed 把本地推理速度做成可分享预估，我们补了一组实机数据</title><link>https://blog.x7peeps.com/AI/06-AI%E5%B7%A5%E7%A8%8B%E5%8C%96/%E4%B9%B0%E6%98%BE%E5%8D%A1%E5%89%8D%E5%85%88%E8%B7%91%E4%B8%80%E9%81%8Dllmspeed-%E6%8A%8A%E6%9C%AC%E5%9C%B0%E6%8E%A8%E7%90%86%E9%80%9F%E5%BA%A6%E5%81%9A%E6%88%90%E5%8F%AF%E5%88%86%E4%BA%AB%E9%A2%84%E4%BC%B0%E6%88%91%E4%BB%AC%E8%A1%A5%E4%BA%86%E4%B8%80%E7%BB%84%E5%AE%9E%E6%9C%BA%E6%95%B0%E6%8D%AE/index.html</link><pubDate>Mon, 19 Oct 2026 00:30:00 +0800</pubDate><guid>https://blog.x7peeps.com/AI/06-AI%E5%B7%A5%E7%A8%8B%E5%8C%96/%E4%B9%B0%E6%98%BE%E5%8D%A1%E5%89%8D%E5%85%88%E8%B7%91%E4%B8%80%E9%81%8Dllmspeed-%E6%8A%8A%E6%9C%AC%E5%9C%B0%E6%8E%A8%E7%90%86%E9%80%9F%E5%BA%A6%E5%81%9A%E6%88%90%E5%8F%AF%E5%88%86%E4%BA%AB%E9%A2%84%E4%BC%B0%E6%88%91%E4%BB%AC%E8%A1%A5%E4%BA%86%E4%B8%80%E7%BB%84%E5%AE%9E%E6%9C%BA%E6%95%B0%E6%8D%AE/index.html</guid><description>本地跑大模型的第一个问题从来不是"哪个模型最强"，而是"我这台机器上它每秒能吐几个字、装不装得下"。过去回答它只有两条路：买回来实测，或者翻 reddit 上的零散跑分。10 月 17-18 日 Hacker News 的 Show HN 头条 llmspeed（llmspeed.dev）想当第三条路：选一块硬件、选一个模型和量化档位，网页直接把生成"流"给你看——按预估的 tok/s 逐字出现，首 token 前还有符合该配置的等待时间；两列并排还能跑竞速模式，比如 5090 对 Mac Studio。README 里的示例够挑衅：“RTX 5090 vs Mac Studio M5 Ultra 512GB on GLM-5.3 Flash (Q8). The 5090 can’t load it.”</description></item><item><title>7.89GB装下27B：2-bit量化模型实测，工具调用反超54GB原版，但有三个坑</title><link>https://blog.x7peeps.com/AI/06-AI%E5%B7%A5%E7%A8%8B%E5%8C%96/7.89GB%E8%A3%85%E4%B8%8B27B2-bit%E9%87%8F%E5%8C%96%E6%A8%A1%E5%9E%8B%E5%AE%9E%E6%B5%8B%E5%B7%A5%E5%85%B7%E8%B0%83%E7%94%A8%E5%8F%8D%E8%B6%8554GB%E5%8E%9F%E7%89%88%E4%BD%86%E6%9C%89%E4%B8%89%E4%B8%AA%E5%9D%91/index.html</link><pubDate>Fri, 16 Oct 2026 00:30:00 +0800</pubDate><guid>https://blog.x7peeps.com/AI/06-AI%E5%B7%A5%E7%A8%8B%E5%8C%96/7.89GB%E8%A3%85%E4%B8%8B27B2-bit%E9%87%8F%E5%8C%96%E6%A8%A1%E5%9E%8B%E5%AE%9E%E6%B5%8B%E5%B7%A5%E5%85%B7%E8%B0%83%E7%94%A8%E5%8F%8D%E8%B6%8554GB%E5%8E%9F%E7%89%88%E4%BD%86%E6%9C%89%E4%B8%89%E4%B8%AA%E5%9D%91/index.html</guid><description>Conway Research（Underdog）10 月上旬发布了一个 7.89GB 的 GGUF 文件 Saluki 27B——底层是阿里 Qwen3.8-27B，原版 BF16 权重 54GB，这个 2-bit 混合量化版本（IQ2-mix）体积砍了近 7 倍。官方宣称"九项基准平均保留 96% 能力"，发布后登上多家科技媒体。</description></item><item><title>Rapid-MLX 实测：框架提速是真的，MTP 推测解码是负的</title><link>https://blog.x7peeps.com/AI/06-AI%E5%B7%A5%E7%A8%8B%E5%8C%96/Rapid-MLX%E5%AE%9E%E6%B5%8B%E6%A1%86%E6%9E%B6%E6%8F%90%E9%80%9F%E6%98%AF%E7%9C%9F%E7%9A%84MTP%E6%8E%A8%E6%B5%8B%E8%A7%A3%E7%A0%81%E6%98%AF%E8%B4%9F%E7%9A%84/index.html</link><pubDate>Sun, 04 Oct 2026 22:30:00 +0800</pubDate><guid>https://blog.x7peeps.com/AI/06-AI%E5%B7%A5%E7%A8%8B%E5%8C%96/Rapid-MLX%E5%AE%9E%E6%B5%8B%E6%A1%86%E6%9E%B6%E6%8F%90%E9%80%9F%E6%98%AF%E7%9C%9F%E7%9A%84MTP%E6%8E%A8%E6%B5%8B%E8%A7%A3%E7%A0%81%E6%98%AF%E8%B4%9F%E7%9A%84/index.html</guid><description>Rapid-MLX 实测：框架提速是真的，MTP 推测解码是负的 一句话结论：框架本身对 Ollama 的提速成立（轻载最高 3.9 倍），但官方宣传排在最前面的 MTP 推测解码，在混合架构模型上实测吞吐反降三到四成——官方文档自己也承认这类场景「比关闭慢 20%」。这不是配置问题，是架构边界。</description></item></channel></rss>