<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom"><channel><title>FP8 :: 标签 :: x7peeps</title><link>https://blog.x7peeps.com/tags/FP8/index.html</link><description/><generator>Hugo</generator><language>zh-CN</language><lastBuildDate>Fri, 30 Oct 2026 14:47:30 +0800</lastBuildDate><atom:link href="https://blog.x7peeps.com/tags/FP8/index.xml" rel="self" type="application/rss+xml"/><item><title>模型量化与压缩技术：GPTQ、AWQ、GGUF与FP8的工程实践指南</title><link>https://blog.x7peeps.com/AI/10-%E6%A8%A1%E5%9E%8B%E8%AE%AD%E7%BB%83/%E6%A8%A1%E5%9E%8B%E9%87%8F%E5%8C%96%E4%B8%8E%E5%8E%8B%E7%BC%A9%E6%8A%80%E6%9C%AFGPTQAWQGGUF%E4%B8%8EFP8%E7%9A%84%E5%B7%A5%E7%A8%8B%E5%AE%9E%E8%B7%B5%E6%8C%87%E5%8D%97/index.html</link><pubDate>Fri, 30 Oct 2026 14:47:30 +0800</pubDate><guid>https://blog.x7peeps.com/AI/10-%E6%A8%A1%E5%9E%8B%E8%AE%AD%E7%BB%83/%E6%A8%A1%E5%9E%8B%E9%87%8F%E5%8C%96%E4%B8%8E%E5%8E%8B%E7%BC%A9%E6%8A%80%E6%9C%AFGPTQAWQGGUF%E4%B8%8EFP8%E7%9A%84%E5%B7%A5%E7%A8%8B%E5%AE%9E%E8%B7%B5%E6%8C%87%E5%8D%97/index.html</guid><description>模型量化与压缩技术：GPTQ、AWQ、GGUF与FP8的工程实践指南 大语言模型的参数规模在过去五年呈指数级增长——从 GPT-2 的 15 亿参数到 LLaMA-3.1-405B 的 4050 亿参数，再到 DeepSeek-V3 的 6710 亿参数。然而 GPU 的显存容量增长远不及模型规模的扩张速度。以 FP16 精度存储一个 70B 模型需要约 140GB 显存，而一块 H100 SXM5 的显存仅为 80GB。量化（Quantization） 正是打破这一瓶颈的关键技术。</description></item><item><title>Qwen3.8-27B 量化损失实测与推理档位对照：8bit 只掉 1pt 的实证</title><link>https://blog.x7peeps.com/AI/06-AI%E5%B7%A5%E7%A8%8B%E5%8C%96/Qwen3.8-27B%E9%87%8F%E5%8C%96%E6%8D%9F%E5%A4%B1%E5%AE%9E%E6%B5%8B%E4%B8%8E%E6%8E%A8%E7%90%86%E6%A1%A3%E4%BD%8D%E5%AF%B9%E7%85%A78bit%E5%8F%AA%E6%8E%891pt%E7%9A%84%E5%AE%9E%E8%AF%81/index.html</link><pubDate>Thu, 27 Aug 2026 23:38:00 +0800</pubDate><guid>https://blog.x7peeps.com/AI/06-AI%E5%B7%A5%E7%A8%8B%E5%8C%96/Qwen3.8-27B%E9%87%8F%E5%8C%96%E6%8D%9F%E5%A4%B1%E5%AE%9E%E6%B5%8B%E4%B8%8E%E6%8E%A8%E7%90%86%E6%A1%A3%E4%BD%8D%E5%AF%B9%E7%85%A78bit%E5%8F%AA%E6%8E%891pt%E7%9A%84%E5%AE%9E%E8%AF%81/index.html</guid><description>Qwen3.8-27B 量化损失实测与推理档位对照：8bit 只掉 1pt 的实证 导读：这篇文章不是推荐某个模型，而是回答本地部署者最纠结的两个问题：量化到底损失多少？推理档位到底怎么选？在 Mac（M5 Max 128GB）上把 Qwen3.8-27B 用 8bit MLX + DFlash2 投机解码部署好之后，我用 2901 + 164 + 53 + 30 题的完整评测集做了 2×2 控制变量实验（量化档位 × 推理档位），得到一个反直觉的结论：8bit 相对 4bit 在 MMLU 上只损失约 1 个百分点，远低于社区流传的 10-15pt；而推理档位的影响反而比量化大得多——选择题场景下"想得越多越错"。</description></item></channel></rss>