<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom"><channel><title>量化 :: 标签 :: x7peeps</title><link>https://blog.x7peeps.com/tags/%E9%87%8F%E5%8C%96/index.html</link><description/><generator>Hugo</generator><language>zh-CN</language><lastBuildDate>Fri, 30 Oct 2026 14:47:30 +0800</lastBuildDate><atom:link href="https://blog.x7peeps.com/tags/%E9%87%8F%E5%8C%96/index.xml" rel="self" type="application/rss+xml"/><item><title>模型量化与压缩技术：GPTQ、AWQ、GGUF与FP8的工程实践指南</title><link>https://blog.x7peeps.com/AI/10-%E6%A8%A1%E5%9E%8B%E8%AE%AD%E7%BB%83/%E6%A8%A1%E5%9E%8B%E9%87%8F%E5%8C%96%E4%B8%8E%E5%8E%8B%E7%BC%A9%E6%8A%80%E6%9C%AFGPTQAWQGGUF%E4%B8%8EFP8%E7%9A%84%E5%B7%A5%E7%A8%8B%E5%AE%9E%E8%B7%B5%E6%8C%87%E5%8D%97/index.html</link><pubDate>Fri, 30 Oct 2026 14:47:30 +0800</pubDate><guid>https://blog.x7peeps.com/AI/10-%E6%A8%A1%E5%9E%8B%E8%AE%AD%E7%BB%83/%E6%A8%A1%E5%9E%8B%E9%87%8F%E5%8C%96%E4%B8%8E%E5%8E%8B%E7%BC%A9%E6%8A%80%E6%9C%AFGPTQAWQGGUF%E4%B8%8EFP8%E7%9A%84%E5%B7%A5%E7%A8%8B%E5%AE%9E%E8%B7%B5%E6%8C%87%E5%8D%97/index.html</guid><description>模型量化与压缩技术：GPTQ、AWQ、GGUF与FP8的工程实践指南 大语言模型的参数规模在过去五年呈指数级增长——从 GPT-2 的 15 亿参数到 LLaMA-3.1-405B 的 4050 亿参数，再到 DeepSeek-V3 的 6710 亿参数。然而 GPU 的显存容量增长远不及模型规模的扩张速度。以 FP16 精度存储一个 70B 模型需要约 140GB 显存，而一块 H100 SXM5 的显存仅为 80GB。量化（Quantization） 正是打破这一瓶颈的关键技术。</description></item><item><title>Qwen3.8-27B 本地实测：从 Opus4.6 对标到 4bit 量化的能力真相</title><link>https://blog.x7peeps.com/AI/03-Agent%E6%9E%B6%E6%9E%84%E4%B8%8E%E6%A1%86%E6%9E%B6%E7%94%9F%E6%80%81/Qwen3.8-27B%E6%9C%AC%E5%9C%B0%E5%AE%9E%E6%B5%8B%E4%BB%8EOpus4.6%E5%AF%B9%E6%A0%87%E5%88%B04bit%E9%87%8F%E5%8C%96%E7%9A%84%E8%83%BD%E5%8A%9B%E7%9C%9F%E7%9B%B8/index.html</link><pubDate>Thu, 20 Aug 2026 00:44:36 +0800</pubDate><guid>https://blog.x7peeps.com/AI/03-Agent%E6%9E%B6%E6%9E%84%E4%B8%8E%E6%A1%86%E6%9E%B6%E7%94%9F%E6%80%81/Qwen3.8-27B%E6%9C%AC%E5%9C%B0%E5%AE%9E%E6%B5%8B%E4%BB%8EOpus4.6%E5%AF%B9%E6%A0%87%E5%88%B04bit%E9%87%8F%E5%8C%96%E7%9A%84%E8%83%BD%E5%8A%9B%E7%9C%9F%E7%9B%B8/index.html</guid><description>Qwen3.8-27B 本地实测：从 Opus4.6 对标到 4bit 量化的能力真相 研究摘要 Qwen3.8-27B 是阿里 Qwen 开源家族的最新稠密模型，官方模型卡将其与闭源旗舰 Opus4.6 Max 放在同一张 Benchmark 表中对比，20 项指标中有 14 项反超、3 项接近、3 项落后。这个定位引发了社区热议：一个 27B 的开源稠密模型，真的能达到 Opus 级别的日常使用水平吗？更关键的是，当它被量化到 4bit、部署到一台苹果 M5 Max 笔记本上、再叠加 DFlash2 投机解码之后，实际能力还剩多少？</description></item><item><title>7.89GB装下27B：2-bit量化模型实测，工具调用反超54GB原版，但有三个坑</title><link>https://blog.x7peeps.com/AI/06-AI%E5%B7%A5%E7%A8%8B%E5%8C%96/7.89GB%E8%A3%85%E4%B8%8B27B2-bit%E9%87%8F%E5%8C%96%E6%A8%A1%E5%9E%8B%E5%AE%9E%E6%B5%8B%E5%B7%A5%E5%85%B7%E8%B0%83%E7%94%A8%E5%8F%8D%E8%B6%8554GB%E5%8E%9F%E7%89%88%E4%BD%86%E6%9C%89%E4%B8%89%E4%B8%AA%E5%9D%91/index.html</link><pubDate>Fri, 16 Oct 2026 00:30:00 +0800</pubDate><guid>https://blog.x7peeps.com/AI/06-AI%E5%B7%A5%E7%A8%8B%E5%8C%96/7.89GB%E8%A3%85%E4%B8%8B27B2-bit%E9%87%8F%E5%8C%96%E6%A8%A1%E5%9E%8B%E5%AE%9E%E6%B5%8B%E5%B7%A5%E5%85%B7%E8%B0%83%E7%94%A8%E5%8F%8D%E8%B6%8554GB%E5%8E%9F%E7%89%88%E4%BD%86%E6%9C%89%E4%B8%89%E4%B8%AA%E5%9D%91/index.html</guid><description>Conway Research（Underdog）10 月上旬发布了一个 7.89GB 的 GGUF 文件 Saluki 27B——底层是阿里 Qwen3.8-27B，原版 BF16 权重 54GB，这个 2-bit 混合量化版本（IQ2-mix）体积砍了近 7 倍。官方宣称"九项基准平均保留 96% 能力"，发布后登上多家科技媒体。</description></item><item><title>Qwen3.8-27B 量化损失实测与推理档位对照：8bit 只掉 1pt 的实证</title><link>https://blog.x7peeps.com/AI/06-AI%E5%B7%A5%E7%A8%8B%E5%8C%96/Qwen3.8-27B%E9%87%8F%E5%8C%96%E6%8D%9F%E5%A4%B1%E5%AE%9E%E6%B5%8B%E4%B8%8E%E6%8E%A8%E7%90%86%E6%A1%A3%E4%BD%8D%E5%AF%B9%E7%85%A78bit%E5%8F%AA%E6%8E%891pt%E7%9A%84%E5%AE%9E%E8%AF%81/index.html</link><pubDate>Thu, 27 Aug 2026 23:38:00 +0800</pubDate><guid>https://blog.x7peeps.com/AI/06-AI%E5%B7%A5%E7%A8%8B%E5%8C%96/Qwen3.8-27B%E9%87%8F%E5%8C%96%E6%8D%9F%E5%A4%B1%E5%AE%9E%E6%B5%8B%E4%B8%8E%E6%8E%A8%E7%90%86%E6%A1%A3%E4%BD%8D%E5%AF%B9%E7%85%A78bit%E5%8F%AA%E6%8E%891pt%E7%9A%84%E5%AE%9E%E8%AF%81/index.html</guid><description>Qwen3.8-27B 量化损失实测与推理档位对照：8bit 只掉 1pt 的实证 导读：这篇文章不是推荐某个模型，而是回答本地部署者最纠结的两个问题：量化到底损失多少？推理档位到底怎么选？在 Mac（M5 Max 128GB）上把 Qwen3.8-27B 用 8bit MLX + DFlash2 投机解码部署好之后，我用 2901 + 164 + 53 + 30 题的完整评测集做了 2×2 控制变量实验（量化档位 × 推理档位），得到一个反直觉的结论：8bit 相对 4bit 在 MMLU 上只损失约 1 个百分点，远低于社区流传的 10-15pt；而推理档位的影响反而比量化大得多——选择题场景下"想得越多越错"。</description></item><item><title>Qwen3.8-Flash-Next 本地部署评估：360B 级 MoE 模型的路线选择</title><link>https://blog.x7peeps.com/AI/06-AI%E5%B7%A5%E7%A8%8B%E5%8C%96/Qwen3.8-Flash-Next%E6%9C%AC%E5%9C%B0%E9%83%A8%E7%BD%B2%E8%AF%84%E4%BC%B0360B%E7%BA%A7MoE%E6%A8%A1%E5%9E%8B%E7%9A%84%E8%B7%AF%E7%BA%BF%E9%80%89%E6%8B%A9/index.html</link><pubDate>Thu, 27 Aug 2026 11:30:00 +0800</pubDate><guid>https://blog.x7peeps.com/AI/06-AI%E5%B7%A5%E7%A8%8B%E5%8C%96/Qwen3.8-Flash-Next%E6%9C%AC%E5%9C%B0%E9%83%A8%E7%BD%B2%E8%AF%84%E4%BC%B0360B%E7%BA%A7MoE%E6%A8%A1%E5%9E%8B%E7%9A%84%E8%B7%AF%E7%BA%BF%E9%80%89%E6%8B%A9/index.html</guid><description>导读 导读：如果说传统大模型是一辆装满全部零件上路的大卡车，那 MoE 模型就像是一辆"货架摆满 360 个备件、但每次只挑 6 个上车跑"的轻卡——你以为它在偷懒，其实它在优化。Qwen3.8-Flash-Next（360GB BF16 / 6B 激活 / 1M context，2026 年 8 月发布）就是这台"轻卡"在 Mac 本地圈的初次登场，本文记录它在 M5 Max 128GB UMA 上的路线评估：今天四条主流路线都因 qwen4_exp 架构支持未到位而跑不通，“1-14 天窗口内有可跑路径"是基于 Qwen 历史新架构发布后社区量化版平均节奏的估算，实际可能更短也可能拉长到一个月——这个时间窗口本身有不确定性，文章会讲清依据和例外条件。</description></item></channel></rss>