<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom"><channel><title>MoE :: 标签 :: x7peeps</title><link>https://blog.x7peeps.com/tags/MoE/index.html</link><description/><generator>Hugo</generator><language>zh-CN</language><lastBuildDate>Fri, 30 Oct 2026 14:47:30 +0800</lastBuildDate><atom:link href="https://blog.x7peeps.com/tags/MoE/index.xml" rel="self" type="application/rss+xml"/><item><title>Mixture of Experts 架构：稀疏激活如何重塑大语言模型的效率与规模</title><link>https://blog.x7peeps.com/AI/01-LLM%E5%8E%9F%E7%90%86%E4%B8%8E%E5%B7%A5%E7%A8%8B/Mixture-of-Experts%E6%9E%B6%E6%9E%84%E7%A8%80%E7%96%8F%E6%BF%80%E6%B4%BB%E5%A6%82%E4%BD%95%E9%87%8D%E5%A1%91%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9A%84%E6%95%88%E7%8E%87%E4%B8%8E%E8%A7%84%E6%A8%A1/index.html</link><pubDate>Fri, 30 Oct 2026 14:47:30 +0800</pubDate><guid>https://blog.x7peeps.com/AI/01-LLM%E5%8E%9F%E7%90%86%E4%B8%8E%E5%B7%A5%E7%A8%8B/Mixture-of-Experts%E6%9E%B6%E6%9E%84%E7%A8%80%E7%96%8F%E6%BF%80%E6%B4%BB%E5%A6%82%E4%BD%95%E9%87%8D%E5%A1%91%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9A%84%E6%95%88%E7%8E%87%E4%B8%8E%E8%A7%84%E6%A8%A1/index.html</guid><description>Mixture of Experts 架构：稀疏激活如何重塑大语言模型的效率与规模 大语言模型的 Scaling Law 曾长期遵循一个简单假设：更大的参数量意味着更强的能力，但代价是成比例增长的计算开销。GPT-4 据报训练成本超过 1 亿美元，Llama 2 耗费 330 万 A100 GPU 小时——当参数规模逼近万亿级别，Dense 模型的线性扩展路径正变得难以持续。</description></item><item><title>Qwen3.8-Flash-Next 本地部署评估：360B 级 MoE 模型的路线选择</title><link>https://blog.x7peeps.com/AI/06-AI%E5%B7%A5%E7%A8%8B%E5%8C%96/Qwen3.8-Flash-Next%E6%9C%AC%E5%9C%B0%E9%83%A8%E7%BD%B2%E8%AF%84%E4%BC%B0360B%E7%BA%A7MoE%E6%A8%A1%E5%9E%8B%E7%9A%84%E8%B7%AF%E7%BA%BF%E9%80%89%E6%8B%A9/index.html</link><pubDate>Thu, 27 Aug 2026 11:30:00 +0800</pubDate><guid>https://blog.x7peeps.com/AI/06-AI%E5%B7%A5%E7%A8%8B%E5%8C%96/Qwen3.8-Flash-Next%E6%9C%AC%E5%9C%B0%E9%83%A8%E7%BD%B2%E8%AF%84%E4%BC%B0360B%E7%BA%A7MoE%E6%A8%A1%E5%9E%8B%E7%9A%84%E8%B7%AF%E7%BA%BF%E9%80%89%E6%8B%A9/index.html</guid><description>导读 导读：如果说传统大模型是一辆装满全部零件上路的大卡车，那 MoE 模型就像是一辆"货架摆满 360 个备件、但每次只挑 6 个上车跑"的轻卡——你以为它在偷懒，其实它在优化。Qwen3.8-Flash-Next（360GB BF16 / 6B 激活 / 1M context，2026 年 8 月发布）就是这台"轻卡"在 Mac 本地圈的初次登场，本文记录它在 M5 Max 128GB UMA 上的路线评估：今天四条主流路线都因 qwen4_exp 架构支持未到位而跑不通，“1-14 天窗口内有可跑路径"是基于 Qwen 历史新架构发布后社区量化版平均节奏的估算，实际可能更短也可能拉长到一个月——这个时间窗口本身有不确定性，文章会讲清依据和例外条件。</description></item></channel></rss>