<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom"><channel><title>MLX :: 标签 :: x7peeps</title><link>https://blog.x7peeps.com/tags/MLX/index.html</link><description/><generator>Hugo</generator><language>zh-CN</language><lastBuildDate>Fri, 16 Oct 2026 23:58:00 +0800</lastBuildDate><atom:link href="https://blog.x7peeps.com/tags/MLX/index.xml" rel="self" type="application/rss+xml"/><item><title>补充本地MLX流式TTS特性的研究</title><link>https://blog.x7peeps.com/%E5%BC%80%E6%BA%90%E9%A1%B9%E7%9B%AE/hermes%E6%96%B0%E7%89%B9%E6%80%A7/%E8%A1%A5%E5%85%85%E6%9C%AC%E5%9C%B0MLX%E6%B5%81%E5%BC%8FTTS%E7%89%B9%E6%80%A7%E7%9A%84%E7%A0%94%E7%A9%B6/index.html</link><pubDate>Mon, 17 Aug 2026 10:34:57 +0800</pubDate><guid>https://blog.x7peeps.com/%E5%BC%80%E6%BA%90%E9%A1%B9%E7%9B%AE/hermes%E6%96%B0%E7%89%B9%E6%80%A7/%E8%A1%A5%E5%85%85%E6%9C%AC%E5%9C%B0MLX%E6%B5%81%E5%BC%8FTTS%E7%89%B9%E6%80%A7%E7%9A%84%E7%A0%94%E7%A9%B6/index.html</guid><description>PR 地址：NousResearch/hermes-agent#85071 · 本地 MLX Qwen3-TTS 流式 provider（qwen3tts-mlx）
研究摘要 Hermes 的会话语音（session speech、语音气泡）原本依赖云端流式 TTS provider（elevenlabs / openai / gemini / xai），本地 TTS 引擎只能走同步合成路径——每说一句话，都要完整跑一次模型加载 + 整段文本合成，延迟高达 47 秒。本研究向 Hermes 上游补充了一个本地 MLX 流式 TTS provider（qwen3tts-mlx），把 Apple Silicon 上 Qwen3-TTS 声音克隆引擎的逐句流式产出能力接入既有流式管线：实测 4 段文本在 t=4.2s / 7.6s / 11.6s / 16.9s 依次产出，对比整 buffer 一次合成的 47s，端到端感知延迟降低一个数量级，且全程本地推理、无云端依赖、支持自定义克隆音色。</description></item><item><title>Qwen3.8-27B 本地实测：从 Opus4.6 对标到 4bit 量化的能力真相</title><link>https://blog.x7peeps.com/AI/03-Agent%E6%9E%B6%E6%9E%84%E4%B8%8E%E6%A1%86%E6%9E%B6%E7%94%9F%E6%80%81/Qwen3.8-27B%E6%9C%AC%E5%9C%B0%E5%AE%9E%E6%B5%8B%E4%BB%8EOpus4.6%E5%AF%B9%E6%A0%87%E5%88%B04bit%E9%87%8F%E5%8C%96%E7%9A%84%E8%83%BD%E5%8A%9B%E7%9C%9F%E7%9B%B8/index.html</link><pubDate>Thu, 20 Aug 2026 00:44:36 +0800</pubDate><guid>https://blog.x7peeps.com/AI/03-Agent%E6%9E%B6%E6%9E%84%E4%B8%8E%E6%A1%86%E6%9E%B6%E7%94%9F%E6%80%81/Qwen3.8-27B%E6%9C%AC%E5%9C%B0%E5%AE%9E%E6%B5%8B%E4%BB%8EOpus4.6%E5%AF%B9%E6%A0%87%E5%88%B04bit%E9%87%8F%E5%8C%96%E7%9A%84%E8%83%BD%E5%8A%9B%E7%9C%9F%E7%9B%B8/index.html</guid><description>Qwen3.8-27B 本地实测：从 Opus4.6 对标到 4bit 量化的能力真相 研究摘要 Qwen3.8-27B 是阿里 Qwen 开源家族的最新稠密模型，官方模型卡将其与闭源旗舰 Opus4.6 Max 放在同一张 Benchmark 表中对比，20 项指标中有 14 项反超、3 项接近、3 项落后。这个定位引发了社区热议：一个 27B 的开源稠密模型，真的能达到 Opus 级别的日常使用水平吗？更关键的是，当它被量化到 4bit、部署到一台苹果 M5 Max 笔记本上、再叠加 DFlash2 投机解码之后，实际能力还剩多少？</description></item><item><title>MLX 并行提速实录：macOS 本地 TTS 从 230 秒到 100 秒</title><link>https://blog.x7peeps.com/AI/06-AI%E5%B7%A5%E7%A8%8B%E5%8C%96/MLX%E5%B9%B6%E8%A1%8C%E6%8F%90%E9%80%9F%E5%AE%9E%E5%BD%95macOS%E6%9C%AC%E5%9C%B0TTS%E4%BB%8E230%E7%A7%92%E5%88%B0100%E7%A7%92/index.html</link><pubDate>Thu, 13 Aug 2026 12:16:44 +0800</pubDate><guid>https://blog.x7peeps.com/AI/06-AI%E5%B7%A5%E7%A8%8B%E5%8C%96/MLX%E5%B9%B6%E8%A1%8C%E6%8F%90%E9%80%9F%E5%AE%9E%E5%BD%95macOS%E6%9C%AC%E5%9C%B0TTS%E4%BB%8E230%E7%A7%92%E5%88%B0100%E7%A7%92/index.html</guid><description>MLX 并行提速实录：macOS 本地 TTS 从 230 秒到 100 秒 一句话结论：引入 Apple MLX 框架 + 4 进程池并行分块，在不替换模型、不牺牲音质的前提下，将本地 TTS 长文本生成从 230.7 秒降至 100.2 秒（RTF 1.25→0.53），短文本从 11.5 秒降至 7.5-8 秒，冷启动从 11 秒降至 1-2 秒。 核心发现是：MLX 单进程并不比调优后的 PyTorch 并行快，真正的提速来自「MLX GPU 推理 × 受控多进程并行」的组合；而并发失控（18 进程）会导致内存与 GPU 初始化风暴，必须使用进程池限流。</description></item><item><title>苹果官方实测：两台 Mac Studio 雷电直连，跑 816B 参数大模型</title><link>https://blog.x7peeps.com/AI/06-AI%E5%B7%A5%E7%A8%8B%E5%8C%96/%E8%8B%B9%E6%9E%9C%E5%AE%98%E6%96%B9%E5%AE%9E%E6%B5%8B%E4%B8%A4%E5%8F%B0Mac-Studio%E9%9B%B7%E7%94%B5%E7%9B%B4%E8%BF%9E%E8%B7%91816B%E5%A4%A7%E6%A8%A1%E5%9E%8B/index.html</link><pubDate>Fri, 16 Oct 2026 23:58:00 +0800</pubDate><guid>https://blog.x7peeps.com/AI/06-AI%E5%B7%A5%E7%A8%8B%E5%8C%96/%E8%8B%B9%E6%9E%9C%E5%AE%98%E6%96%B9%E5%AE%9E%E6%B5%8B%E4%B8%A4%E5%8F%B0Mac-Studio%E9%9B%B7%E7%94%B5%E7%9B%B4%E8%BF%9E%E8%B7%91816B%E5%A4%A7%E6%A8%A1%E5%9E%8B/index.html</guid><description>苹果官方实测：两台 Mac Studio 雷电线直连，跑 816B 参数大模型 2026 年 10 月 15 日，苹果机器学习研究团队发布了一篇实测报告，回答一个 Mac 用户关心了很久的问题：想在本地跑前沿开源大模型，Mac 到底行不行？答案是——单台 Mac Studio 已经能跑 128B 密集模型，两台 Mac Studio 用雷电线直连，能跑超过 800B 参数的 MoE 模型。这篇报告的数字全部来自官方用 mlx_lm.benchmark 实测，不是纸面推算。</description></item><item><title>Rapid-MLX 实测：框架提速是真的，MTP 推测解码是负的</title><link>https://blog.x7peeps.com/AI/06-AI%E5%B7%A5%E7%A8%8B%E5%8C%96/Rapid-MLX%E5%AE%9E%E6%B5%8B%E6%A1%86%E6%9E%B6%E6%8F%90%E9%80%9F%E6%98%AF%E7%9C%9F%E7%9A%84MTP%E6%8E%A8%E6%B5%8B%E8%A7%A3%E7%A0%81%E6%98%AF%E8%B4%9F%E7%9A%84/index.html</link><pubDate>Sun, 04 Oct 2026 22:30:00 +0800</pubDate><guid>https://blog.x7peeps.com/AI/06-AI%E5%B7%A5%E7%A8%8B%E5%8C%96/Rapid-MLX%E5%AE%9E%E6%B5%8B%E6%A1%86%E6%9E%B6%E6%8F%90%E9%80%9F%E6%98%AF%E7%9C%9F%E7%9A%84MTP%E6%8E%A8%E6%B5%8B%E8%A7%A3%E7%A0%81%E6%98%AF%E8%B4%9F%E7%9A%84/index.html</guid><description>Rapid-MLX 实测：框架提速是真的，MTP 推测解码是负的 一句话结论：框架本身对 Ollama 的提速成立（轻载最高 3.9 倍），但官方宣传排在最前面的 MTP 推测解码，在混合架构模型上实测吞吐反降三到四成——官方文档自己也承认这类场景「比关闭慢 20%」。这不是配置问题，是架构边界。</description></item><item><title>自主研究循环续跑 144 轮：97 连败与四个真实杠杆</title><link>https://blog.x7peeps.com/AI/10-%E6%A8%A1%E5%9E%8B%E8%AE%AD%E7%BB%83/Agent%E8%87%AA%E4%B8%BB%E7%A0%94%E7%A9%B6%E5%BE%AA%E7%8E%AF%E7%BB%AD%E8%B7%91144%E8%BD%AE97%E8%BF%9E%E8%B4%A5%E4%B8%8E%E5%9B%9B%E4%B8%AA%E7%9C%9F%E5%AE%9E%E6%9D%A0%E6%9D%86/index.html</link><pubDate>Sun, 04 Oct 2026 00:20:00 +0800</pubDate><guid>https://blog.x7peeps.com/AI/10-%E6%A8%A1%E5%9E%8B%E8%AE%AD%E7%BB%83/Agent%E8%87%AA%E4%B8%BB%E7%A0%94%E7%A9%B6%E5%BE%AA%E7%8E%AF%E7%BB%AD%E8%B7%91144%E8%BD%AE97%E8%BF%9E%E8%B4%A5%E4%B8%8E%E5%9B%9B%E4%B8%AA%E7%9C%9F%E5%AE%9E%E6%9D%A0%E6%9D%86/index.html</guid><description>自主研究循环续跑 144 轮：97 连败与四个真实杠杆 前一篇复盘写到 45 轮：那个编码 Agent 用五小时把一个小语言模型的验证集 bpb 从 2.036 压到 1.342，然后我按下了「暂停写作」，循环本身没有停。到第二天下午三点，results.tsv 已经积累到 189 行——续跑的 144 轮里只保留（keep）了 7 次，把最优值从 1.3418 磨到了 1.3173，而在最后一次保留之后，是长达 97 轮的连续失败。</description></item><item><title>让 Agent 自己跑研究循环：45 轮 Muon 调参实战复盘</title><link>https://blog.x7peeps.com/AI/10-%E6%A8%A1%E5%9E%8B%E8%AE%AD%E7%BB%83/Agent%E8%87%AA%E4%B8%BB%E7%A0%94%E7%A9%B6%E5%BE%AA%E7%8E%AF45%E8%BD%AEMuon%E8%B0%83%E5%8F%82%E5%AE%9E%E6%88%98/index.html</link><pubDate>Fri, 02 Oct 2026 22:00:00 +0800</pubDate><guid>https://blog.x7peeps.com/AI/10-%E6%A8%A1%E5%9E%8B%E8%AE%AD%E7%BB%83/Agent%E8%87%AA%E4%B8%BB%E7%A0%94%E7%A9%B6%E5%BE%AA%E7%8E%AF45%E8%BD%AEMuon%E8%B0%83%E5%8F%82%E5%AE%9E%E6%88%98/index.html</guid><description>让 Agent 自己跑研究循环：45 轮 Muon 调参实战复盘 傍晚六点半，我给一个编码 Agent 立了三条规矩：只准改训练脚本、每次训练五分钟、指标只看验证集 bpb。然后我离开了键盘。到晚上十一点半，这个 Agent 自己改了 45 版训练代码，把一个小语言模型的验证集 bpb 从 2.036 压到了 1.342——降幅 34%。整个过程里，人没有参与任何一次决策。</description></item><item><title>Qwen3.8-27B 量化损失实测与推理档位对照：8bit 只掉 1pt 的实证</title><link>https://blog.x7peeps.com/AI/06-AI%E5%B7%A5%E7%A8%8B%E5%8C%96/Qwen3.8-27B%E9%87%8F%E5%8C%96%E6%8D%9F%E5%A4%B1%E5%AE%9E%E6%B5%8B%E4%B8%8E%E6%8E%A8%E7%90%86%E6%A1%A3%E4%BD%8D%E5%AF%B9%E7%85%A78bit%E5%8F%AA%E6%8E%891pt%E7%9A%84%E5%AE%9E%E8%AF%81/index.html</link><pubDate>Thu, 27 Aug 2026 23:38:00 +0800</pubDate><guid>https://blog.x7peeps.com/AI/06-AI%E5%B7%A5%E7%A8%8B%E5%8C%96/Qwen3.8-27B%E9%87%8F%E5%8C%96%E6%8D%9F%E5%A4%B1%E5%AE%9E%E6%B5%8B%E4%B8%8E%E6%8E%A8%E7%90%86%E6%A1%A3%E4%BD%8D%E5%AF%B9%E7%85%A78bit%E5%8F%AA%E6%8E%891pt%E7%9A%84%E5%AE%9E%E8%AF%81/index.html</guid><description>Qwen3.8-27B 量化损失实测与推理档位对照：8bit 只掉 1pt 的实证 导读：这篇文章不是推荐某个模型，而是回答本地部署者最纠结的两个问题：量化到底损失多少？推理档位到底怎么选？在 Mac（M5 Max 128GB）上把 Qwen3.8-27B 用 8bit MLX + DFlash2 投机解码部署好之后，我用 2901 + 164 + 53 + 30 题的完整评测集做了 2×2 控制变量实验（量化档位 × 推理档位），得到一个反直觉的结论：8bit 相对 4bit 在 MMLU 上只损失约 1 个百分点，远低于社区流传的 10-15pt；而推理档位的影响反而比量化大得多——选择题场景下"想得越多越错"。</description></item><item><title>Qwen3.8-Flash-Next 本地部署评估：360B 级 MoE 模型的路线选择</title><link>https://blog.x7peeps.com/AI/06-AI%E5%B7%A5%E7%A8%8B%E5%8C%96/Qwen3.8-Flash-Next%E6%9C%AC%E5%9C%B0%E9%83%A8%E7%BD%B2%E8%AF%84%E4%BC%B0360B%E7%BA%A7MoE%E6%A8%A1%E5%9E%8B%E7%9A%84%E8%B7%AF%E7%BA%BF%E9%80%89%E6%8B%A9/index.html</link><pubDate>Thu, 27 Aug 2026 11:30:00 +0800</pubDate><guid>https://blog.x7peeps.com/AI/06-AI%E5%B7%A5%E7%A8%8B%E5%8C%96/Qwen3.8-Flash-Next%E6%9C%AC%E5%9C%B0%E9%83%A8%E7%BD%B2%E8%AF%84%E4%BC%B0360B%E7%BA%A7MoE%E6%A8%A1%E5%9E%8B%E7%9A%84%E8%B7%AF%E7%BA%BF%E9%80%89%E6%8B%A9/index.html</guid><description>导读 导读：如果说传统大模型是一辆装满全部零件上路的大卡车，那 MoE 模型就像是一辆"货架摆满 360 个备件、但每次只挑 6 个上车跑"的轻卡——你以为它在偷懒，其实它在优化。Qwen3.8-Flash-Next（360GB BF16 / 6B 激活 / 1M context，2026 年 8 月发布）就是这台"轻卡"在 Mac 本地圈的初次登场，本文记录它在 M5 Max 128GB UMA 上的路线评估：今天四条主流路线都因 qwen4_exp 架构支持未到位而跑不通，“1-14 天窗口内有可跑路径"是基于 Qwen 历史新架构发布后社区量化版平均节奏的估算，实际可能更短也可能拉长到一个月——这个时间窗口本身有不确定性，文章会讲清依据和例外条件。</description></item></channel></rss>