<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom"><channel><title>Ollama :: 标签 :: x7peeps</title><link>https://blog.x7peeps.com/tags/Ollama/index.html</link><description/><generator>Hugo</generator><language>zh-CN</language><lastBuildDate>Mon, 19 Oct 2026 00:30:00 +0800</lastBuildDate><atom:link href="https://blog.x7peeps.com/tags/Ollama/index.xml" rel="self" type="application/rss+xml"/><item><title>补充Ollama本地兜底特性的研究</title><link>https://blog.x7peeps.com/%E5%BC%80%E6%BA%90%E9%A1%B9%E7%9B%AE/hermes%E6%96%B0%E7%89%B9%E6%80%A7/%E8%A1%A5%E5%85%85Ollama%E6%9C%AC%E5%9C%B0%E5%85%9C%E5%BA%95%E7%89%B9%E6%80%A7%E7%9A%84%E7%A0%94%E7%A9%B6/index.html</link><pubDate>Mon, 17 Aug 2026 10:34:57 +0800</pubDate><guid>https://blog.x7peeps.com/%E5%BC%80%E6%BA%90%E9%A1%B9%E7%9B%AE/hermes%E6%96%B0%E7%89%B9%E6%80%A7/%E8%A1%A5%E5%85%85Ollama%E6%9C%AC%E5%9C%B0%E5%85%9C%E5%BA%95%E7%89%B9%E6%80%A7%E7%9A%84%E7%A0%94%E7%A9%B6/index.html</guid><description>PR 地址：NousResearch/hermes-agent#45005 · 全部远程 provider 失效时回退到本地 Ollama 模型
研究摘要 Hermes 的 provider 体系依赖云端 API，配置了多级 fallback 之后，单点故障被消化在链路里；但当整条 fallback 链耗尽——限流、账单耗尽、API 不可达同时发生——会话只能以失败收场。本研究向 Hermes 上游补充了 Ollama 本地兜底：远端全部失败时，自动发现本机 Ollama 服务，必要时自动拉取一个轻量模型，把对话切换到本地继续运行。新增三个模块：ollama_discovery.py（定位 ollama 二进制、/api/tags 健康检查、自动启动 serve）、model_puller.py（NDJSON 流式拉取模型）、local_fallback.py（编排器：配置 → 找二进制 → 健康检查 → 列模型 → 拉取 → 切换）；conversation_loop.py 的 6 个退出点统一路由到本地兜底。改动规模 +603/-8，涉及 13 个文件。</description></item><item><title>买显卡前先跑一遍：llmspeed 把本地推理速度做成可分享预估，我们补了一组实机数据</title><link>https://blog.x7peeps.com/AI/06-AI%E5%B7%A5%E7%A8%8B%E5%8C%96/%E4%B9%B0%E6%98%BE%E5%8D%A1%E5%89%8D%E5%85%88%E8%B7%91%E4%B8%80%E9%81%8Dllmspeed-%E6%8A%8A%E6%9C%AC%E5%9C%B0%E6%8E%A8%E7%90%86%E9%80%9F%E5%BA%A6%E5%81%9A%E6%88%90%E5%8F%AF%E5%88%86%E4%BA%AB%E9%A2%84%E4%BC%B0%E6%88%91%E4%BB%AC%E8%A1%A5%E4%BA%86%E4%B8%80%E7%BB%84%E5%AE%9E%E6%9C%BA%E6%95%B0%E6%8D%AE/index.html</link><pubDate>Mon, 19 Oct 2026 00:30:00 +0800</pubDate><guid>https://blog.x7peeps.com/AI/06-AI%E5%B7%A5%E7%A8%8B%E5%8C%96/%E4%B9%B0%E6%98%BE%E5%8D%A1%E5%89%8D%E5%85%88%E8%B7%91%E4%B8%80%E9%81%8Dllmspeed-%E6%8A%8A%E6%9C%AC%E5%9C%B0%E6%8E%A8%E7%90%86%E9%80%9F%E5%BA%A6%E5%81%9A%E6%88%90%E5%8F%AF%E5%88%86%E4%BA%AB%E9%A2%84%E4%BC%B0%E6%88%91%E4%BB%AC%E8%A1%A5%E4%BA%86%E4%B8%80%E7%BB%84%E5%AE%9E%E6%9C%BA%E6%95%B0%E6%8D%AE/index.html</guid><description>本地跑大模型的第一个问题从来不是"哪个模型最强"，而是"我这台机器上它每秒能吐几个字、装不装得下"。过去回答它只有两条路：买回来实测，或者翻 reddit 上的零散跑分。10 月 17-18 日 Hacker News 的 Show HN 头条 llmspeed（llmspeed.dev）想当第三条路：选一块硬件、选一个模型和量化档位，网页直接把生成"流"给你看——按预估的 tok/s 逐字出现，首 token 前还有符合该配置的等待时间；两列并排还能跑竞速模式，比如 5090 对 Mac Studio。README 里的示例够挑衅：“RTX 5090 vs Mac Studio M5 Ultra 512GB on GLM-5.3 Flash (Q8). The 5090 can’t load it.”</description></item><item><title>本地LLM延迟优化实录：缓存会撒谎，慢的从来不是推理</title><link>https://blog.x7peeps.com/AI/06-AI%E5%B7%A5%E7%A8%8B%E5%8C%96/%E6%9C%AC%E5%9C%B0LLM%E5%BB%B6%E8%BF%9F%E4%BC%98%E5%8C%96%E5%AE%9E%E5%BD%95%E7%BC%93%E5%AD%98%E4%BC%9A%E6%92%92%E8%B0%8E%E6%85%A2%E7%9A%84%E4%BB%8E%E6%9D%A5%E4%B8%8D%E6%98%AF%E6%8E%A8%E7%90%86/index.html</link><pubDate>Thu, 24 Sep 2026 23:50:00 +0800</pubDate><guid>https://blog.x7peeps.com/AI/06-AI%E5%B7%A5%E7%A8%8B%E5%8C%96/%E6%9C%AC%E5%9C%B0LLM%E5%BB%B6%E8%BF%9F%E4%BC%98%E5%8C%96%E5%AE%9E%E5%BD%95%E7%BC%93%E5%AD%98%E4%BC%9A%E6%92%92%E8%B0%8E%E6%85%A2%E7%9A%84%E4%BB%8E%E6%9D%A5%E4%B8%8D%E6%98%AF%E6%8E%A8%E7%90%86/index.html</guid><description>本地 LLM 延迟优化实录：缓存会撒谎，慢的从来不是推理 一句话结论：**本地推理链路的两个"慢"，都不是模型慢。**一个是任务路由场景下前缀缓存"看起来没生效"——官方指标 prompt_eval_count 每次都报全量 token，但墙钟从 8.94s 收敛到 0.39s，指标在撒谎；另一个是语音助手首句要等 13-15 秒——根因是 23GB 模型闲置超时被卸载后的冷加载，热态下大模型首 token 只要 0.07s。修复都不换模型：把变量后置让前缀逐字节命中，用流式首句即播 + 常驻保活把可听延迟压到 2 秒。</description></item></channel></rss>