Kasa的AI博客分享

大模型、智能体与自托管：手记与折腾

最近的文章

• 125B 的 MoE 在我机器上反而比 27B 快三倍 2026-10-07

  本以为是 27B 稠密的升级实验，结果 125B MoE 跑出了 141 tok/s——顺便讲清楚 MoE 为什么快、以及它的代价。

• 把 Qwen3.8-27B 跑在自己机器上：部署方案与社区量化生态踩坑记 2026-10-07

  2×RTX 3090 上的长期实战：vLLM 和 llama.cpp 各适合什么，GSQ、Bonsai 这些社区量化到底哪个能信。文末有全部参考链接。

• 自己写个模型路由器：一台机器上管好八套部署 2026-10-07

  vLLM 和 llama.cpp、八种上下文/并发组合、不同的显存排他方式——手写一个几百行的 Python 路由器把它们全管起来，附四个实战教训。