⚡ 8G 到 12G 显存党的终极解法！19B 甜点尺寸 MoE 实测，把 35B 的速度拉爆 2.6 倍。
手头有 RTX 3080 10G、3060 12G 或 4070 的同学，本地跑模型常年陷入尴尬：
- 跑 9B 小模型，显存剩一堆，但智商上限明显不够看；
- 跑 35B 级别大 MoE，显存又塞不下，大量网络层只能硬甩给 CPU，速度当场暴跌到十几 tok/s。
评测博主
@PaulGug
在单张 RTX 3080 10G 上实测了全新甜点模型 Groot 19B A3B（基于 Qwen3.6-35B-A3B 剪枝精调），对决顶流 35B 选手 MiniCPM-V 4.7：
1️⃣ 质量媲美 35B，智商不降级：
在 51.2K 上下文任务中，开启思考模式的 Groot 19B 轰出 269/300 分，紧咬 35B 的 273 分！用 19B 的身躯硬生生打出了 35B 大模型的输出水准。
2️⃣ 长上下文速度直接翻 2.6 倍：
- 在 51K 上下文时：Groot 狂飙 52 tok/s，而 35B 只有可怜的 20 tok/s；
- 在 128K 超长上下文时：Groot 依然稳在 42.5 tok/s，35B 却掉到了 17 tok/s。
- 根本原因：35B 遇到长文本显存吃紧，只能把更多层推给 CPU 慢慢磨；而 19B 显存充裕，全程跑在显卡高速通道里。
💡 选型总结与获得感：
显存只有 8G~12G 的中端卡，别再头铁硬塞 35B 了。选一个带有激活机制的 19B 甜点级 MoE 才是当前最聪明的解法——不仅拥有接近 35B 的严谨逻辑，还能换来翻倍的丝滑吐字速度与 128K 超长上下文空间。
📎 评测数据来自
@PaulGug
权重直达：https://huggingface.co/GrootTeam/Groot-19B-A3B-261023
|
|
