分享

旧台式机机箱内装有 2 块 V100 PCIe

dyv9iekave2i1.webp

o34w32pave2i1.webp

你们那些花哨的 3D 打印导风罩都弱爆了,看看我这套方案:一个风扇 + 3 根线,搞定!/s

我翻出了一台旧台式机(微星 Z370 主板 + i7-8700K 处理器),正好手头还有 32GB 内存,就顺手用上了。

注意,这里的整体气流方向是反向的,即从后向前流动。

目前在运行 Strata-V100,配合 Unsloth Qwen 3.8B 模型(量化版本 IQ4_XS,支持 256k 上下文长度);即便是在 PCIe x8 插槽下,解码速度也能达到 130 t/s,预填充(prefill)速度更是高达 1500 t/s。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则