DeepSeek R1全参数模型一个可能的本地部署方案

leekai

我去年春节也攒了台x99 双路e5v4+256+2080魔改22g*2，硬盘因为以前装nas不用买，后来淘了Dell730 HP z440，用下来感觉单路CPU更合适。期间装了N多大模型，现在只剩ragflow+qwen 3.5 ，35b做map，27b做reduce，都刚好可以单卡运行。前两天刚跟风试了turboquant，效果挺好。今天发现qwen 3.6发布，并且有UD IQ4量化，正在下载准备试试。
- C* K% `+ D4 v& o. |2 s- a- `9 q现在有更好的选择，IBM AC922，六块v100 16g准系统闲鱼上报5800元。