DeepSeek R1全参数模型一个可能的本地部署方案

沉宝

大黑蚊子 发表于 2025-2-21 14:10
' Z" d1 F. h% d1 f+ a7 e! k$ V. \我建议你再看一下KTransformers的相关资料
0 N, Y" F) f) U- K这个玩意儿的本质是在低并发（甚至是单并发）的情况下，高度依 ...

欢迎讨论。

首先，个人以为KTransformers的最核心最精华的是抓住了DeepSeek模型参数的稀疏性。DeepSeek是基于MoE的，回答某一个具体问题时只有部分参数高度活跃。KTransformers可以动态调度，把这部分高强度计算交给GPU（好钢用在刀刃上），剩下的则由CPU完成。所以CPU部分对系统整体性能的影响不如GPU大。作为佐证，上一帖我提到了章明星团队在几次版本迭代更新之后才把amx加速添加上去。

CPU/DRAM带宽对系统性能的影响不是简单线性的。老实说，我没有咱们现在讨论的这样大的系统的实际经验。我只能根据在台式机上看到的现象做一些外推。Intel的12代和13代同时支持DDR4和DDR5，DDR5内存下整体成绩要比DDR4好一些，不过差距并不大。至于到显卡的带宽，我也可以说一点。我们知道目前大部分显卡的插座都是PCIe×16。外置显卡时，因为各种原因往往不做16路通道，比方说仅仅实现了8位通道。那么这个PCIe×8的显卡游戏性能下降多少呢？绝对在30%以内，常常也就10-20%。
- i- O, z" e. g& F3 B0 H
以上这些是我没有简单照搬章明星团队的配置，而为省钱做了一些变更的原因。