设为首页收藏本站
开启辅助访问 切换到宽版

爱吱声

 找回密码
 注册
搜索
爱吱声»广场 › 研究生院 › 科教学圃 › DeepSeek R1全参数模型一个可能的本地部署方案 ...
12下一页
返回列表 发新帖
查看: 6211|回复: 40
打印 上一主题 下一主题

[信息技术] DeepSeek R1全参数模型一个可能的本地部署方案

[复制链接]
沉宝

该用户从未签到
跳转到指定楼层
楼主
 楼主| 发表于 2025-2-20 15:41:10 | 只看该作者 |只看大图 回帖奖励 |倒序浏览 |阅读模式
DeepSeek一夜爆火，现在联网服务拥堵不堪。当晨老大号召自建farm的时候，本人开始认真考虑本地部署。 KTransfomer的报道也在第一时间见到，并设想了一个以此为基础的装机方案。然后呢，就“铲后抑郁”了。如今很多内容都在网友[大黑蚊子]的记录（链接）中讨论过了，但具体的装机方案大概还有一些价值，还是写出来吧。
; j- d+ n) N* c' w, b( ~4 Z( |; |8 A. `
DeepSeek R1原版是一个参数量高达671B的大模型，虽然比之其它頂尖的人工智能模型在硬件要求上已经大大降低，但个人部署全尺寸模型，依然难度不小。为了便于在低端硬件上运行，出现了一系列蒸馏版减少参数量（以 Qwen2.5 或 Llama 为构架，参数范围从 1.5B、7B、8B、14B、32B 到 70B）。另一个思路是参数量化，例如1.58bit和4bit。一般来说，LLM训练时使用高精度（例如 32位浮点数），而推理时使用低精度（16位浮点数或者更低）即可。1.58bit是把这一趋势推到极端（只有0、1和-1三种状态）。有人试验了DeepSeek全尺寸模型的1.58bit的量化版，结论基本可用，有时候说话可能有点“冲”，圆润平衡上差一些。4bit版效果已经相当好了。至于[xiejin77]担忧的量化影响反馈精度或者稳定性，理论上有可能，但实际影响需要大量的对比实验加以证实或者证伪。
) s8 e, w+ L( K7 u+ _
7 g" `1 E% N- R5 q1 E2 j% L# v0 Z下面讨论具体装机方案。首先定一下目标。目标用户：个人或者小团体。鉴于这个模型现在典型的应用场景都是文字的输入和输出，跨网络合用的难度并不大（因为不需要占据太多的网络带宽）。单机，预算定位$5000左右。应该属于一个人咬咬牙能冲得上去，小范围集资（10人以内的那种）能够轻易支付。目标性能：DeepSeek R1全尺寸671B的4bit量化版，输出速度与人的阅读速度差不多即可（个人使用，太快了没有必要），约 5-10 tokens/s。这样的预算，这样的目标，显然需要KTransfomer技术加成才有可能达到。饶是如此，也得按市场最低价加DIY省着来。% M: z: E( |7 @2 p  J

# x6 `3 |) l7 n" h" r0 R: U( y第一步：内存的大小。将模型的参数全部放入内存是必须的。如果还用硬盘空间扩展出来的虚拟内存，那速度肯定慢的不行。DeepSeek参数精度16bit（BF16）时需要 1342GB的存储空间，4bit量化版所需空间为其¼，再加上程序和操作系统所需，512GB应该可以了。这么大的内存，普通PC机主板肯定不行，要上服务器的。鉴于当前DDR4的内存条比 DDR5还是要便宜不少，所以选择DDR4。
) H6 q, }. O4 B% Z9 z4 J, ?% t
8 V/ b2 k! R/ ~9 a. _( j- w: s第二：CPU和主板。CPU我选AMD Zen3架构（ Zen3是DDR4的最后一代）的服务器芯片EPYC 7C13, 64 core 128 threads, 市场价仅$700+。它与正式发布的7713结构一致，频率略低，有人怀疑类似于Intel的 ES（工程样品）。主板支持Milan的SP3主板即可。唯一要注意的是内存插槽数，根据DDR4单条内存的容量大小，要能够插出512GB来。
* P* [: B( v9 O& ?* V0 l# d( {( `6 g: D( Y
  b8 y5 m/ ^3 A$ ]6 I9 B
第三：显卡。双3090或者单4090。4090不好买，用两块3090大致能抵上一块4090。% m2 Z- m& C7 V' ]/ `& A! a
( `: p# I  p6 w
第四：硬盘。这个要求真不高，如果机器仅仅是为了跑DeepSeek，一个4 TB; c  Y8 q. e! ^9 e2 q
（或者两个2 TB）的nvme就够用了。（想当初我在爱坛上发记录推荐固态盘时，一块4TB的才$150）$ f' |, I9 {8 @# R& S
; o* |8 s7 H$ W" q* P5 z& ?. f5 u0 p! ]
其它：说3点。1)普通PC机箱。2)散热避免使用服务器的暴力风扇（ PC机箱也缺乏服务器的风道结构）。如果散热量大，考虑用水冷。3)如果单台大功率电源太贵，可以用两台小的给主板和显卡分别供电。如此需要双电源同步启动板或者同步线，但那东西淘宝上也就人民币10块钱。
: \: A/ j9 @' Y) i% ?; c$ }8 \- b# M& r% Q0 ]3 x) z4 ]# z8 P
最后汇总一下。数字为能够淘到的大致美元价，可以接受二手货，+、-表示向上下浮动不超过15%
; c% }* A0 ~% g% Y  L) Q  k& n4 N0 x/ P7 x* G; p0 n
RAM 512GB DDR4       1000+
# Y$ g/ d% j0 A  N. s8 XCPU 7C13或相当           700+
4 Z7 v, Q' @6 h% B; ]主板（单路即可）         500& J3 u, o1 o3 D. b7 W) B
显卡 3090                  1000- ×2
! x: V" Z+ F' \( @2 X" J& t固态硬盘                     200+3 r$ t0 Y+ Y  V) a2 P; L0 h6 _
其它 机箱、电源、散热器等& J2 B0 E& b2 z9 ?" q: Y, }( ]
1 }9 ^# {/ r) z. J3 @

评分

参与人数 8爱元 +70 学识 +2 收起 理由
helloworld + 10
xiejin77 + 6 给力
mezhan + 10 伙呆了
晨枫 + 10 谢谢！有你，爱坛更精彩
老票 + 2 涨姿势

查看全部评分

回复

使用道具 举报

大黑蚊子
  • TA的每日心情
    擦汗
    2026-3-17 22:01

    • 签到天数: 1133 天

    [LV.10]大乘
    沙发
    发表于 2025-2-20 16:27:51 | 只看该作者
    本帖最后由 大黑蚊子 于 2025-2-20 21:55 编辑 $ |, K$ r+ q6 t. a; n7 `4 j" W. C

    3 n% t) A6 J1 k, d& t4 e5 S说实话我也在琢磨这个玩意儿，几万块钱搞一个这个玩玩，在AI新浪潮初期真的算是一个比较高性价比的学习途径了
    ) W; B3 W. F& P8 ], c/ P在硬件选型上面我倒是有点儿不同意见，鉴于章明星他们在0.3版里使用amx指令集加速，那么支持amx的Intel至强可扩展CPU应该是要好于AMD的EYPC的，具体来说现在Intel最新款是6代至强，退而求其次选择四代或者五代至强应该也满足要求。章明星团队他们的硬件好像也是双路Xeon 6430' w0 ~7 e  U. x/ `( d
    但是这个成本可能要比你说的EPYC要高不少，但总的来说应该还在可承受的范围之内# w7 s5 {" o- X1 n
    显卡的双路配置好像不是特别必须的，主要是4bit量化版需要14g显存，所以如果有一块3090先用着应该问题也不会太大，实在不行多买一块也可以
    . l7 C/ G( a5 H- Y6 ]& D' v# @2 j
      Z1 m6 u% z* \# o6 R周末去华强北转转去，看看二手服务器有啥准系统能够直接上手的
    回复 支持 反对

    使用道具 举报

    马鹿
  • TA的每日心情
    开心
    8 小时前

    • 签到天数: 3746 天

    [LV.Master]无

    板凳
    发表于 2025-2-20 21:42:48 | 只看该作者
    我看到了国内AI的商机。。。 攒小配置的AI模型！
    回复 支持 反对

    使用道具 举报

    马鹿
  • TA的每日心情
    开心
    8 小时前

    • 签到天数: 3746 天

    [LV.Master]无

    地板
    发表于 2025-2-20 21:43:58 | 只看该作者
    关于方案， 我直接问过deepseek。。。
    回复 支持 反对

    使用道具 举报

    马鹿
  • TA的每日心情
    开心
    8 小时前

    • 签到天数: 3746 天

    [LV.Master]无

    5#
    发表于 2025-2-20 21:45:02 | 只看该作者
    大黑蚊子 发表于 2025-2-20 03:27
    2 |  Q- _. t+ m/ p; H: d! B说实话我也在琢磨这个玩意儿，几万块钱搞一个这个玩玩，在AI新浪潮初期真的算是一个比较高性价比的学习途径 ...

    7 |& v% V7 k+ g7 p真心羡慕国内了。。。我90年代自己攒过打游戏的计算机。。。
    回复 支持 反对

    使用道具 举报

    testjhy
  • TA的每日心情
    擦汗
    1 小时前

    • 签到天数: 3214 天

    [LV.Master]无

    6#
    发表于 2025-2-20 22:50:55 | 只看该作者
    马鹿 发表于 2025-2-20 21:45" s5 r- O/ @( G6 K
    真心羡慕国内了。。。我90年代自己攒过打游戏的计算机。。。
    7 Z. x7 v1 C2 A" O" |  F5 o- k
    社长，美国不是与国内PC价格差不多吗？也仿照沉宝蚊行攒一台呗，
    回复 支持 反对

    使用道具 举报

    马鹿
  • TA的每日心情
    开心
    8 小时前

    • 签到天数: 3746 天

    [LV.Master]无

    7#
    发表于 2025-2-20 23:19:51 | 只看该作者
    testjhy 发表于 2025-2-20 09:50' O2 t. [: Z4 W# S
    社长，美国不是与国内PC价格差不多吗？也仿照沉宝蚊行攒一台呗，
    + R5 N& |% W$ I# ?" |% t$ h6 l3 i! _
    攒了以后干啥呢？
    回复 支持 反对

    使用道具 举报

    testjhy
  • TA的每日心情
    擦汗
    1 小时前

    • 签到天数: 3214 天

    [LV.Master]无

    8#
    发表于 2025-2-20 23:32:15 | 只看该作者
    本帖最后由 testjhy 于 2025-2-20 23:41 编辑 6 o6 N: b' }- t( I

    # N* Y" h9 Q3 M7 N* r( s: T) H, }- h. }/ `5 {
    这是大华股份根据国产芯片的一体机，估计是华为提供的方案供各家贴牌
    回复 支持 反对

    使用道具 举报

    大黑蚊子
  • TA的每日心情
    擦汗
    2026-3-17 22:01

    • 签到天数: 1133 天

    [LV.10]大乘
    9#
    发表于 2025-2-20 23:38:22 | 只看该作者
    testjhy 发表于 2025-2-20 23:32
    - x" w$ p0 L2 `8 e这是大华股份根据国产芯片的一体机，
    5 F/ p2 |3 G# ]* i* n
    大华的这个配置没啥意义，你看跑的都是蒸馏版的7B/14B/32B模型* b+ @9 C9 b4 P
    我在自家电脑上搞了一个7B的模型试了下，真的是不太行
    - z8 Z3 q0 s1 b, i% U1 O* {我估计32B和70B也都不太行& o' U& r8 X5 K, z
    这个帖子里讨论的应该是直接上手671B的满血量化版，1.58或者4bit版本，这个据多个信源反馈效果挺好的, }" Y4 x+ q) y

    / r3 d. M9 \2 P# b: G( z% c1 W) ?% K, A1 a) y
    不过这个单子我倒是可以拿着去嘲笑下大华的朋友“你们钻钱眼里了？搞这个文字游戏骗钱”
    回复 支持 反对

    使用道具 举报

    testjhy
  • TA的每日心情
    擦汗
    1 小时前

    • 签到天数: 3214 天

    [LV.Master]无

    10#
    发表于 2025-2-20 23:42:39 | 只看该作者
    马鹿 发表于 2025-2-20 23:19/ R( f1 l# ~5 j! }5 E3 c
    攒了以后干啥呢？

    5 i# g( C; G# o$ c想干啥就干啥，吃喝玩乐，
    回复 支持 反对

    使用道具 举报

    testjhy
  • TA的每日心情
    擦汗
    1 小时前

    • 签到天数: 3214 天

    [LV.Master]无

    11#
    发表于 2025-2-20 23:45:01 | 只看该作者
    大黑蚊子 发表于 2025-2-20 23:38
    5 W+ k( ^5 @+ K" D0 L3 u6 O' v大华的这个配置没啥意义，你看跑的都是蒸馏版的7B/14B/32B模型/ o$ ~" k/ n+ W0 n, f+ z, _0 T
    我在自家电脑上搞了一个7B的模型试了下， ...

    ' [% j3 Z1 U* ^找了一个非剪裁图，看了一个新闻，华为提供方案，有60多家企业响应，大华可能是比较快的，找不到价格，
    回复 支持 反对

    使用道具 举报

    大黑蚊子
  • TA的每日心情
    擦汗
    2026-3-17 22:01

    • 签到天数: 1133 天

    [LV.10]大乘
    12#
    发表于 2025-2-20 23:53:32 | 只看该作者
    testjhy 发表于 2025-2-20 23:45, a8 w8 N/ Q8 I1 e/ {
    找了一个非剪裁图，看了一个新闻，华为提供方案，有60多家企业响应，大华可能是比较快的，找不到价格，{: ...
    $ _3 l8 t2 N4 T" i
    我要是鼓捣这玩意儿，肯定是找二手硬件啥的，全新设备的价格那还是相当辣手的
    2 ~% u, n8 W- o4 r0 p4 p/ Z打听了一下Intel的至强4代CPU，现在全球缺货，嘿嘿+ x0 x* ~' E; t3 H
    去华强北看看有没有QS版本，可能一块就要6000人民币至少
    回复 支持 反对

    使用道具 举报

    马鹿
  • TA的每日心情
    开心
    8 小时前

    • 签到天数: 3746 天

    [LV.Master]无

    13#
    发表于 2025-2-20 23:53:57 | 只看该作者
    大黑蚊子 发表于 2025-2-20 10:38
    ( o; X5 y( m8 I& n0 t大华的这个配置没啥意义，你看跑的都是蒸馏版的7B/14B/32B模型- r8 @; z* M1 O7 _" c* L) R
    我在自家电脑上搞了一个7B的模型试了下， ...
      o3 e2 f* N1 t  b% Z. i
    好奇你攒个模型做啥？
    回复 支持 反对

    使用道具 举报

    大黑蚊子
  • TA的每日心情
    擦汗
    2026-3-17 22:01

    • 签到天数: 1133 天

    [LV.10]大乘
    14#
    发表于 2025-2-21 00:03:40 | 只看该作者
    马鹿 发表于 2025-2-20 23:53# K" L& t" c# K. f4 h" E3 a
    好奇你攒个模型做啥？
    5 l- W# y  X  m& j. p$ `  R  D

    % h8 O, t5 W& p8 t& v# C: s玩啊，好奇啊，这很可能是通向新世界的大门
    2 [. N4 M/ w. K( ]有这个条件的话，干嘛不玩？
    8 `4 P0 ^2 a/ Q: R% l# I4 b" K( q
    * m  A. x( C- l+ J现在大部分人还在懵逼状态中，只是知道个大模型的东西，具体怎么搭，个人知识库怎么建，私有服务怎么处理...好玩的需求多着呢
    9 V: j( h' ~( p1 ^
    " `/ c4 k$ O4 NDeepSeek的出现，极大降低了大模型训练和部署的总体成本
    * ?; X7 |& D0 v1 u$ a8 Y& _KTransformer架构的出现，打响了极大降低大模型部署和私有知识库服务的硬件成本的第一枪* ]# u, V/ t( }5 T; S' P7 F7 }

    " x  v4 w9 }6 r2 O这种能够降低90%成本的新技术出现，大概率后面会蕴藏着10亿级别的新的相关应用和服务空间
    # q7 k2 Y2 b8 V5 n玩的过程中也可以吸收很多其他的知识，认识其他稀奇古怪的人，包赚的啊
    回复 支持 反对

    使用道具 举报

    沉宝

    该用户从未签到
    15#
     楼主| 发表于 2025-2-21 00:16:41 | 只看该作者
    大黑蚊子 发表于 2025-2-20 16:27" |8 d; g7 f! g. h5 z0 Z
    说实话我也在琢磨这个玩意儿，几万块钱搞一个这个玩玩，在AI新浪潮初期真的算是一个比较高性价比的学习途径 ...
    ' n) ], h- b7 w1 f: a
    这取决于对问题的理解和取舍。首先在大模型计算中，GPU的能力远远强于CPU，即使那个CPU有amx指令加速。所以在预算有限的前提下，应该尽量省下钱来加强GPU。当然如果实测一块3090够用了，那更好。- u9 T; n; X. E  Y

    ; h' s- K& A( W7 n& s) M; ~8 c2 d对比EPYC与Xeon 6530方案。Xeon 6530 2023年底发布，还比较新，主板加CPU的折扣有限。而EPYC Milan则要旧得多，有大批从数据中心退下来的二手货可选。即便有amx加成，但架不住7713的核多，单挑的话还是应该7713赢。而双路7713的话只不过比我的原方案多一颗U的钱，其它几乎不用改。个人认为CPU的第一位作用是保障参数全部装载在内存，计算加速还在其次。章明星团队的努力是充分挖掘手头现有硬件的全部潜力，amx加速是新版才加上去的，可见并非重中之重。
    回复 支持 反对

    使用道具 举报

    pcb
  • TA的每日心情
    开心
    7 小时前

    • 签到天数: 3420 天

    [LV.Master]无

    16#
    发表于 2025-2-21 01:42:15 | 只看该作者
    大黑蚊子 发表于 2025-2-20 23:53
    7 v# n# W8 y$ t/ T我要是鼓捣这玩意儿，肯定是找二手硬件啥的，全新设备的价格那还是相当辣手的: A  j2 q) d9 I- y/ \" r
    打听了一下Intel的至强4代C ...
    6 P, b$ ?' [( H- g$ }* [. \6 _4 c
    "至强" 是 Xeon？

    点评

    大黑蚊子
    对  发表于 2025-2-21 09:00
    回复 支持 反对

    使用道具 举报

    马鹿
  • TA的每日心情
    开心
    8 小时前

    • 签到天数: 3746 天

    [LV.Master]无

    17#
    发表于 2025-2-21 02:29:03 | 只看该作者
    大黑蚊子 发表于 2025-2-20 11:03
    ' a' q& i( G: |7 ?0 @! U* o玩啊，好奇啊，这很可能是通向新世界的大门
    . f5 J  T* n% p# N有这个条件的话，干嘛不玩？

    , Y  W5 U) q+ h- `2 X# l6 W握手， 我也是，就是好奇。 也同样认为这是通向新时代的大门。
    回复 支持 反对

    使用道具 举报

    xut6688

    该用户从未签到
    18#
    发表于 2025-2-21 05:30:57 | 只看该作者
    在本地部署满血版的DeepSeek R1, 性价比太低了，还不如用各个云厂商的API。 自己学习，玩一玩用云API就好。至于本地部署的蒸馏R1，我试过各个版本包括70B的，效果都不好，和原版差太远。我自己玩着用本地部署的模型做了一个RAG应用，最后发现蒸馏R1还不如原版的QWen2.5 32B。
    回复 支持 反对

    使用道具 举报

    大黑蚊子
  • TA的每日心情
    擦汗
    2026-3-17 22:01

    • 签到天数: 1133 天

    [LV.10]大乘
    19#
    发表于 2025-2-21 09:06:46 | 只看该作者
    xut6688 发表于 2025-2-21 05:30% c5 s4 r3 `; _* x
    在本地部署满血版的DeepSeek R1, 性价比太低了，还不如用各个云厂商的API。 自己学习，玩一玩用云API就好。 ...
    + z: h. f2 F6 O8 ^( x
    所以为啥盯着671B的版本呢，就是这个原因，其他版本的性价比其实都不好。
    - X8 w( b  g( _( ?2 C) Z
    0 @( n0 N0 }3 y! L6 W/ n" r3 v目前有海量的本地部署满血版DeepSeek的需求，因为太多的数据受商业或者法规的限制不能上网，这个部署的整体过程是有很大市场需求的。
    / j& a# c9 f3 R
    4 A% F+ S$ Z' j: j" q' ?DS和KT的诞生，不是拉低了对算力的需求，而是通过降低成本做大了整体算力需求。
    * F; i2 d/ Y. ]4 i
    . r1 C+ r: M5 _& n* `而且部署过程中的调优和配参，踩过的坑，以及反复琢磨和资料学习的成果都是自己的。
    ! r  p- ?7 n+ q% M- Q9 n4 |7 M" C* N2 b/ w  F
    再说了，都是二手硬件，搭完之后上闲鱼卖掉，亏不了多少钱

    评分

    参与人数 1爱元 +4 收起 理由
    唐家山 + 4

    查看全部评分

    回复 支持 反对

    使用道具 举报

    大黑蚊子
  • TA的每日心情
    擦汗
    2026-3-17 22:01

    • 签到天数: 1133 天

    [LV.10]大乘
    20#
    发表于 2025-2-21 14:10:28 | 只看该作者
    沉宝 发表于 2025-2-21 00:16: d) n; \1 r0 K1 w. {
    这取决于对问题的理解和取舍。首先在大模型计算中，GPU的能力远远强于CPU，即使那个CPU有amx指令加速。所 ...

    # V% W5 W3 |) A; P( J+ W我建议你再看一下KTransformers的相关资料
    . L0 y5 A. ^* m1 W1 K- x7 p这个玩意儿的本质是在低并发（甚至是单并发）的情况下，高度依赖CPU/DRAM带宽，从而降低GPU需求的降本做法。+ _2 t4 O! Q3 k: {
    DDR5换DDR4的话，带宽砍半，对应token的数量就要起码减半6 V* x8 A/ Z" R6 S* v
    CPU的带宽再砍半的话，又要丢失速度
    ) I1 R0 w- y% R0 F* a$ o如果CPU/DRAM带宽不够的话，甚至3090可能都喂不满，无限下降螺旋在降低成本的同时会极大影响使用效果9 T5 {% z, x' D; b9 v$ \) u
    对于咱们来说，跑起来不是胜利，能够最低限度可用才是核心需求所在啊
    * j3 G% d* p/ }3 c. V# c我觉得起码要搞个输出4-6token/s才行吧, m$ l! M; X8 e% C
    按你这个方案我估计可能1-2token都悬
    回复 支持 反对

    使用道具 举报

    下一页 »
    12下一页
    返回列表 发新帖

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2026-4-6 08:41 , Processed in 0.088083 second(s), 23 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表