爱吱声

标题: DeepSeek R1全参数模型一个可能的本地部署方案 [打印本页]
作者: 沉宝    时间: 2025-2-20 15:41
标题: DeepSeek R1全参数模型一个可能的本地部署方案
DeepSeek一夜爆火，现在联网服务拥堵不堪。当晨老大号召自建farm的时候，本人开始认真考虑本地部署。 KTransfomer的报道也在第一时间见到，并设想了一个以此为基础的装机方案。然后呢，就“铲后抑郁”了。如今很多内容都在网友[大黑蚊子]的记录（链接）中讨论过了，但具体的装机方案大概还有一些价值，还是写出来吧。2 U5 J3 t% y& T  b
4 H( q' Z  L+ `$ c; H/ L. s
DeepSeek R1原版是一个参数量高达671B的大模型，虽然比之其它頂尖的人工智能模型在硬件要求上已经大大降低，但个人部署全尺寸模型，依然难度不小。为了便于在低端硬件上运行，出现了一系列蒸馏版减少参数量（以 Qwen2.5 或 Llama 为构架，参数范围从 1.5B、7B、8B、14B、32B 到 70B）。另一个思路是参数量化，例如1.58bit和4bit。一般来说，LLM训练时使用高精度（例如 32位浮点数），而推理时使用低精度（16位浮点数或者更低）即可。1.58bit是把这一趋势推到极端（只有0、1和-1三种状态）。有人试验了DeepSeek全尺寸模型的1.58bit的量化版，结论基本可用，有时候说话可能有点“冲”，圆润平衡上差一些。4bit版效果已经相当好了。至于[xiejin77]担忧的量化影响反馈精度或者稳定性，理论上有可能，但实际影响需要大量的对比实验加以证实或者证伪。: m6 {5 Z0 y1 {! y6 `
  b! M' t+ C: _7 ]7 Y# e+ Y
下面讨论具体装机方案。首先定一下目标。目标用户：个人或者小团体。鉴于这个模型现在典型的应用场景都是文字的输入和输出，跨网络合用的难度并不大（因为不需要占据太多的网络带宽）。单机，预算定位$5000左右。应该属于一个人咬咬牙能冲得上去，小范围集资（10人以内的那种）能够轻易支付。目标性能：DeepSeek R1全尺寸671B的4bit量化版，输出速度与人的阅读速度差不多即可（个人使用，太快了没有必要），约 5-10 tokens/s。这样的预算，这样的目标，显然需要KTransfomer技术加成才有可能达到。饶是如此，也得按市场最低价加DIY省着来。
: P3 B4 H2 d2 A' l+ x; u% e; N5 [" k) Z% E! m! g+ n
第一步：内存的大小。将模型的参数全部放入内存是必须的。如果还用硬盘空间扩展出来的虚拟内存，那速度肯定慢的不行。DeepSeek参数精度16bit（BF16）时需要 1342GB的存储空间，4bit量化版所需空间为其¼，再加上程序和操作系统所需，512GB应该可以了。这么大的内存，普通PC机主板肯定不行，要上服务器的。鉴于当前DDR4的内存条比 DDR5还是要便宜不少，所以选择DDR4。$ Q& |( V8 S2 R5 x. g# p+ B
" e; {. F( c! z
第二：CPU和主板。CPU我选AMD Zen3架构（ Zen3是DDR4的最后一代）的服务器芯片EPYC 7C13, 64 core 128 threads, 市场价仅$700+。它与正式发布的7713结构一致，频率略低，有人怀疑类似于Intel的 ES（工程样品）。主板支持Milan的SP3主板即可。唯一要注意的是内存插槽数，根据DDR4单条内存的容量大小，要能够插出512GB来。" q4 d1 S2 U" o: j# [
0 v0 J; Z7 r- G5 ~1 }( _

$ I7 @) }. T' G. Q) f7 T3 h第三：显卡。双3090或者单4090。4090不好买，用两块3090大致能抵上一块4090。
4 ~  [+ Y2 V0 i! r( o( g9 M
5 [; \6 C: \3 A& d" h/ ^$ F9 b第四：硬盘。这个要求真不高，如果机器仅仅是为了跑DeepSeek，一个4 TB
/ ?- H5 E5 X% J0 J! J$ h（或者两个2 TB）的nvme就够用了。（想当初我在爱坛上发记录推荐固态盘时，一块4TB的才$150）
( n/ a0 X9 d. |
4 s0 h) R$ K* R+ F: v& u其它：说3点。1)普通PC机箱。2)散热避免使用服务器的暴力风扇（ PC机箱也缺乏服务器的风道结构）。如果散热量大，考虑用水冷。3)如果单台大功率电源太贵，可以用两台小的给主板和显卡分别供电。如此需要双电源同步启动板或者同步线，但那东西淘宝上也就人民币10块钱。# J0 Z7 r& Q7 T5 t* F/ f8 G( s
" C0 l: h! `, n: x7 Q5 Y  U
最后汇总一下。数字为能够淘到的大致美元价，可以接受二手货，+、-表示向上下浮动不超过15%
" z/ x# ~1 ~5 Q; e" u9 H! _& S
: \/ M  f0 P3 a! f( }% q5 ~RAM 512GB DDR4       1000+0 I9 l/ D! [  g
CPU 7C13或相当           700+
  m  d" x, u( ^) ]) Q# H主板（单路即可）         500  }& P. k8 H) [! h7 C* e
显卡 3090                  1000- ×2# ~, S5 o1 y! o7 o* P% z
固态硬盘                     200+
/ l" b/ B2 g' _5 S; ]3 b其它 机箱、电源、散热器等( x4 \6 y* ^6 u* v9 k
/ }4 s. Q2 |6 [0 i6 i
作者: 大黑蚊子    时间: 2025-2-20 16:27
本帖最后由 大黑蚊子 于 2025-2-20 21:55 编辑
. c6 K( @+ Z6 P9 `3 `$ ?  s5 J- O5 F# I: W- N
说实话我也在琢磨这个玩意儿，几万块钱搞一个这个玩玩，在AI新浪潮初期真的算是一个比较高性价比的学习途径了- `9 r+ `: p; E9 r8 W. u% g+ K
在硬件选型上面我倒是有点儿不同意见，鉴于章明星他们在0.3版里使用amx指令集加速，那么支持amx的Intel至强可扩展CPU应该是要好于AMD的EYPC的，具体来说现在Intel最新款是6代至强，退而求其次选择四代或者五代至强应该也满足要求。章明星团队他们的硬件好像也是双路Xeon 6430* u. l! J& G  W$ A  q) o# R1 q
但是这个成本可能要比你说的EPYC要高不少，但总的来说应该还在可承受的范围之内
0 N- ^( M% F; V显卡的双路配置好像不是特别必须的，主要是4bit量化版需要14g显存，所以如果有一块3090先用着应该问题也不会太大，实在不行多买一块也可以4 m8 O( y% u! i/ @
9 l) J% n  u8 e* ^% ^4 H9 `; U
周末去华强北转转去，看看二手服务器有啥准系统能够直接上手的
作者: 马鹿    时间: 2025-2-20 21:42
我看到了国内AI的商机。。。 攒小配置的AI模型！
作者: 马鹿    时间: 2025-2-20 21:43
关于方案， 我直接问过deepseek。。。
作者: 马鹿    时间: 2025-2-20 21:45
大黑蚊子 发表于 2025-2-20 03:27" t( R! n; q/ m9 v) {) `# k7 M
说实话我也在琢磨这个玩意儿，几万块钱搞一个这个玩玩，在AI新浪潮初期真的算是一个比较高性价比的学习途径 ...
* @  U: ^5 G; G: g4 O$ g! m
真心羡慕国内了。。。我90年代自己攒过打游戏的计算机。。。
作者: testjhy    时间: 2025-2-20 22:50
马鹿 发表于 2025-2-20 21:45
0 [  N; o8 W1 j) g- F9 e. I真心羡慕国内了。。。我90年代自己攒过打游戏的计算机。。。
) Q' a1 a( s% b
社长，美国不是与国内PC价格差不多吗？也仿照沉宝蚊行攒一台呗，
作者: 马鹿    时间: 2025-2-20 23:19
testjhy 发表于 2025-2-20 09:50# E$ J. a4 J! p% D
社长，美国不是与国内PC价格差不多吗？也仿照沉宝蚊行攒一台呗，
$ ?" q* Q6 U! y) u6 r3 X
攒了以后干啥呢？
作者: testjhy    时间: 2025-2-20 23:32
本帖最后由 testjhy 于 2025-2-20 23:41 编辑
4 J# m: k2 h7 |! j% Q, u: ?
# Z3 v# I, [3 [& M" \7 m. l+ I& b! P3 c! ?  a& e
这是大华股份根据国产芯片的一体机，估计是华为提供的方案供各家贴牌
作者: 大黑蚊子    时间: 2025-2-20 23:38
testjhy 发表于 2025-2-20 23:32
% D/ ^* w8 I" o( F这是大华股份根据国产芯片的一体机，
( `$ a6 E5 c$ _; `8 G/ o# m. j5 G
大华的这个配置没啥意义，你看跑的都是蒸馏版的7B/14B/32B模型" |/ z; ]: |" [# B' w* N- M( J. L
我在自家电脑上搞了一个7B的模型试了下，真的是不太行, l; E# V# E4 ^- P0 m
我估计32B和70B也都不太行
$ S- y1 j! @. y这个帖子里讨论的应该是直接上手671B的满血量化版，1.58或者4bit版本，这个据多个信源反馈效果挺好的
: `3 \% Q( s: A* t  ^, A* z" c7 h0 f$ L

& Q/ M/ C+ W9 a& `8 x不过这个单子我倒是可以拿着去嘲笑下大华的朋友“你们钻钱眼里了？搞这个文字游戏骗钱”
作者: testjhy    时间: 2025-2-20 23:42
马鹿 发表于 2025-2-20 23:19. m/ r6 A3 L; {7 ~' J
攒了以后干啥呢？
3 x# b% k" y8 A, {! ?
想干啥就干啥，吃喝玩乐，
作者: testjhy    时间: 2025-2-20 23:45
大黑蚊子 发表于 2025-2-20 23:38) h# ]. p# N" B7 K/ s8 K
大华的这个配置没啥意义，你看跑的都是蒸馏版的7B/14B/32B模型+ ^0 R+ X$ B4 J0 H) D# g4 `, {7 S- H  D
我在自家电脑上搞了一个7B的模型试了下， ...

$ q% k  C% p, j) J找了一个非剪裁图，看了一个新闻，华为提供方案，有60多家企业响应，大华可能是比较快的，找不到价格，
作者: 大黑蚊子    时间: 2025-2-20 23:53
testjhy 发表于 2025-2-20 23:458 z: [+ Z+ T' V# Y
找了一个非剪裁图，看了一个新闻，华为提供方案，有60多家企业响应，大华可能是比较快的，找不到价格，{: ...
+ g# c' R" g+ s. K' b+ t
我要是鼓捣这玩意儿，肯定是找二手硬件啥的，全新设备的价格那还是相当辣手的, d8 D/ x, K. ~* ~: c. a/ s
打听了一下Intel的至强4代CPU，现在全球缺货，嘿嘿
; f7 A  w$ P: B2 j- r! H去华强北看看有没有QS版本，可能一块就要6000人民币至少
作者: 马鹿    时间: 2025-2-20 23:53
大黑蚊子 发表于 2025-2-20 10:38
8 W4 u0 M) s0 x' @6 I大华的这个配置没啥意义，你看跑的都是蒸馏版的7B/14B/32B模型
7 m+ i  u# K$ q# Z我在自家电脑上搞了一个7B的模型试了下， ...

. a' |+ N$ x0 @! |% j好奇你攒个模型做啥？
作者: 大黑蚊子    时间: 2025-2-21 00:03
马鹿 发表于 2025-2-20 23:53
, u; D* T/ x/ H) a好奇你攒个模型做啥？
6 ~7 o. x5 {9 B; N6 G3 O: \% R
8 `0 |9 B" _, y- ]
玩啊，好奇啊，这很可能是通向新世界的大门7 G# H8 A1 `, t
有这个条件的话，干嘛不玩？
5 J" m9 o! Y, V5 d2 n# P7 l9 O" f& h! v, ?, v4 g* \
现在大部分人还在懵逼状态中，只是知道个大模型的东西，具体怎么搭，个人知识库怎么建，私有服务怎么处理...好玩的需求多着呢- N3 B+ D3 B" w, T! l
' Q" K  u* A& L; u, A( Q7 k( w: }
DeepSeek的出现，极大降低了大模型训练和部署的总体成本, E) S. A6 c* ^8 ^
KTransformer架构的出现，打响了极大降低大模型部署和私有知识库服务的硬件成本的第一枪
3 u6 F6 W& _! P9 [5 b: u  R9 G4 I
' b+ V$ f4 _9 J! r这种能够降低90%成本的新技术出现，大概率后面会蕴藏着10亿级别的新的相关应用和服务空间
9 j" k2 p& M# @9 i% A/ g玩的过程中也可以吸收很多其他的知识，认识其他稀奇古怪的人，包赚的啊
作者: 沉宝    时间: 2025-2-21 00:16
大黑蚊子 发表于 2025-2-20 16:27
. [4 {% ?) y! {  A说实话我也在琢磨这个玩意儿，几万块钱搞一个这个玩玩，在AI新浪潮初期真的算是一个比较高性价比的学习途径 ...

# S8 l) l% v6 m4 r- Z9 R- |1 ]' `& U$ S这取决于对问题的理解和取舍。首先在大模型计算中，GPU的能力远远强于CPU，即使那个CPU有amx指令加速。所以在预算有限的前提下，应该尽量省下钱来加强GPU。当然如果实测一块3090够用了，那更好。# D; v% X0 e& [, q, \$ h6 d

$ c! Y: b3 t2 a- L4 i# V0 E对比EPYC与Xeon 6530方案。Xeon 6530 2023年底发布，还比较新，主板加CPU的折扣有限。而EPYC Milan则要旧得多，有大批从数据中心退下来的二手货可选。即便有amx加成，但架不住7713的核多，单挑的话还是应该7713赢。而双路7713的话只不过比我的原方案多一颗U的钱，其它几乎不用改。个人认为CPU的第一位作用是保障参数全部装载在内存，计算加速还在其次。章明星团队的努力是充分挖掘手头现有硬件的全部潜力，amx加速是新版才加上去的，可见并非重中之重。
作者: pcb    时间: 2025-2-21 01:42
大黑蚊子 发表于 2025-2-20 23:536 [2 }7 j0 Y& F7 L+ h6 I5 Y( \
我要是鼓捣这玩意儿，肯定是找二手硬件啥的，全新设备的价格那还是相当辣手的( i1 ?5 u, E: |6 X( s6 W5 A
打听了一下Intel的至强4代C ...

3 q1 w& P) g5 e$ R: N"至强" 是 Xeon？
作者: 马鹿    时间: 2025-2-21 02:29
大黑蚊子 发表于 2025-2-20 11:03' G% H2 f0 Q0 k/ y# e9 E
玩啊，好奇啊，这很可能是通向新世界的大门
( L& f3 k  P3 a' q" `1 H有这个条件的话，干嘛不玩？
1 H, O4 \8 R" p6 U' v
握手， 我也是，就是好奇。 也同样认为这是通向新时代的大门。
作者: xut6688    时间: 2025-2-21 05:30
在本地部署满血版的DeepSeek R1, 性价比太低了，还不如用各个云厂商的API。 自己学习，玩一玩用云API就好。至于本地部署的蒸馏R1，我试过各个版本包括70B的，效果都不好，和原版差太远。我自己玩着用本地部署的模型做了一个RAG应用，最后发现蒸馏R1还不如原版的QWen2.5 32B。
作者: 大黑蚊子    时间: 2025-2-21 09:06
xut6688 发表于 2025-2-21 05:301 ]6 }( Y; X4 Y0 B$ \! G9 Z; l: }
在本地部署满血版的DeepSeek R1, 性价比太低了，还不如用各个云厂商的API。 自己学习，玩一玩用云API就好。 ...
* X* u$ ]5 {9 l! d
所以为啥盯着671B的版本呢，就是这个原因，其他版本的性价比其实都不好。
$ c3 J9 _5 g" {1 ~( l" A' D2 ?% J
目前有海量的本地部署满血版DeepSeek的需求，因为太多的数据受商业或者法规的限制不能上网，这个部署的整体过程是有很大市场需求的。8 @  n2 n9 \' P1 R' b3 r9 E, T
6 V# ~! b2 j/ }1 X& V7 S  v+ @% L3 \: S
DS和KT的诞生，不是拉低了对算力的需求，而是通过降低成本做大了整体算力需求。) b# Q/ z- R% i, o4 S; P8 z
& [( X9 c- w5 G" |6 L+ ~* V- o1 Y6 m( A
而且部署过程中的调优和配参，踩过的坑，以及反复琢磨和资料学习的成果都是自己的。
/ H# ^0 r" I1 E8 S* r. j; ~9 H9 @) l
再说了，都是二手硬件，搭完之后上闲鱼卖掉，亏不了多少钱
作者: 大黑蚊子    时间: 2025-2-21 14:10
沉宝 发表于 2025-2-21 00:16$ Z) Q$ v* g8 y2 R9 L
这取决于对问题的理解和取舍。首先在大模型计算中，GPU的能力远远强于CPU，即使那个CPU有amx指令加速。所 ...

: q; Z9 B+ O! A# f# C5 n; m我建议你再看一下KTransformers的相关资料  R  k7 A) l7 B) `8 g
这个玩意儿的本质是在低并发（甚至是单并发）的情况下，高度依赖CPU/DRAM带宽，从而降低GPU需求的降本做法。
  l& l1 H7 }8 \1 \* c8 uDDR5换DDR4的话，带宽砍半，对应token的数量就要起码减半
8 g. J1 H! ~8 w5 @& ]0 I3 w! `CPU的带宽再砍半的话，又要丢失速度
$ t2 h3 s, M! E) ?- A2 ]) _2 ?+ F如果CPU/DRAM带宽不够的话，甚至3090可能都喂不满，无限下降螺旋在降低成本的同时会极大影响使用效果
" l' C6 i3 X" s6 `3 Z' y- F- g/ ]对于咱们来说，跑起来不是胜利，能够最低限度可用才是核心需求所在啊3 q! W0 c+ v2 [
我觉得起码要搞个输出4-6token/s才行吧- f# _$ T& d5 S5 E8 S7 Z# z  `
按你这个方案我估计可能1-2token都悬
作者: 沉宝    时间: 2025-2-22 00:10
大黑蚊子 发表于 2025-2-21 14:10
" J6 r$ Y1 M, Y" D) M" o我建议你再看一下KTransformers的相关资料
- a) K, u" Z  L# X6 m' l: R这个玩意儿的本质是在低并发（甚至是单并发）的情况下，高度依 ...
: Z; a# k# L% T, N8 I. t/ C
欢迎讨论。
; M8 i* O  l! i' _( e5 {: r' ?- |, d% }4 c
首先，个人以为KTransformers的最核心最精华的是抓住了DeepSeek模型参数的稀疏性。DeepSeek是基于MoE的，回答某一个具体问题时只有部分参数高度活跃。KTransformers可以动态调度，把这部分高强度计算交给GPU（好钢用在刀刃上），剩下的则由CPU完成。所以CPU部分对系统整体性能的影响不如GPU大。作为佐证，上一帖我提到了章明星团队在几次版本迭代更新之后才把amx加速添加上去。  l* ?+ ], l' F& f

7 I  z$ \/ z. [6 h' [4 HCPU/DRAM带宽对系统性能的影响不是简单线性的。老实说，我没有咱们现在讨论的这样大的系统的实际经验。我只能根据在台式机上看到的现象做一些外推。Intel的12代和13代同时支持DDR4和DDR5，DDR5内存下整体成绩要比DDR4好一些，不过差距并不大。至于到显卡的带宽，我也可以说一点。我们知道目前大部分显卡的插座都是PCIe×16。外置显卡时，因为各种原因往往不做16路通道，比方说仅仅实现了8位通道。那么这个PCIe×8的显卡游戏性能下降多少呢？绝对在30%以内，常常也就10-20%。) X! N4 T; m3 Z7 Z; p) b9 [
3 l5 `& u1 Q& N
以上这些是我没有简单照搬章明星团队的配置，而为省钱做了一些变更的原因。
作者: 大黑蚊子    时间: 2025-3-10 22:25
沉宝 发表于 2025-2-22 00:10- ?5 b/ X& B+ v  U
欢迎讨论。/ k/ u: U& m- I: [
9 o7 d3 t' G$ X4 C' I( y( ?3 E2 W7 S9 E
首先，个人以为KTransformers的最核心最精华的是抓住了DeepSeek模型参数的稀疏性。DeepSeek ...

6 [& }4 F( Y1 X8 [刚刚看到一个案例，有个朋友用2686V4 x2 加256GDDR3跑起了671B的Q2.51版本
5 o/ Z3 f6 |2 h9 \# d" J显卡用的是3070M 16G，环境是Ubuntu 24.04.2
0 a8 x3 U) C2 ~% C输入大概是10不到一点，输出大概是5，勉强可用9 {7 [, w5 T. P) d& J5 |
因为都是整的垃圾配件，总体的成本大概不到4000人民币4 b5 c* Y3 h. J% {: f/ J

% \3 ?$ F/ B# b/ t我估计如果他能够用DDR4+至强的话，应该可以到7-8的输出
* {6 Y0 @  r4 e: c如果是这个速度的话，个人轻量使用已经没有特别大的问题了
作者: 数值分析    时间: 2025-3-10 23:42
这里有篇文章是谈万元以下服务器部署DeepSeek-R1 671B + KTransforme的
( {$ I- X' Q- f0 R- Shttps://www.pmtemple.com/academy/17340/7 ?" F! C8 ?5 F6 A
作者: 孟词宗    时间: 2025-3-11 01:50
大黑蚊子 发表于 2025-3-10 22:25* A: A/ ^( U* v% I. I" Z
刚刚看到一个案例，有个朋友用2686V4 x2 加256GDDR3跑起了671B的Q2.51版本
  r/ X1 T7 ^8 L" v$ X! X( Z显卡用的是3070M 16G，环境是U ...
2 m# {8 p) L. C% U) C
2 Q) X8 U/ d  @  R$ c6 X
我觉得别对Q5以下的版本抱太大希望。Q5 以下只能说是能跑，但效果实在不敢恭维，很多情况下出来的回答都不是 AI 幻觉，而是文不对题。在决定投钱搞硬件前，还是建议先化小钱租个服务器，下载不同的压缩版看看效果再确定要用哪一版，用什么本地硬件。
作者: 沉宝    时间: 2025-3-11 02:12
大黑蚊子 发表于 2025-3-10 22:25
3 k) }4 `% H- v+ K% B& \3 G刚刚看到一个案例，有个朋友用2686V4 x2 加256GDDR3跑起了671B的Q2.51版本1 v3 d5 d+ m: ^" q
显卡用的是3070M 16G，环境是U ...

/ U9 n7 O( n% i这做得很厉害了。点赞！
作者: 沉宝    时间: 2025-3-11 02:14
数值分析 发表于 2025-3-10 23:42  y* b' v2 ~8 j! ]. ?8 @) }
这里有篇文章是谈万元以下服务器部署DeepSeek-R1 671B + KTransforme的( h$ l$ I: y: ]& E* B7 h* w. T2 d
https://www.pmtemple.com/academy/ ...

  S* `# v7 P$ S) K& p* ~这么多案例，很有参考价值。
作者: 孟词宗    时间: 2025-3-12 01:39
有 512 GB RAM 的话，基本 Q3 以下都可以跑。Huggingface 上量化版不少。例如这个：https://huggingface.co/unsloth/DeepSeek-R1-GGUF 从 Q1 到 fp16 都齐全了。Q1 的几个版本甚至只要 256 GB 就可以跑了。) a2 [; S. p) c0 F( L3 k

& k) M, r: ]2 L% L  U5 y4 n但是，量化版压缩了尺寸，同时也压缩了功能。个人感觉 Q5 以下基本都是渣渣，回答大多逻辑不通。
作者: 孟词宗    时间: 2025-4-15 10:41
大黑蚊子 发表于 2025-3-10 22:25! I, k% `; E0 D8 `( N6 N+ M& d
刚刚看到一个案例，有个朋友用2686V4 x2 加256GDDR3跑起了671B的Q2.51版本( O) v4 a3 ^' S
显卡用的是3070M 16G，环境是U ...
6 E* U- F# b* S0 l1 v5 A% J
性价比更好的是 HP Z840。这玩意儿有2X Intel Xeon E5-2678 v3 up to 3.1GHz (24 Cores Total)，最好的是有16条内存槽，按 Intel 的说法，每个 CPU 可以到 768 GB DDR4。两个就是 1.5TB （实际 HP Z840 号称能到 2TB），正好可以跑 DS-R1 671b 完整版了。
作者: 雷声    时间: 2025-4-15 11:18
孟词宗 发表于 2025-4-15 10:41
+ q6 u6 ^, s: }$ E性价比更好的是 HP Z840。这玩意儿有2X Intel Xeon E5-2678 v3 up to 3.1GHz (24 Cores Total)，最好的是 ...

0 x. \; |4 m- ?2 n$ ^https://cloudninjas.com/collecti ... 40%20will%20support,Reduced%20server%20(LRDIMM)%20memory.2 U; h- L' |& G, X& A
# }# o9 s0 H/ ^. A( ^
The HPE Z840 will support 4GB, 8GB, 16GB or 32GB DDR4 Registered.   ?9 V- @8 Q/ M0 O+ u3 `
This server will also support 32GB, 64GB or 128GB Load Reduced Modules (LRDIMM). . k! T' V5 a+ J; d+ f
The Maximum amount of RAM the HPE Z840 server can hold is 2TB (16 x 128GB) of Load Reduced server (LRDIMM) memory
0 \( g: S" m; C3 j
9 t( c( K1 i5 OLRDIMM 128GB的话一条要1400~2000刀，16根的话。。。。 好像也不便宜了。9 `2 e1 I0 `7 I& W0 Q( e
Z840倒是不值几个钱。
作者: 孟词宗    时间: 2025-4-15 11:58
本帖最后由 孟词宗 于 2025-4-15 12:01 编辑 + ?) g9 M9 I% a& P3 k2 S; s8 e
雷声 发表于 2025-4-15 11:18; W2 B5 K* t: o7 D. L. A# n' _
https://cloudninjas.com/collecti ... E%20Z840%20will%20s ...

8 U7 ?" F. g% A7 F: r, \! z3 i) }
: I2 N) s& d) Y9 E; `1 V; b) Y/ Y没那么贵，Amazon 上一条才 $239。16条也就$3,824。
- J2 I& g: A: B' @% f
' d+ u0 B- [' ]- I# t6 mhttps://www.amazon.com/Tech-2666 ... cp-nq_eMQV&th=1
" E' }, `3 _) z6 m8 n
2 d9 f  C  J# G2 ?' b1TB 的kit 稍微便宜一点， $1,908, x2 就是 $3,816： https://www.amazon.com/Tech-8x12 ... amp;sr=1-1&th=17 v6 {: G7 _9 ]2 ~0 m# O

( e- K' C- j' I5 N9 `但如果上 2TB 的kit 反而要 $4,319 : https://www.amazon.com/Tech-16x1 ... ctronics&sr=1-6
* g0 ]. V. |" i' c! m) Z6 c# b0 W# e2 k' V

' V& d$ D' Y8 j( {) _3 [: c3 O当然，真要上这个，最好买以前和卖家咨询一下，这些 RAM 是否可以装 Z840。我估计 Z840 出来这么多年，大概最多也就有人装到 128 GB，毕竟这不是 server 而是个工作站而已。
作者: 孟词宗    时间: 2025-4-15 12:14
雷声 发表于 2025-4-15 11:18& A0 Y* D* X# h4 t) x# N- K9 U
https://cloudninjas.com/collecti ... E%20Z840%20will%20s ...

, c6 d+ _9 D1 D% e
. O1 u3 E+ v7 Y3 D8 `3 X顺便说一句，如果只是要跑压缩版的话，我在另一个帖子（http://www.aswetalk.net/bbs/foru ... read&tid=161700）里已经说过，如果有192GB的 RAM 就可以跑 IQ1_S（131 GB）， IQ1_M （158GB）（假设没有显卡加成）。: D2 i1 Z4 e4 h2 Q! J4 X' Q$ U4 q
7 \7 c$ e- Q! k; u1 Z) `. M2 i( `" G
不要显卡的话，搞个Intel core ultra 9 285k 或者 AMD Ryzen 9 9900x3d 加上 192GB DDR5 和 4TB 的 SSD，一般也就 $1,500 左右就搞定了。
作者: nanimarcus    时间: 2025-4-15 12:58
散热的问题，你把机箱敞开，左右两片直接给拆了，开个小风扇对着吹就是了，斜着吹，从前往后，CPU显卡电源一起吹，别去搞太复杂的冷却方案，水冷复杂且容易坏。( [& P; M) \1 h$ v
当然，有点吵，放在别的房间，用网络连接好了，命令行，远程桌面都可以。* r# D; v9 F& q4 r' ]- P5 h
服务器那种结构就是隐含你用那种暴力风扇，对散热并不友好。8 \6 E) [2 R. p# [8 z' h
我的GPU上的CUDA跑满都可以控制在80度以下。
* z, w: \( ?# z# Z当然奢侈一点，放在空调房，调节一下空调出口，把机箱放在桌子上，对着机箱吹能降下很多，这才是真正的水冷加风冷。
作者: 孟词宗    时间: 2025-4-15 13:48
如果是为了跑本地大模型，显卡没有必要搞顶级的家用卡。相比速度，更重要的是显卡的显存有多少。7 e& O- S& a7 L* p

0 z+ n& L( K8 O9 _8 ]4 @从性价比来说，两块3090比一块4090要好，这是因为3090仍然支持 NVLink。连接后显存会显示为 48 GB。这就可以容纳很多模型了。8 l6 q) U: _' K- j6 e0 l5 P
1 E/ y- v, m3 x5 U
但3090的问题是功耗, 350W 起步，两个就是700W，对电源要求高了。而且还得找有足够空间的主板和机箱。而且价格也不便宜。4090 现在给炒到 3650 美刀左右，3090 则是 2000 美刀。加起来就不是小数字了。6 G: [' u7 c7 E4 s; g! l$ p5 r1 Q- D5 t

" p  V- s7 k3 e7 A, X对于显卡，我倒是推荐这个：PNY RTX 4000 Ada VCNRTX4000ADA-PB 20GB, 市价1500 美刀左右，有20GB。虽然不能串联，但这是个 Single Slot card。一般好的主板能塞三四个。功耗单卡才130瓦，三个加起来也就才相当于一个3090。而三个卡加起来 60 GB，Ollama 可以跑很多 LLM 了。
6 O; Y. ~- r0 B  H8 _2 i
- V7 N4 i" a+ R8 d: E' _否则也可以弄个 PNY NVIDIA RTX 4500 Ada Generation 24GB GDDR6，这也就2300美刀左右，但显存和4090 一样。两个加起来相当于一个 4090 但显存要多一倍。! p0 h3 c* y, K1 _
; R6 v3 ]# K) H, a- K
当然，俺的理想卡是公布但还没有正式开售的 RTX PRO 6000 Max-Q https://www.pny.com/nvidia-rtx-pro-6000-blackwell-max-q。这玩意儿有 96GB 显存，还可以用 NVLink 串联。最大可到四张卡384GB，而单卡功耗不过 300W。0 q% _& Q# d& s0 z

  G3 W# D* N/ H0 m" n) y$ g当然价格据说也挺感人，要 $8,565 单张。
作者: 孟词宗    时间: 2025-4-15 14:12
nanimarcus 发表于 2025-4-15 12:58
4 Z0 S4 Z" N' P$ \* Q; D; z/ F散热的问题，你把机箱敞开，左右两片直接给拆了，开个小风扇对着吹就是了，斜着吹，从前往后，CPU显卡电源 ...

) M& w, f9 C" @8 w7 l3 [同意风冷，但用不着这样 DIY。可以用 联力 LANCOOL 215 https://lian-li.com/product/lancool-215/。这机箱正面两个200毫米的风扇吹气，后面一个140毫米的抽气，足够用了。用风扇的时候，机箱应当关上，这样风速比敞开的更快。( \! u) c6 v2 l4 i
  P# l4 n/ R1 b/ B* C- G
CPU 和 显卡的冷却还是不能省的。倒不是风扇，而是它们的散热片不能省。有了散热片才能有效散热。风扇本身是不是装在CPU和显卡的散热装置上不重要。
作者: nanimarcus    时间: 2025-4-15 17:35
孟词宗 发表于 2025-4-15 14:12+ w1 m( X( P- J4 Z6 @! |: ^! l/ c
同意风冷，但用不着这样 DIY。可以用 联力 LANCOOL 215 https://lian-li.com/product/lancool-215/。这机 ...

6 @/ [0 U* A- Z" T% F. ]我有点成见，总认为机箱上的风扇不够有力，呵呵。
% u; M8 V( ?* ^( V  R3 U& [: x. {2 x' Q5 z
所以总认为机箱敞开了另外架个风扇吹特别有力，至少视觉上如此。' ^' _" b# T3 T: M4 R
5 n& j: p1 X$ N5 G2 S8 p
所以我的理想型机箱就是一个框架，其他统统敞开了，吹！
; ~; w9 S9 s# _, j. p4 D* j6 m" |4 I$ d# D0 H& |, b0 q* r
另外，CPU上带的散热片过于庞大，多少会造成主板变形，所以我的机箱是平放的，如此一来显卡是竖起来的，这样两个最重的部分不会造成形变。
作者: 孟词宗    时间: 2025-4-15 21:45
nanimarcus 发表于 2025-4-15 17:35
& X# w9 S1 k2 `7 K( G( Z我有点成见，总认为机箱上的风扇不够有力，呵呵。1 O( T" K, @* @7 r( ?2 I

- f& J- }+ o' ^, Q- ?' m所以总认为机箱敞开了另外架个风扇吹特别有力，至少视 ...

1 J- I% T4 r  O$ lCaseless 的 DIY 电脑现在也挺多的。散热和灰尘啥的不是问题。. K6 A6 k' S  j+ B4 E' m! u

/ e7 y9 @. q6 F* Z2 B0 M0 b. r
$ h8 L- ~- m; `主要问题是像下面这个放桌上的，如果一不小心撒点饮料上去就容易把电脑废了。% x0 B. y5 G/ A5 c0 |* s
- q2 q8 L5 ], Q- |$ K6 u
0 A: }$ q- Z) ~4 i" O
所以一般都是挂墙上的。造的好点的话还是挺科幻感的。
$ J* z; o- N4 v7 l0 w
作者: nanimarcus    时间: 2025-4-15 23:26
本帖最后由 nanimarcus 于 2025-4-15 23:27 编辑 $ G$ e, v: Z- _! G1 ]  y; M% ~
孟词宗 发表于 2025-4-15 21:45
& a8 [# n" b) c+ aCaseless 的 DIY 电脑现在也挺多的。散热和灰尘啥的不是问题。

' N- C. I1 I; |$ F/ \; O) s
6 g4 Q. M; _, \/ U+ u1 P这个确实很赞。3 U' G+ \" [- j. H" Q( g& X
3 ]0 C+ S8 b4 x1 C& S% j+ F& `1 d7 n
第一三张好像放不了全尺寸显卡。7 O7 N- }) o1 b9 @( z
第二张全尺寸显卡的散热好像不太好。
作者: 孟词宗    时间: 2025-4-16 00:07
nanimarcus 发表于 2025-4-15 23:261 ?5 O$ X9 {: N- I8 W
这个确实很赞。7 `; C$ R; N/ b# F
& m* I1 R4 a% _8 ]
第一三张好像放不了全尺寸显卡。

7 n; i( G; X* |! U# A& {* H: H0 t. Y% d9 q都是全尺寸显卡。第一、三两张中的显卡散热被魔改成水冷了。所以看不到明显的显卡。实际上两个机器应该都是双显卡。第二张的显卡问题不大。很明显不是80或90级别的。根据电源才600W来看，应当是3060或4060级别的。这个显卡的原装风扇还在，制冷应当还行。
作者: 雷声    时间: 2025-4-16 07:27
孟词宗 发表于 2025-4-15 11:58
6 a$ z) N# K$ X, e4 a没那么贵，Amazon 上一条才 $239。16条也就$3,824。" s' k3 ], H1 Q2 e1 K6 M, T6 ]

( W6 a. p7 A: Y4 B/ Phttps://www.amazon.com/Tech-2666MHz-PC4-21300-Wo ...
8 G1 a, T: S$ f3 {! s
HP Z系列G4以后支持Intel® Optane™ Persistent Memory，买二手的话更便宜。不过表现怎么样就不好说了。: S6 S, P" h+ s" M4 R; ~0 _3 i, M
Z6/Z8 G4也可以上到2TB，加上PMM的话更多，价格比Z840也贵不了多少。, V. h  c: n; L( q8 R# q' |
话说Z系列是真不错，我09年买的一台Z8现在用的好好的，而且比公司配的新Alien还快。
作者: 孟词宗    时间: 2025-4-16 09:55
本帖最后由 孟词宗 于 2025-4-16 10:03 编辑 2 L4 @+ ^6 _6 E: l6 ]
雷声 发表于 2025-4-16 07:27# |  a6 Z& K. p; S
HP Z系列G4以后支持Intel® Optane™ Persistent Memory，买二手的话更便宜。不过表现怎么样就不好说了。 ...

! I. g4 V& E+ W5 g( A8 |# e8 S5 f- R) Q7 t' I
HP Z8 G4 号称可以最高支持 3TB 不过这得看 CPU。如果单个 CPU 只支持 768 GB的话，那两个 CPU 最多也就 1.5 TB。大多数旧的 HP Z8 G4 都最多 1.5 TB。6 Z7 p" |0 L  @7 c0 t

+ w8 C. f/ ^0 H$ @2 v性价比来说你说的很对，Z8 G4 的确更合算一些。尤其是不少旧机器本身就带了 1.5 TB。这比自己买要合算多了，也省事多了。
0 E3 w1 g8 r& p; C& E  e/ S
8 ]- U& e$ ?7 J+ J5 P3 `* B从跑 LLM 的角度讲，应当是可以跑，速度勉强可以接受的程度。俺那个三年旧的机器，如果不用显卡，跑 DS-R1 的 70B 蒸馏版最快也就两三个token每秒。Z8 G4 跑DS-R1 的671B版本应当只会更差。毕竟内存更慢，模型更大，CPU更老。
作者: leekai    时间: 2026-4-18 21:09
我去年春节也攒了台x99 双路e5v4+256+2080魔改22g*2，硬盘因为以前装nas不用买，后来淘了Dell730 HP z440，用下来感觉单路CPU更合适。期间装了N多大模型，现在只剩ragflow+qwen 3.5 ，35b做map，27b做reduce，都刚好可以单卡运行。前两天刚跟风试了turboquant，效果挺好。今天发现qwen 3.6发布，并且有UD IQ4量化，正在下载准备试试。
, c# v+ l1 I; q3 d. D' ~现在有更好的选择，IBM AC922，六块v100 16g准系统闲鱼上报5800元。
作者: 沉宝    时间: 2026-4-19 11:10
leekai 发表于 2026-4-18 21:09
3 u/ D+ a) ?! o8 r$ h+ v7 \( w我去年春节也攒了台x99 双路e5v4+256+2080魔改22g*2，硬盘因为以前装nas不用买，后来淘了Dell730 HP z440， ...

3 X# \: S4 F. u, {% L# k2080和v100的优点是可以通过NVLink 获得很大的显存。缺点是缺乏 fp8 等先进架构的支持。不过看在那价格上，还能说什么呢？！
5 U/ \' y/ y9 z
+ y- _* h! ^6 K; [4 E4 ?今年较之去年，最大的一个变化是像小龙虾之类的智能体流行起来了。通过不断的自我进化，智能体在很多方面可以达到和超过简单使用混合专家模型(MoE)。而智能体的后台模型，如果想跑在自己的机器上，小一些的稠密模型其效果往往好于MoE。与人相比，智能体的AI对话中提示词的长度平均增长了许多倍，从而也就要求更强的KV缓存。如此turboquant正逢其时。8 ?+ z. N+ G: _2 F" p: S8 ^

$ ^1 t- X" s& t! p比TurboQuant更强的还有RotorQuant。感兴趣的话可以关注一下它在你使用的模型上落地的进展。
作者: 大黑蚊子    时间: 2026-4-20 13:43
回首这个帖子+ F) H$ N" A% ~( g' t( @$ j0 ?) E
如果去年就下手干他1个T的ECC DDR5内存的话...8 I3 ^' G; f7 A5 n
4 G- q) x2 Q: `" y
俺就不用今年年初买个128G内存条那么心痛了
作者: leekai    时间: 7 天前
大黑蚊子 发表于 2026-4-20 13:43
; Q& p/ ], a- q# |# k2 n! `回首这个帖子- k6 k2 M! ~7 @  ?
如果去年就下手干他1个T的ECC DDR5内存的话...

, b* `' v8 c5 K6 V: R  ^9 q3 i' X我一直以为自己加钱换了512幸好前两年弄了几根1T 2T 4T的nvme还有SATA SSD，就是去年初看来看去没买氦气盘有点后悔。



欢迎光临 爱吱声 (http://aswetalk.net/bbs/) Powered by Discuz! X3.2