爱吱声

标题: DeepSeek R1全参数模型一个可能的本地部署方案 [打印本页]

作者: 沉宝    时间: 2025-2-20 15:41
标题: DeepSeek R1全参数模型一个可能的本地部署方案
DeepSeek一夜爆火,现在联网服务拥堵不堪。当晨老大号召自建farm的时候,本人开始认真考虑本地部署。 KTransfomer的报道也在第一时间见到,并设想了一个以此为基础的装机方案。然后呢,就“铲后抑郁”了。如今很多内容都在网友[大黑蚊子]的记录(链接)中讨论过了,但具体的装机方案大概还有一些价值,还是写出来吧。2 U5 J3 t% y& T  b
4 H( q' Z  L+ `$ c; H/ L. s
DeepSeek R1原版是一个参数量高达671B的大模型,虽然比之其它頂尖的人工智能模型在硬件要求上已经大大降低,但个人部署全尺寸模型,依然难度不小。为了便于在低端硬件上运行,出现了一系列蒸馏版减少参数量(以 Qwen2.5 或 Llama 为构架,参数范围从 1.5B、7B、8B、14B、32B 到 70B)。另一个思路是参数量化,例如1.58bit和4bit。一般来说,LLM训练时使用高精度(例如 32位浮点数),而推理时使用低精度(16位浮点数或者更低)即可。1.58bit是把这一趋势推到极端(只有0、1和-1三种状态)。有人试验了DeepSeek全尺寸模型的1.58bit的量化版,结论基本可用,有时候说话可能有点“冲”,圆润平衡上差一些。4bit版效果已经相当好了。至于[xiejin77]担忧的量化影响反馈精度或者稳定性,理论上有可能,但实际影响需要大量的对比实验加以证实或者证伪。: m6 {5 Z0 y1 {! y6 `
  b! M' t+ C: _7 ]7 Y# e+ Y
下面讨论具体装机方案。首先定一下目标。目标用户:个人或者小团体。鉴于这个模型现在典型的应用场景都是文字的输入和输出,跨网络合用的难度并不大(因为不需要占据太多的网络带宽)。单机,预算定位$5000左右。应该属于一个人咬咬牙能冲得上去,小范围集资(10人以内的那种)能够轻易支付。目标性能:DeepSeek R1全尺寸671B的4bit量化版,输出速度与人的阅读速度差不多即可(个人使用,太快了没有必要),约 5-10 tokens/s。这样的预算,这样的目标,显然需要KTransfomer技术加成才有可能达到。饶是如此,也得按市场最低价加DIY省着来。
: P3 B4 H2 d2 A' l+ x; u% e; N5 [" k) Z% E! m! g+ n
第一步:内存的大小。将模型的参数全部放入内存是必须的。如果还用硬盘空间扩展出来的虚拟内存,那速度肯定慢的不行。DeepSeek参数精度16bit(BF16)时需要 1342GB的存储空间,4bit量化版所需空间为其¼,再加上程序和操作系统所需,512GB应该可以了。这么大的内存,普通PC机主板肯定不行,要上服务器的。鉴于当前DDR4的内存条比 DDR5还是要便宜不少,所以选择DDR4。$ Q& |( V8 S2 R5 x. g# p+ B
" e; {. F( c! z
第二:CPU和主板。CPU我选AMD Zen3架构( Zen3是DDR4的最后一代)的服务器芯片EPYC 7C13, 64 core 128 threads, 市场价仅$700+。它与正式发布的7713结构一致,频率略低,有人怀疑类似于Intel的 ES(工程样品)。主板支持Milan的SP3主板即可。唯一要注意的是内存插槽数,根据DDR4单条内存的容量大小,要能够插出512GB来。" q4 d1 S2 U" o: j# [
0 v0 J; Z7 r- G5 ~1 }( _

$ I7 @) }. T' G. Q) f7 T3 h第三:显卡。双3090或者单4090。4090不好买,用两块3090大致能抵上一块4090。
4 ~  [+ Y2 V0 i! r( o( g9 M
5 [; \6 C: \3 A& d" h/ ^$ F9 b第四:硬盘。这个要求真不高,如果机器仅仅是为了跑DeepSeek,一个4 TB
/ ?- H5 E5 X% J0 J! J$ h(或者两个2 TB)的nvme就够用了。(想当初我在爱坛上发记录推荐固态盘时,一块4TB的才$150)
( n/ a0 X9 d. |
4 s0 h) R$ K* R+ F: v& u其它:说3点。1)普通PC机箱。2)散热避免使用服务器的暴力风扇( PC机箱也缺乏服务器的风道结构)。如果散热量大,考虑用水冷。3)如果单台大功率电源太贵,可以用两台小的给主板和显卡分别供电。如此需要双电源同步启动板或者同步线,但那东西淘宝上也就人民币10块钱。# J0 Z7 r& Q7 T5 t* F/ f8 G( s
" C0 l: h! `, n: x7 Q5 Y  U
最后汇总一下。数字为能够淘到的大致美元价,可以接受二手货,+、-表示向上下浮动不超过15%
" z/ x# ~1 ~5 Q; e" u9 H! _& S
: \/ M  f0 P3 a! f( }% q5 ~RAM 512GB DDR4       1000+0 I9 l/ D! [  g
CPU 7C13或相当           700+
  m  d" x, u( ^) ]) Q# H主板(单路即可)         500  }& P. k8 H) [! h7 C* e
显卡 3090                  1000- ×2# ~, S5 o1 y! o7 o* P% z
固态硬盘                     200+
/ l" b/ B2 g' _5 S; ]3 b其它 机箱、电源、散热器等( x4 \6 y* ^6 u* v9 k
/ }4 s. Q2 |6 [0 i6 i

作者: 大黑蚊子    时间: 2025-2-20 16:27
本帖最后由 大黑蚊子 于 2025-2-20 21:55 编辑
. c6 K( @+ Z6 P9 `3 `$ ?  s5 J- O5 F# I: W- N
说实话我也在琢磨这个玩意儿,几万块钱搞一个这个玩玩,在AI新浪潮初期真的算是一个比较高性价比的学习途径了- `9 r+ `: p; E9 r8 W. u% g+ K
在硬件选型上面我倒是有点儿不同意见,鉴于章明星他们在0.3版里使用amx指令集加速,那么支持amx的Intel至强可扩展CPU应该是要好于AMD的EYPC的,具体来说现在Intel最新款是6代至强,退而求其次选择四代或者五代至强应该也满足要求。章明星团队他们的硬件好像也是双路Xeon 6430* u. l! J& G  W$ A  q) o# R1 q
但是这个成本可能要比你说的EPYC要高不少,但总的来说应该还在可承受的范围之内
0 N- ^( M% F; V显卡的双路配置好像不是特别必须的,主要是4bit量化版需要14g显存,所以如果有一块3090先用着应该问题也不会太大,实在不行多买一块也可以4 m8 O( y% u! i/ @
9 l) J% n  u8 e* ^% ^4 H9 `; U
周末去华强北转转去,看看二手服务器有啥准系统能够直接上手的
作者: 马鹿    时间: 2025-2-20 21:42
我看到了国内AI的商机。。。 攒小配置的AI模型!
作者: 马鹿    时间: 2025-2-20 21:43
关于方案, 我直接问过deepseek。。。
作者: 马鹿    时间: 2025-2-20 21:45
大黑蚊子 发表于 2025-2-20 03:27" t( R! n; q/ m9 v) {) `# k7 M
说实话我也在琢磨这个玩意儿,几万块钱搞一个这个玩玩,在AI新浪潮初期真的算是一个比较高性价比的学习途径 ...
* @  U: ^5 G; G: g4 O$ g! m
真心羡慕国内了。。。我90年代自己攒过打游戏的计算机。。。
作者: testjhy    时间: 2025-2-20 22:50
马鹿 发表于 2025-2-20 21:45
0 [  N; o8 W1 j) g- F9 e. I真心羡慕国内了。。。我90年代自己攒过打游戏的计算机。。。
) Q' a1 a( s% b
社长,美国不是与国内PC价格差不多吗?也仿照沉宝蚊行攒一台呗,
作者: 马鹿    时间: 2025-2-20 23:19
testjhy 发表于 2025-2-20 09:50# E$ J. a4 J! p% D
社长,美国不是与国内PC价格差不多吗?也仿照沉宝蚊行攒一台呗,
$ ?" q* Q6 U! y) u6 r3 X
攒了以后干啥呢?
作者: testjhy    时间: 2025-2-20 23:32
本帖最后由 testjhy 于 2025-2-20 23:41 编辑
4 J# m: k2 h7 |! j% Q, u: ?
# Z3 v# I, [3 [& M" \7 m. l+ I& b! P3 c! ?  a& e
这是大华股份根据国产芯片的一体机,估计是华为提供的方案供各家贴牌
作者: 大黑蚊子    时间: 2025-2-20 23:38
testjhy 发表于 2025-2-20 23:32
% D/ ^* w8 I" o( F这是大华股份根据国产芯片的一体机,
( `$ a6 E5 c$ _; `8 G/ o# m. j5 G
大华的这个配置没啥意义,你看跑的都是蒸馏版的7B/14B/32B模型" |/ z; ]: |" [# B' w* N- M( J. L
我在自家电脑上搞了一个7B的模型试了下,真的是不太行, l; E# V# E4 ^- P0 m
我估计32B和70B也都不太行
$ S- y1 j! @. y这个帖子里讨论的应该是直接上手671B的满血量化版,1.58或者4bit版本,这个据多个信源反馈效果挺好的
: `3 \% Q( s: A* t  ^, A* z" c7 h0 f$ L

& Q/ M/ C+ W9 a& `8 x不过这个单子我倒是可以拿着去嘲笑下大华的朋友“你们钻钱眼里了?搞这个文字游戏骗钱”
作者: testjhy    时间: 2025-2-20 23:42
马鹿 发表于 2025-2-20 23:19. m/ r6 A3 L; {7 ~' J
攒了以后干啥呢?
3 x# b% k" y8 A, {! ?
想干啥就干啥,吃喝玩乐,
作者: testjhy    时间: 2025-2-20 23:45
大黑蚊子 发表于 2025-2-20 23:38) h# ]. p# N" B7 K/ s8 K
大华的这个配置没啥意义,你看跑的都是蒸馏版的7B/14B/32B模型+ ^0 R+ X$ B4 J0 H) D# g4 `, {7 S- H  D
我在自家电脑上搞了一个7B的模型试了下, ...

$ q% k  C% p, j) J找了一个非剪裁图,看了一个新闻,华为提供方案,有60多家企业响应,大华可能是比较快的,找不到价格,
作者: 大黑蚊子    时间: 2025-2-20 23:53
testjhy 发表于 2025-2-20 23:458 z: [+ Z+ T' V# Y
找了一个非剪裁图,看了一个新闻,华为提供方案,有60多家企业响应,大华可能是比较快的,找不到价格,{: ...
+ g# c' R" g+ s. K' b+ t
我要是鼓捣这玩意儿,肯定是找二手硬件啥的,全新设备的价格那还是相当辣手的, d8 D/ x, K. ~* ~: c. a/ s
打听了一下Intel的至强4代CPU,现在全球缺货,嘿嘿
; f7 A  w$ P: B2 j- r! H去华强北看看有没有QS版本,可能一块就要6000人民币至少
作者: 马鹿    时间: 2025-2-20 23:53
大黑蚊子 发表于 2025-2-20 10:38
8 W4 u0 M) s0 x' @6 I大华的这个配置没啥意义,你看跑的都是蒸馏版的7B/14B/32B模型
7 m+ i  u# K$ q# Z我在自家电脑上搞了一个7B的模型试了下, ...

. a' |+ N$ x0 @! |% j好奇你攒个模型做啥?
作者: 大黑蚊子    时间: 2025-2-21 00:03
马鹿 发表于 2025-2-20 23:53
, u; D* T/ x/ H) a好奇你攒个模型做啥?
6 ~7 o. x5 {9 B; N6 G3 O: \% R
8 `0 |9 B" _, y- ]
玩啊,好奇啊,这很可能是通向新世界的大门7 G# H8 A1 `, t
有这个条件的话,干嘛不玩?
5 J" m9 o! Y, V5 d2 n# P7 l9 O" f& h! v, ?, v4 g* \
现在大部分人还在懵逼状态中,只是知道个大模型的东西,具体怎么搭,个人知识库怎么建,私有服务怎么处理...好玩的需求多着呢- N3 B+ D3 B" w, T! l
' Q" K  u* A& L; u, A( Q7 k( w: }
DeepSeek的出现,极大降低了大模型训练和部署的总体成本, E) S. A6 c* ^8 ^
KTransformer架构的出现,打响了极大降低大模型部署和私有知识库服务的硬件成本的第一枪
3 u6 F6 W& _! P9 [5 b: u  R9 G4 I
' b+ V$ f4 _9 J! r这种能够降低90%成本的新技术出现,大概率后面会蕴藏着10亿级别的新的相关应用和服务空间
9 j" k2 p& M# @9 i% A/ g玩的过程中也可以吸收很多其他的知识,认识其他稀奇古怪的人,包赚的啊
作者: 沉宝    时间: 2025-2-21 00:16
大黑蚊子 发表于 2025-2-20 16:27
. [4 {% ?) y! {  A说实话我也在琢磨这个玩意儿,几万块钱搞一个这个玩玩,在AI新浪潮初期真的算是一个比较高性价比的学习途径 ...

# S8 l) l% v6 m4 r- Z9 R- |1 ]' `& U$ S这取决于对问题的理解和取舍。首先在大模型计算中,GPU的能力远远强于CPU,即使那个CPU有amx指令加速。所以在预算有限的前提下,应该尽量省下钱来加强GPU。当然如果实测一块3090够用了,那更好。# D; v% X0 e& [, q, \$ h6 d

$ c! Y: b3 t2 a- L4 i# V0 E对比EPYC与Xeon 6530方案。Xeon 6530 2023年底发布,还比较新,主板加CPU的折扣有限。而EPYC Milan则要旧得多,有大批从数据中心退下来的二手货可选。即便有amx加成,但架不住7713的核多,单挑的话还是应该7713赢。而双路7713的话只不过比我的原方案多一颗U的钱,其它几乎不用改。个人认为CPU的第一位作用是保障参数全部装载在内存,计算加速还在其次。章明星团队的努力是充分挖掘手头现有硬件的全部潜力,amx加速是新版才加上去的,可见并非重中之重。
作者: pcb    时间: 2025-2-21 01:42
大黑蚊子 发表于 2025-2-20 23:536 [2 }7 j0 Y& F7 L+ h6 I5 Y( \
我要是鼓捣这玩意儿,肯定是找二手硬件啥的,全新设备的价格那还是相当辣手的( i1 ?5 u, E: |6 X( s6 W5 A
打听了一下Intel的至强4代C ...

3 q1 w& P) g5 e$ R: N"至强" 是 Xeon?
作者: 马鹿    时间: 2025-2-21 02:29
大黑蚊子 发表于 2025-2-20 11:03' G% H2 f0 Q0 k/ y# e9 E
玩啊,好奇啊,这很可能是通向新世界的大门
( L& f3 k  P3 a' q" `1 H有这个条件的话,干嘛不玩?
1 H, O4 \8 R" p6 U' v
握手, 我也是,就是好奇。 也同样认为这是通向新时代的大门。
作者: xut6688    时间: 2025-2-21 05:30
在本地部署满血版的DeepSeek R1, 性价比太低了,还不如用各个云厂商的API。 自己学习,玩一玩用云API就好。至于本地部署的蒸馏R1,我试过各个版本包括70B的,效果都不好,和原版差太远。我自己玩着用本地部署的模型做了一个RAG应用,最后发现蒸馏R1还不如原版的QWen2.5 32B。
作者: 大黑蚊子    时间: 2025-2-21 09:06
xut6688 发表于 2025-2-21 05:301 ]6 }( Y; X4 Y0 B$ \! G9 Z; l: }
在本地部署满血版的DeepSeek R1, 性价比太低了,还不如用各个云厂商的API。 自己学习,玩一玩用云API就好。 ...
* X* u$ ]5 {9 l! d
所以为啥盯着671B的版本呢,就是这个原因,其他版本的性价比其实都不好。
$ c3 J9 _5 g" {1 ~( l" A' D2 ?% J
目前有海量的本地部署满血版DeepSeek的需求,因为太多的数据受商业或者法规的限制不能上网,这个部署的整体过程是有很大市场需求的。8 @  n2 n9 \' P1 R' b3 r9 E, T
6 V# ~! b2 j/ }1 X& V7 S  v+ @% L3 \: S
DS和KT的诞生,不是拉低了对算力的需求,而是通过降低成本做大了整体算力需求。) b# Q/ z- R% i, o4 S; P8 z
& [( X9 c- w5 G" |6 L+ ~* V- o1 Y6 m( A
而且部署过程中的调优和配参,踩过的坑,以及反复琢磨和资料学习的成果都是自己的。
/ H# ^0 r" I1 E8 S* r. j; ~9 H9 @) l
再说了,都是二手硬件,搭完之后上闲鱼卖掉,亏不了多少钱
作者: 大黑蚊子    时间: 2025-2-21 14:10
沉宝 发表于 2025-2-21 00:16$ Z) Q$ v* g8 y2 R9 L
这取决于对问题的理解和取舍。首先在大模型计算中,GPU的能力远远强于CPU,即使那个CPU有amx指令加速。所 ...

: q; Z9 B+ O! A# f# C5 n; m我建议你再看一下KTransformers的相关资料  R  k7 A) l7 B) `8 g
这个玩意儿的本质是在低并发(甚至是单并发)的情况下,高度依赖CPU/DRAM带宽,从而降低GPU需求的降本做法。
  l& l1 H7 }8 \1 \* c8 uDDR5换DDR4的话,带宽砍半,对应token的数量就要起码减半
8 g. J1 H! ~8 w5 @& ]0 I3 w! `CPU的带宽再砍半的话,又要丢失速度
$ t2 h3 s, M! E) ?- A2 ]) _2 ?+ F如果CPU/DRAM带宽不够的话,甚至3090可能都喂不满,无限下降螺旋在降低成本的同时会极大影响使用效果
" l' C6 i3 X" s6 `3 Z' y- F- g/ ]对于咱们来说,跑起来不是胜利,能够最低限度可用才是核心需求所在啊3 q! W0 c+ v2 [
我觉得起码要搞个输出4-6token/s才行吧- f# _$ T& d5 S5 E8 S7 Z# z  `
按你这个方案我估计可能1-2token都悬
作者: 沉宝    时间: 2025-2-22 00:10
大黑蚊子 发表于 2025-2-21 14:10
" J6 r$ Y1 M, Y" D) M" o我建议你再看一下KTransformers的相关资料
- a) K, u" Z  L# X6 m' l: R这个玩意儿的本质是在低并发(甚至是单并发)的情况下,高度依 ...
: Z; a# k# L% T, N8 I. t/ C
欢迎讨论。
; M8 i* O  l! i' _( e5 {: r' ?- |, d% }4 c
首先,个人以为KTransformers的最核心最精华的是抓住了DeepSeek模型参数的稀疏性。DeepSeek是基于MoE的,回答某一个具体问题时只有部分参数高度活跃。KTransformers可以动态调度,把这部分高强度计算交给GPU(好钢用在刀刃上),剩下的则由CPU完成。所以CPU部分对系统整体性能的影响不如GPU大。作为佐证,上一帖我提到了章明星团队在几次版本迭代更新之后才把amx加速添加上去。  l* ?+ ], l' F& f

7 I  z$ \/ z. [6 h' [4 HCPU/DRAM带宽对系统性能的影响不是简单线性的。老实说,我没有咱们现在讨论的这样大的系统的实际经验。我只能根据在台式机上看到的现象做一些外推。Intel的12代和13代同时支持DDR4和DDR5,DDR5内存下整体成绩要比DDR4好一些,不过差距并不大。至于到显卡的带宽,我也可以说一点。我们知道目前大部分显卡的插座都是PCIe×16。外置显卡时,因为各种原因往往不做16路通道,比方说仅仅实现了8位通道。那么这个PCIe×8的显卡游戏性能下降多少呢?绝对在30%以内,常常也就10-20%。) X! N4 T; m3 Z7 Z; p) b9 [
3 l5 `& u1 Q& N
以上这些是我没有简单照搬章明星团队的配置,而为省钱做了一些变更的原因。
作者: 大黑蚊子    时间: 2025-3-10 22:25
沉宝 发表于 2025-2-22 00:10- ?5 b/ X& B+ v  U
欢迎讨论。/ k/ u: U& m- I: [
9 o7 d3 t' G$ X4 C' I( y( ?3 E2 W7 S9 E
首先,个人以为KTransformers的最核心最精华的是抓住了DeepSeek模型参数的稀疏性。DeepSeek ...

6 [& }4 F( Y1 X8 [刚刚看到一个案例,有个朋友用2686V4 x2 加256GDDR3跑起了671B的Q2.51版本
5 o/ Z3 f6 |2 h9 \# d" J显卡用的是3070M 16G,环境是Ubuntu 24.04.2
0 a8 x3 U) C2 ~% C输入大概是10不到一点,输出大概是5,勉强可用9 {7 [, w5 T. P) d& J5 |
因为都是整的垃圾配件,总体的成本大概不到4000人民币4 b5 c* Y3 h. J% {: f/ J

% \3 ?$ F/ B# b/ t我估计如果他能够用DDR4+至强的话,应该可以到7-8的输出
* {6 Y0 @  r4 e: c如果是这个速度的话,个人轻量使用已经没有特别大的问题了
作者: 数值分析    时间: 2025-3-10 23:42
这里有篇文章是谈万元以下服务器部署DeepSeek-R1 671B + KTransforme的
( {$ I- X' Q- f0 R- Shttps://www.pmtemple.com/academy/17340/7 ?" F! C8 ?5 F6 A

作者: 孟词宗    时间: 2025-3-11 01:50
大黑蚊子 发表于 2025-3-10 22:25* A: A/ ^( U* v% I. I" Z
刚刚看到一个案例,有个朋友用2686V4 x2 加256GDDR3跑起了671B的Q2.51版本
  r/ X1 T7 ^8 L" v$ X! X( Z显卡用的是3070M 16G,环境是U ...
2 m# {8 p) L. C% U) C
2 Q) X8 U/ d  @  R$ c6 X
我觉得别对Q5以下的版本抱太大希望。Q5 以下只能说是能跑,但效果实在不敢恭维,很多情况下出来的回答都不是 AI 幻觉,而是文不对题。在决定投钱搞硬件前,还是建议先化小钱租个服务器,下载不同的压缩版看看效果再确定要用哪一版,用什么本地硬件。
作者: 沉宝    时间: 2025-3-11 02:12
大黑蚊子 发表于 2025-3-10 22:25
3 k) }4 `% H- v+ K% B& \3 G刚刚看到一个案例,有个朋友用2686V4 x2 加256GDDR3跑起了671B的Q2.51版本1 v3 d5 d+ m: ^" q
显卡用的是3070M 16G,环境是U ...

/ U9 n7 O( n% i这做得很厉害了。点赞!
作者: 沉宝    时间: 2025-3-11 02:14
数值分析 发表于 2025-3-10 23:42  y* b' v2 ~8 j! ]. ?8 @) }
这里有篇文章是谈万元以下服务器部署DeepSeek-R1 671B + KTransforme的( h$ l$ I: y: ]& E* B7 h* w. T2 d
https://www.pmtemple.com/academy/ ...

  S* `# v7 P$ S) K& p* ~这么多案例,很有参考价值。
作者: 孟词宗    时间: 2025-3-12 01:39
有 512 GB RAM 的话,基本 Q3 以下都可以跑。Huggingface 上量化版不少。例如这个:https://huggingface.co/unsloth/DeepSeek-R1-GGUF 从 Q1 到 fp16 都齐全了。Q1 的几个版本甚至只要 256 GB 就可以跑了。) a2 [; S. p) c0 F( L3 k

& k) M, r: ]2 L% L  U5 y4 n但是,量化版压缩了尺寸,同时也压缩了功能。个人感觉 Q5 以下基本都是渣渣,回答大多逻辑不通。
作者: 孟词宗    时间: 2025-4-15 10:41
大黑蚊子 发表于 2025-3-10 22:25! I, k% `; E0 D8 `( N6 N+ M& d
刚刚看到一个案例,有个朋友用2686V4 x2 加256GDDR3跑起了671B的Q2.51版本( O) v4 a3 ^' S
显卡用的是3070M 16G,环境是U ...
6 E* U- F# b* S0 l1 v5 A% J
性价比更好的是 HP Z840。这玩意儿有2X Intel Xeon E5-2678 v3 up to 3.1GHz (24 Cores Total),最好的是有16条内存槽,按 Intel 的说法,每个 CPU 可以到 768 GB DDR4。两个就是 1.5TB (实际 HP Z840 号称能到 2TB),正好可以跑 DS-R1 671b 完整版了。
作者: 雷声    时间: 2025-4-15 11:18
孟词宗 发表于 2025-4-15 10:41
+ q6 u6 ^, s: }$ E性价比更好的是 HP Z840。这玩意儿有2X Intel Xeon E5-2678 v3 up to 3.1GHz (24 Cores Total),最好的是 ...

0 x. \; |4 m- ?2 n$ ^https://cloudninjas.com/collecti ... 40%20will%20support,Reduced%20server%20(LRDIMM)%20memory.2 U; h- L' |& G, X& A
# }# o9 s0 H/ ^. A( ^
The HPE Z840 will support 4GB, 8GB, 16GB or 32GB DDR4 Registered.   ?9 V- @8 Q/ M0 O+ u3 `
This server will also support 32GB, 64GB or 128GB Load Reduced Modules (LRDIMM). . k! T' V5 a+ J; d+ f
The Maximum amount of RAM the HPE Z840 server can hold is 2TB (16 x 128GB) of Load Reduced server (LRDIMM) memory
0 \( g: S" m; C3 j
9 t( c( K1 i5 OLRDIMM 128GB的话一条要1400~2000刀,16根的话。。。。 好像也不便宜了。9 `2 e1 I0 `7 I& W0 Q( e
Z840倒是不值几个钱。
作者: 孟词宗    时间: 2025-4-15 11:58
本帖最后由 孟词宗 于 2025-4-15 12:01 编辑 + ?) g9 M9 I% a& P3 k2 S; s8 e
雷声 发表于 2025-4-15 11:18; W2 B5 K* t: o7 D. L. A# n' _
https://cloudninjas.com/collecti ... E%20Z840%20will%20s ...

8 U7 ?" F. g% A7 F: r, \! z3 i) }
: I2 N) s& d) Y9 E; `1 V; b) Y/ Y没那么贵,Amazon 上一条才 $239。16条也就$3,824。
- J2 I& g: A: B' @% f
' d+ u0 B- [' ]- I# t6 mhttps://www.amazon.com/Tech-2666 ... cp-nq_eMQV&th=1
" E' }, `3 _) z6 m8 n
2 d9 f  C  J# G2 ?' b1TB 的kit 稍微便宜一点, $1,908, x2 就是 $3,816: https://www.amazon.com/Tech-8x12 ... amp;sr=1-1&th=17 v6 {: G7 _9 ]2 ~0 m# O

( e- K' C- j' I5 N9 `但如果上 2TB 的kit 反而要 $4,319 : https://www.amazon.com/Tech-16x1 ... ctronics&sr=1-6
* g0 ]. V. |" i' c! m) Z6 c# b0 W# e2 k' V

' V& d$ D' Y8 j( {) _3 [: c3 O当然,真要上这个,最好买以前和卖家咨询一下,这些 RAM 是否可以装 Z840。我估计 Z840 出来这么多年,大概最多也就有人装到 128 GB,毕竟这不是 server 而是个工作站而已。
作者: 孟词宗    时间: 2025-4-15 12:14
雷声 发表于 2025-4-15 11:18& A0 Y* D* X# h4 t) x# N- K9 U
https://cloudninjas.com/collecti ... E%20Z840%20will%20s ...

, c6 d+ _9 D1 D% e
. O1 u3 E+ v7 Y3 D8 `3 X顺便说一句,如果只是要跑压缩版的话,我在另一个帖子(http://www.aswetalk.net/bbs/foru ... read&tid=161700)里已经说过,如果有192GB的 RAM 就可以跑 IQ1_S(131 GB), IQ1_M (158GB)(假设没有显卡加成)。: D2 i1 Z4 e4 h2 Q! J4 X' Q$ U4 q
7 \7 c$ e- Q! k; u1 Z) `. M2 i( `" G
不要显卡的话,搞个Intel core ultra 9 285k 或者 AMD Ryzen 9 9900x3d 加上 192GB DDR5 和 4TB 的 SSD,一般也就 $1,500 左右就搞定了。
作者: nanimarcus    时间: 2025-4-15 12:58
散热的问题,你把机箱敞开,左右两片直接给拆了,开个小风扇对着吹就是了,斜着吹,从前往后,CPU显卡电源一起吹,别去搞太复杂的冷却方案,水冷复杂且容易坏。( [& P; M) \1 h$ v
当然,有点吵,放在别的房间,用网络连接好了,命令行,远程桌面都可以。* r# D; v9 F& q4 r' ]- P5 h
服务器那种结构就是隐含你用那种暴力风扇,对散热并不友好。8 \6 E) [2 R. p# [8 z' h
我的GPU上的CUDA跑满都可以控制在80度以下。
* z, w: \( ?# z# Z当然奢侈一点,放在空调房,调节一下空调出口,把机箱放在桌子上,对着机箱吹能降下很多,这才是真正的水冷加风冷。
作者: 孟词宗    时间: 2025-4-15 13:48
如果是为了跑本地大模型,显卡没有必要搞顶级的家用卡。相比速度,更重要的是显卡的显存有多少。7 e& O- S& a7 L* p

0 z+ n& L( K8 O9 _8 ]4 @从性价比来说,两块3090比一块4090要好,这是因为3090仍然支持 NVLink。连接后显存会显示为 48 GB。这就可以容纳很多模型了。8 l6 q) U: _' K- j6 e0 l5 P
1 E/ y- v, m3 x5 U
但3090的问题是功耗, 350W 起步,两个就是700W,对电源要求高了。而且还得找有足够空间的主板和机箱。而且价格也不便宜。4090 现在给炒到 3650 美刀左右,3090 则是 2000 美刀。加起来就不是小数字了。6 G: [' u7 c7 E4 s; g! l$ p5 r1 Q- D5 t

" p  V- s7 k3 e7 A, X对于显卡,我倒是推荐这个:PNY RTX 4000 Ada VCNRTX4000ADA-PB 20GB, 市价1500 美刀左右,有20GB。虽然不能串联,但这是个 Single Slot card。一般好的主板能塞三四个。功耗单卡才130瓦,三个加起来也就才相当于一个3090。而三个卡加起来 60 GB,Ollama 可以跑很多 LLM 了。
6 O; Y. ~- r0 B  H8 _2 i
- V7 N4 i" a+ R8 d: E' _否则也可以弄个 PNY NVIDIA RTX 4500 Ada Generation 24GB GDDR6,这也就2300美刀左右,但显存和4090 一样。两个加起来相当于一个 4090 但显存要多一倍。! p0 h3 c* y, K1 _
; R6 v3 ]# K) H, a- K
当然,俺的理想卡是公布但还没有正式开售的 RTX PRO 6000 Max-Q https://www.pny.com/nvidia-rtx-pro-6000-blackwell-max-q。这玩意儿有 96GB 显存,还可以用 NVLink 串联。最大可到四张卡384GB,而单卡功耗不过 300W。0 q% _& Q# d& s0 z

  G3 W# D* N/ H0 m" n) y$ g当然价格据说也挺感人,要 $8,565 单张。
作者: 孟词宗    时间: 2025-4-15 14:12
nanimarcus 发表于 2025-4-15 12:58
4 Z0 S4 Z" N' P$ \* Q; D; z/ F散热的问题,你把机箱敞开,左右两片直接给拆了,开个小风扇对着吹就是了,斜着吹,从前往后,CPU显卡电源 ...

) M& w, f9 C" @8 w7 l3 [同意风冷,但用不着这样 DIY。可以用 联力 LANCOOL 215 https://lian-li.com/product/lancool-215/。这机箱正面两个200毫米的风扇吹气,后面一个140毫米的抽气,足够用了。用风扇的时候,机箱应当关上,这样风速比敞开的更快。( \! u) c6 v2 l4 i
  P# l4 n/ R1 b/ B* C- G
CPU 和 显卡的冷却还是不能省的。倒不是风扇,而是它们的散热片不能省。有了散热片才能有效散热。风扇本身是不是装在CPU和显卡的散热装置上不重要。
作者: nanimarcus    时间: 2025-4-15 17:35
孟词宗 发表于 2025-4-15 14:12+ w1 m( X( P- J4 Z6 @! |: ^! l/ c
同意风冷,但用不着这样 DIY。可以用 联力 LANCOOL 215 https://lian-li.com/product/lancool-215/。这机 ...

6 @/ [0 U* A- Z" T% F. ]我有点成见,总认为机箱上的风扇不够有力,呵呵。
% u; M8 V( ?* ^( V  R3 U& [: x. {2 x' Q5 z
所以总认为机箱敞开了另外架个风扇吹特别有力,至少视觉上如此。' ^' _" b# T3 T: M4 R
5 n& j: p1 X$ N5 G2 S8 p
所以我的理想型机箱就是一个框架,其他统统敞开了,吹!
; ~; w9 S9 s# _, j. p4 D* j6 m" |4 I$ d# D0 H& |, b0 q* r
另外,CPU上带的散热片过于庞大,多少会造成主板变形,所以我的机箱是平放的,如此一来显卡是竖起来的,这样两个最重的部分不会造成形变。
作者: 孟词宗    时间: 2025-4-15 21:45
nanimarcus 发表于 2025-4-15 17:35
& X# w9 S1 k2 `7 K( G( Z我有点成见,总认为机箱上的风扇不够有力,呵呵。1 O( T" K, @* @7 r( ?2 I

- f& J- }+ o' ^, Q- ?' m所以总认为机箱敞开了另外架个风扇吹特别有力,至少视 ...

1 J- I% T4 r  O$ lCaseless 的 DIY 电脑现在也挺多的。散热和灰尘啥的不是问题。. K6 A6 k' S  j+ B4 E' m! u

/ e7 y9 @. q6 F* Z2 B0 M0 b. r
$ h8 L- ~- m; `主要问题是像下面这个放桌上的,如果一不小心撒点饮料上去就容易把电脑废了。% x0 B. y5 G/ A5 c0 |* s
- q2 q8 L5 ], Q- |$ K6 u
0 A: }$ q- Z) ~4 i" O
所以一般都是挂墙上的。造的好点的话还是挺科幻感的。
$ J* z; o- N4 v7 l0 w
作者: nanimarcus    时间: 2025-4-15 23:26
本帖最后由 nanimarcus 于 2025-4-15 23:27 编辑 $ G$ e, v: Z- _! G1 ]  y; M% ~
孟词宗 发表于 2025-4-15 21:45
& a8 [# n" b) c+ aCaseless 的 DIY 电脑现在也挺多的。散热和灰尘啥的不是问题。

' N- C. I1 I; |$ F/ \; O) s
6 g4 Q. M; _, \/ U+ u1 P这个确实很赞。3 U' G+ \" [- j. H" Q( g& X
3 ]0 C+ S8 b4 x1 C& S% j+ F& `1 d7 n
第一三张好像放不了全尺寸显卡。7 O7 N- }) o1 b9 @( z
第二张全尺寸显卡的散热好像不太好。
作者: 孟词宗    时间: 2025-4-16 00:07
nanimarcus 发表于 2025-4-15 23:261 ?5 O$ X9 {: N- I8 W
这个确实很赞。7 `; C$ R; N/ b# F
& m* I1 R4 a% _8 ]
第一三张好像放不了全尺寸显卡。

7 n; i( G; X* |! U# A& {* H: H0 t. Y% d9 q都是全尺寸显卡。第一、三两张中的显卡散热被魔改成水冷了。所以看不到明显的显卡。实际上两个机器应该都是双显卡。第二张的显卡问题不大。很明显不是80或90级别的。根据电源才600W来看,应当是3060或4060级别的。这个显卡的原装风扇还在,制冷应当还行。
作者: 雷声    时间: 2025-4-16 07:27
孟词宗 发表于 2025-4-15 11:58
6 a$ z) N# K$ X, e4 a没那么贵,Amazon 上一条才 $239。16条也就$3,824。" s' k3 ], H1 Q2 e1 K6 M, T6 ]

( W6 a. p7 A: Y4 B/ Phttps://www.amazon.com/Tech-2666MHz-PC4-21300-Wo ...
8 G1 a, T: S$ f3 {! s
HP Z系列G4以后支持Intel® Optane™ Persistent Memory,买二手的话更便宜。不过表现怎么样就不好说了。: S6 S, P" h+ s" M4 R; ~0 _3 i, M
Z6/Z8 G4也可以上到2TB,加上PMM的话更多,价格比Z840也贵不了多少。, V. h  c: n; L( q8 R# q' |
话说Z系列是真不错,我09年买的一台Z8现在用的好好的,而且比公司配的新Alien还快。
作者: 孟词宗    时间: 2025-4-16 09:55
本帖最后由 孟词宗 于 2025-4-16 10:03 编辑 2 L4 @+ ^6 _6 E: l6 ]
雷声 发表于 2025-4-16 07:27# |  a6 Z& K. p; S
HP Z系列G4以后支持Intel® Optane™ Persistent Memory,买二手的话更便宜。不过表现怎么样就不好说了。 ...

! I. g4 V& E+ W5 g( A8 |# e8 S5 f- R) Q7 t' I
HP Z8 G4 号称可以最高支持 3TB 不过这得看 CPU。如果单个 CPU 只支持 768 GB的话,那两个 CPU 最多也就 1.5 TB。大多数旧的 HP Z8 G4 都最多 1.5 TB。6 Z7 p" |0 L  @7 c0 t

+ w8 C. f/ ^0 H$ @2 v性价比来说你说的很对,Z8 G4 的确更合算一些。尤其是不少旧机器本身就带了 1.5 TB。这比自己买要合算多了,也省事多了。
0 E3 w1 g8 r& p; C& E  e/ S
8 ]- U& e$ ?7 J+ J5 P3 `* B从跑 LLM 的角度讲,应当是可以跑,速度勉强可以接受的程度。俺那个三年旧的机器,如果不用显卡,跑 DS-R1 的 70B 蒸馏版最快也就两三个token每秒。Z8 G4 跑DS-R1 的671B版本应当只会更差。毕竟内存更慢,模型更大,CPU更老。
作者: leekai    时间: 2026-4-18 21:09
我去年春节也攒了台x99 双路e5v4+256+2080魔改22g*2,硬盘因为以前装nas不用买,后来淘了Dell730 HP z440,用下来感觉单路CPU更合适。期间装了N多大模型,现在只剩ragflow+qwen 3.5 ,35b做map,27b做reduce,都刚好可以单卡运行。前两天刚跟风试了turboquant,效果挺好。今天发现qwen 3.6发布,并且有UD IQ4量化,正在下载准备试试。
, c# v+ l1 I; q3 d. D' ~现在有更好的选择,IBM AC922,六块v100 16g准系统闲鱼上报5800元。
作者: 沉宝    时间: 2026-4-19 11:10
leekai 发表于 2026-4-18 21:09
3 u/ D+ a) ?! o8 r$ h+ v7 \( w我去年春节也攒了台x99 双路e5v4+256+2080魔改22g*2,硬盘因为以前装nas不用买,后来淘了Dell730 HP z440, ...

3 X# \: S4 F. u, {% L# k2080和v100的优点是可以通过NVLink 获得很大的显存。缺点是缺乏 fp8 等先进架构的支持。不过看在那价格上,还能说什么呢?!
5 U/ \' y/ y9 z
+ y- _* h! ^6 K; [4 E4 ?今年较之去年,最大的一个变化是像小龙虾之类的智能体流行起来了。通过不断的自我进化,智能体在很多方面可以达到和超过简单使用混合专家模型(MoE)。而智能体的后台模型,如果想跑在自己的机器上,小一些的稠密模型其效果往往好于MoE。与人相比,智能体的AI对话中提示词的长度平均增长了许多倍,从而也就要求更强的KV缓存。如此turboquant正逢其时。8 ?+ z. N+ G: _2 F" p: S8 ^

$ ^1 t- X" s& t! p比TurboQuant更强的还有RotorQuant。感兴趣的话可以关注一下它在你使用的模型上落地的进展。
作者: 大黑蚊子    时间: 2026-4-20 13:43
回首这个帖子+ F) H$ N" A% ~( g' t( @$ j0 ?) E
如果去年就下手干他1个T的ECC DDR5内存的话...8 I3 ^' G; f7 A5 n
4 G- q) x2 Q: `" y
俺就不用今年年初买个128G内存条那么心痛了
作者: leekai    时间: 7 天前
大黑蚊子 发表于 2026-4-20 13:43
; Q& p/ ], a- q# |# k2 n! `回首这个帖子- k6 k2 M! ~7 @  ?
如果去年就下手干他1个T的ECC DDR5内存的话...

, b* `' v8 c5 K6 V: R  ^9 q3 i' X我一直以为自己加钱换了512幸好前两年弄了几根1T 2T 4T的nvme还有SATA SSD,就是去年初看来看去没买氦气盘有点后悔。




欢迎光临 爱吱声 (http://aswetalk.net/bbs/) Powered by Discuz! X3.2