|
|
如果是为了跑本地大模型，显卡没有必要搞顶级的家用卡。相比速度，更重要的是显卡的显存有多少。
9 b$ h3 u# q3 K& \- F9 z
- ^& X, X: g, E* [2 p2 d3 E L7 W从性价比来说，两块3090比一块4090要好，这是因为3090仍然支持 NVLink。连接后显存会显示为 48 GB。这就可以容纳很多模型了。
3 c4 G+ r$ d3 S
3 ~! w B5 {6 r. O. I5 A5 D但3090的问题是功耗, 350W 起步，两个就是700W，对电源要求高了。而且还得找有足够空间的主板和机箱。而且价格也不便宜。4090 现在给炒到 3650 美刀左右，3090 则是 2000 美刀。加起来就不是小数字了。, x! V/ I2 |2 r3 x* L7 r0 Q0 l8 J5 }
2 d$ Z. v! y2 \7 z
对于显卡，我倒是推荐这个：PNY RTX 4000 Ada VCNRTX4000ADA-PB 20GB, 市价1500 美刀左右，有20GB。虽然不能串联，但这是个 Single Slot card。一般好的主板能塞三四个。功耗单卡才130瓦，三个加起来也就才相当于一个3090。而三个卡加起来 60 GB，Ollama 可以跑很多 LLM 了。8 D. \/ z6 Y6 t1 p4 _6 I" j& L; _
: k9 G7 H2 e" F* E) [8 L1 K: L8 O3 {否则也可以弄个 PNY NVIDIA RTX 4500 Ada Generation 24GB GDDR6，这也就2300美刀左右，但显存和4090 一样。两个加起来相当于一个 4090 但显存要多一倍。
1 `6 D$ M s) `) b/ P. Z v# x. k6 u' y) V8 v) k5 r
当然，俺的理想卡是公布但还没有正式开售的 RTX PRO 6000 Max-Q https://www.pny.com/nvidia-rtx-pro-6000-blackwell-max-q。这玩意儿有 96GB 显存，还可以用 NVLink 串联。最大可到四张卡384GB，而单卡功耗不过 300W。
% @, T9 u. i( `5 V) E8 w$ A5 G; X2 P( z, d" V3 x
当然价格据说也挺感人，要 $8,565 单张。 |
|
雷达卡
楼主
显身卡
发表于 2025-3-10 22:25:59
