爱吱声

标题: DeepSeek用PTX编程，隐忧乎？无忧乎？ [打印本页]
作者: 晨枫    时间: 2025-2-2 22:14
标题: DeepSeek用PTX编程，隐忧乎？无忧乎？
DeepSeek用英伟达H20卡训练V3和R1大模型，但据说没有用英伟达的CUDA语言，而是用了更加底层的PTX。% W6 g8 N9 B( R1 g/ q5 f
3 u% P! n" [4 v
CUDA是英伟达的护城河。搞人工智能就要用英伟达的图形卡，跑英伟达的卡就需要CUDA。一旦形成生态就反过来了，搞人工智能就用CUDA写软件，跑CUDA就只有用英伟达的卡。$ o# i$ }: o( p4 `7 _

5 |9 y+ ?5 d0 J" ]7 U但DeepSeek用接近汇编语言的PTX编写软件，绕过了CUDA护城河，也因为PTX更加接近机器语言而更快。据说这是DeepSeek里老人马当年搞量化交易的“后遗症”，需要计算机和通信上达到极限性能，只有用接近汇编语言的“低级语言”来编写程序，比如PTX。
7 s/ l$ y( {  k8 v; i- l9 `4 V. a4 U2 l: H3 p4 Z
汇编接近机器指令，速度快，但远离自然语言，语句功能专一、琐碎，编写麻烦，可移植性很差，换一个GPU就需要重写。高级语言的发明就是为了解决接近自然语言和软件在不同平台之间的可移植性的问题的，但执行效率不及汇编。
" s: [3 _- k, k' @
* Z8 t6 U. I7 u9 t$ z接近自然语言很重要，这样更人类思维，编程和阅读容易，纠错也容易。跨计算机平台的可移植性也很重要，不仅更新更快的芯片出来了，重新编译一下又可以执行，换上完全“不同路子”的计算机也能执行，比如WinTel换到Unix或者iOS环境下。但编译出来的执行时效率不及汇编。, X$ ]% ^" [2 g2 j
% w4 A' R2 U5 b4 X) _
DeepSeek绕过了CUDA，但通用大模型要是“绑定”在H20卡上，那就亏了，换卡就要重新编写和测试一遍。
2 S  b3 A! d6 |( w* A) ^; i! K$ @) q) `  @$ O& z/ D1 Q
好在大模型的一大神迹就是按照自然语言的要求写程序。换到这里，只是直接写到PTX一级。这个问题解决了，可移植性比CUDA还好，直接用更加接近自然语言的伪码了。
) a& j. i* [# p" s$ R5 m* _, D$ Q3 j) ]$ x3 S& x, N, b" U
即使以后不用PTX了，也就是重新训练大模型改用新语言的事。换句话说，大模型代替高级语言的工作了。
0 I" v4 M# R, l7 A
& J$ ]4 m  d3 v8 K看来，没有隐忧。9 Z) ~- |& B* T$ ^/ u
作者: WiFi    时间: 2025-2-4 01:15
应该是用的H800，不是H20
作者: 晨枫    时间: 2025-2-4 01:35
WiFi 发表于 2025-2-3 11:156 s) d1 J3 ^- L, v$ a$ A# X9 B5 v6 b
应该是用的H800，不是H20
; R/ |: }2 p& ^# X" @; }/ c* U
两个说法都看到过，我都糊涂了。哪一个更弱？
作者: WiFi    时间: 2025-2-4 02:57
晨枫 发表于 2025-2-4 01:35
! s2 V1 V6 b  X& u1 f! l两个说法都看到过，我都糊涂了。哪一个更弱？
1 n  [2 R  G4 M3 w
Nvidia's H800 was launched in March 2023 and is a cut-down version of the H100.6 {: j5 p' R  T* B3 T
The H20 is expected to be available for important clients in early 2024, with a wider release in the second quarter
! W, H2 J: O" O  \* z9 [( s' Z- _1 G# L: z. m
H20比H800新一代。应该更好一些。
作者: xiejin77    时间: 2025-2-5 13:58
相比于绕开cuda的突破，其实ds自己设计的Fire-Flyer AI-HPC框架，更值得自豪。5 ?+ K% n. i% @
2 {% B) ]3 b0 b
在训练的尝试中有意绕开了多卡之间必须依赖的nvlink的瓶颈，而这个其实是老黄在硬件底层的护城河，更深也更黑。
作者: 晨枫    时间: 2025-2-5 14:13
xiejin77 发表于 2025-2-4 23:58/ Q# y+ @. E* @- A: \
相比于绕开cuda的突破，其实ds自己设计的Fire-Flyer AI-HPC框架，更值得自豪。
! v7 [. k4 j# ~" Q* ^- M( Y$ t- _% F1 X  I+ Q* m$ y0 Z
在训练的尝试中有意绕开了 ...

# R: i" k2 R. |% J* B' l( }这个能展开说说吗？
作者: xiejin77    时间: 2025-2-5 14:21
晨枫 发表于 2025-2-5 14:13" P% f+ v* u" S* ]% C
这个能展开说说吗？
) s" o! t. ~2 m
ds自己有篇论文，我找时间专门解读一下吧
作者: 晨枫    时间: 2025-2-5 14:30
xiejin77 发表于 2025-2-5 00:21
  g5 u) u- v0 _, D8 s" G! Pds自己有篇论文，我找时间专门解读一下吧
0 k3 L. x6 Q9 M
多谢。恭候。8 P' _6 {7 C: d  \

* n5 U  t- A- O0 z/ @2 PDS倒是真开放哈。
作者: xiejin77    时间: 2025-2-5 15:08
WiFi 发表于 2025-2-4 01:15
6 z; s7 d* Z, Q& j* E2 }! I4 m应该是用的H800，不是H20
: b2 N/ N8 l/ B0 O0 T! V- ]
晨大的这个说法，我查了一下资料和信源，正好我之前写过ds-v3的解读。感觉可能是有点偏差。
+ J! C5 U7 y; _% U7 i7 Q( W* m, X
Parallel thread execution就是PTX。这是一种底层的N卡指令集架构的中间语言，cuda也用ptx，在这一点上确实是类似asm。
4 k# p3 r$ X7 F( k% [1 U& c1 Z: X0 |
% h9 N+ o+ i9 P  f7 `但根据ds自己的论文看，他们用ptx不是为了绕过cuda，而是为了优化效率：9 L; a) K6 V0 C, o0 C- ^" d9 |/ E
In detail, we employ the warp specialization technique (Bauer et al., 2014) and partition4 J1 _7 y- z% `, A5 i
20 SMs into 10 communication channels. During the dispatching process, (1) IB sending, (2)
  ~2 S+ l' _$ p8 J0 W/ q: K" _3 iIB-to-NVLink forwarding, and (3) NVLink receiving are handled by respective warps. The
* |" E1 R* z2 i/ K( anumber of warps allocated to each communication task is dynamically adjusted according to the
! g# b+ u3 T9 Qactual workload across all SMs. Similarly, during the combining process, (1) NVLink sending,- v# G; T( w* P* y- p3 [9 q
(2) NVLink-to-IB forwarding and accumulation, and (3) IB receiving and accumulation are also
8 \5 C& {2 F% Ghandled by dynamically adjusted warps. In addition, both dispatching and combining kernels
9 G1 u) k5 c4 j. h# `% ]$ E" moverlap with the computation stream, so we also consider their impact on other SM computation' T$ F9 q& n6 y% J
kernels. Specifically, we employ customized PTX (Parallel Thread Execution) instructions and
$ t* e% F7 y" k. Kauto-tune the communication chunk size, which significantly reduces the use of the L2 cache
- k7 V' ~* K5 K, N. ?and the interference to other SMs.

0 L5 J* X" D7 J8 O) O3 o! P( X( W4 D+ ^6 F  W+ R# e
理论上说基于ptx的话，N卡可用，华为的910c是不能用的。所以不存在通用性的可能，更像是ds的团队逢山开路遇水架桥的给cuda打补丁。+ S3 t: b& w* ?/ X' s
作者: WiFi    时间: 2025-2-6 01:33
xiejin77 发表于 2025-2-5 15:08* n0 U) `+ R3 r. G0 L
晨大的这个说法，我查了一下资料和信源，正好我之前写过ds-v3的解读。感觉可能是有点偏差。
- G" X9 U0 @. @. ^
9 k' c! e* M+ Z" X- x, NParallel th ...
) c' x& t3 {1 N+ t6 G0 H; R
同意谢总的分析
作者: 晨枫    时间: 2025-2-6 02:13
xiejin77 发表于 2025-2-5 01:08
- C3 u4 a$ s' B5 p3 ^晨大的这个说法，我查了一下资料和信源，正好我之前写过ds-v3的解读。感觉可能是有点偏差。! `9 `* J9 E( \, T

- ~) f6 ^8 s( x4 j# N( uParallel th ...
; R# E- m% z2 N' r& O
PTX是不是本来就chip specific？有可能利用大模型反过来把PTX写的东西反过来生成伪码，再针对新芯片的相当于PTX的指令集生成新的软件？这可能丧失了直接用PTX的优化作用，但重获了CUDA的可移植性？
作者: xiejin77    时间: 2025-2-6 08:42
晨枫 发表于 2025-2-6 02:13
! P# R( k5 E4 w% N8 A9 uPTX是不是本来就chip specific？有可能利用大模型反过来把PTX写的东西反过来生成伪码，再针对新芯片的相 ...
8 b9 v) [8 Q% Z5 E
晨大好。+ _0 e' a% f2 {1 A. c7 G- C
! h) E9 D9 U6 c5 ?  {4 X% b6 K
我的理解，类asm的语言都是和硬件架构和芯片的指令集深度绑定的。6 |2 e( I! ]  ]2 B" ?
0 c/ g$ v3 M4 L) S2 V3 ^0 K; h% [+ L
您这思路，理论上可行，但是就像用谷歌翻译来回古文一样，偏差会大到不忍卒读。
) C9 Y3 E1 i4 N" K. o# e. ?- a) q: D) d0 ~
其实ds并没有想绕开cuda，他的V3版本都是在N卡的体系里做的。9 u8 q0 U2 M4 {9 l

2 |  @# h' [( a/ K5 p6 e要知道，老黄的护城河可不仅仅是cuda生态和ptx，nvlink和IB网络框架才是最底层的壁垒。顺便说一句，DS嫌nvlink的故障率太多，边用边吐槽，还整了一套新架构出来。不过多机多卡的大集群，IB网络近期很有可能是绕不开的，最多就是减少带宽消耗而已。
作者: 晨枫    时间: 2025-2-6 08:50
xiejin77 发表于 2025-2-5 18:42+ E, Y# q0 D. \/ {+ q, @
晨大好。
% ^8 H; w0 B3 Y% N8 b& Z5 r) ^4 _$ g5 H1 y. z. }7 i
我的理解，类asm的语言都是和硬件架构和芯片的指令集深度绑定的。
8 H  r/ ^, y  h8 p- V/ g
多谢解释。那DS为什么不直接用CUDA，还要费事用PTX呢？
作者: xiejin77    时间: 2025-2-6 09:14
晨枫 发表于 2025-2-6 08:50
+ N; B) H% @0 _5 j, H1 [多谢解释。那DS为什么不直接用CUDA，还要费事用PTX呢？
' p0 F9 x1 ]# r: O" U
在论文里，这是第3.2.2节的内容
: [/ c6 Y2 u- [, ^# _1 T6 H8 t% ]
3.2.2. Efficient Implementation of Cross-Node All-to-All Communication# e* N0 U" G) a' L
In order to ensure sufficient computational performance for DualPipe, we customize efficient
' [" h6 t8 _5 u# m. ~/ pcross-node all-to-all communication kernels (including dispatching and combining) to conserve
. N2 W  L6 U. o$ uthe number of SMs dedicated to communication. The implementation of the kernels is co￾designed with the MoE gating algorithm and the network topology of our cluster. To be specific,: g  e: W' g! E5 i% g/ O) ]
in our cluster, cross-node GPUs are fully interconnected with IB, and intra-node communications
  n4 F5 |1 o0 g( Zare handled via NVLink. NVLink offers a bandwidth of 160 GB/s, roughly 3.2 times that of IB  w( e* K6 R* I* E/ B
(50 GB/s). To effectively leverage the different bandwidths of IB and NVLink, we limit each
# U3 h/ S& d$ k( ltoken to be dispatched to at most 4 nodes, thereby reducing IB traffic. For each token, when its! Q0 [3 {& |# i
routing decision is made, it will first be transmitted via IB to the GPUs with the same in-node
/ r2 |) h3 }' }/ tindex on its target nodes. Once it reaches the target nodes, we will endeavor to ensure that it is
8 v8 S9 j1 X# |. q% rinstantaneously forwarded via NVLink to specific GPUs that host their target experts, without6 U' [7 w# Q* X: ^
being blocked by subsequently arriving tokens. In this way, communications via IB and NVLink
1 K, A2 x& y0 P5 F1 Xare fully overlapped, and each token can efficiently select an average of 3.2 experts per node
( K  n" L) c& twithout incurring additional overhead from NVLink. This implies that, although DeepSeek-V3' b+ k8 G  }, ~, ], l
13
8 G$ q5 a$ U/ O( Aselects only 8 routed experts in practice, it can scale up this number to a maximum of 13 experts
4 g+ v1 s& D% l(4 nodes × 3.2 experts/node) while preserving the same communication cost. Overall, under
* u5 _( v) K* b' I" H, |2 Jsuch a communication strategy, only 20 SMs are sufficient to fully utilize the bandwidths of IB$ k  V; R+ R0 y# V3 L
and NVLink.. N8 {0 e8 d$ A. E6 R8 U  R
In detail, we employ the warp specialization technique (Bauer et al., 2014) and partition
& Z: q8 \; W- L# W20 SMs into 10 communication channels. During the dispatching process, (1) IB sending, (2). x: p+ ^, z, B* ]# p
IB-to-NVLink forwarding, and (3) NVLink receiving are handled by respective warps. The3 v) C# T/ D# H4 N' W; `$ F
number of warps allocated to each communication task is dynamically adjusted according to the
9 J8 e/ L* ^$ c7 F3 c- k: N2 R) wactual workload across all SMs. Similarly, during the combining process, (1) NVLink sending,* D: S8 w9 p* p1 Q* y' j0 K' E  R# M
(2) NVLink-to-IB forwarding and accumulation, and (3) IB receiving and accumulation are also
( L2 a$ o( [' d$ _handled by dynamically adjusted warps. In addition, both dispatching and combining kernels
" ?% P: e) Z. a" C2 X7 u6 W) |overlap with the computation stream, so we also consider their impact on other SM computation: G: {6 E. U- {; k3 [
kernels. Specifically, we employ customized PTX (Parallel Thread Execution) instructions and
& d  O2 J0 q2 W" F6 |# Qauto-tune the communication chunk size, which significantly reduces the use of the L2 cache$ X' y0 ]/ Q' Z1 r$ ^
and the interference to other SMs.3 X. ?9 a$ B- g5 Z/ i. B
5 s; @* t1 j$ f. h4 c
通俗一点说，就是为了实现高效的跨节点全面通信。解决的问题本质上和唐家山老师日志里说的双机对拷的场景差不多。一般来说单机多卡之间用nvlink，多机多卡之间依赖IB网络，但nvlink的速率是IB网络的速率的3.2倍，需要通过一些优化来实现更好的传输策略。这是一整套方案。
4 T9 C4 G1 T& _$ c2 k' Y3 o& p3 e
% B1 d6 `. @* U" T/ ^6 P我的理解，使用PTX在其中，是为了更精准的定制线程执行减少通信块分配传输之间的串扰。
$ I* O* q) `% a, O: Q
) K- J; c/ R: _7 o$ H4 j! E- j目的不是为了绕cuda，反而是为了让cuda的效率更高。/ c. M5 f4 a  d1 B! c! O: x

/ C: K, U+ q3 N类比一下，就好比发现网卡驱动在对拷特定内存块的时候会和应用的线程执行出现串行导致效率降低，而绕开操作系统定义的与网卡驱动的接口，直接使用网卡支持的指令集进行了优化。
作者: 唐家山    时间: 2025-2-6 09:51
本帖最后由 唐家山 于 2025-2-6 09:53 编辑 / v$ H3 Q* e+ H' ?$ u
晨枫 发表于 2025-2-6 08:50% O( ]* f" A' u) B+ q  n; L
多谢解释。那DS为什么不直接用CUDA，还要费事用PTX呢？

3 c2 C. D3 E8 p
, U: E% h# v- v# Z+ e应该是性能的原因。打个比方吧，操作系统内核一般都是用C语言写的，但是一些关键部分会用汇编语言来写。原因就是汇编语言的代码（指令）比C语言编译后的代码（指令）的性能要高。
作者: 晨枫    时间: 2025-2-6 09:53
唐家山 发表于 2025-2-5 19:51
; t8 L0 z' l5 r+ g: w3 T应该是性能的原因。打个比方吧，操作系统内核一般都是用C语言写的，但是一些关键部分会用汇编语言来写。 ...

1 f5 _' J0 s; C8 ]  O: @多谢解释。
" u% F  W8 ?1 D+ ^2 s+ F7 Q+ v; L+ M+ [8 M. L% Y
那DS如果把模型移植到华为芯片，应该需要重写软件吧？而且无法从原有的CUDA架构下移植？
作者: xiejin77    时间: 2025-2-6 09:58
本帖最后由 xiejin77 于 2025-2-6 10:01 编辑 # R" [" }: [7 v  m
晨枫 发表于 2025-2-6 09:53( r: I% ~. e! V! f2 c
多谢解释。
! D& ?5 L, y- ]; _, N% d: k& q
- }- B1 ]- ~/ a' s那DS如果把模型移植到华为芯片，应该需要重写软件吧？而且无法从原有的CUDA架构下移植？ ...
$ Y5 {% R: |: K3 z3 x* N, Y

( {; h: U" J2 n& y  [  H3 X3 s这部分是DS用来做模型训练、推理的辅助工具软件使用的底层驱动，理论上说，效率可以接受的情况下是不需要做移植。cuda和华为cann工具链生态的顶层封装其实很像，真正需要适配的是这一部分。
, C5 B" ?& o: O- w/ M, h
4 n  @& c$ z5 w$ Y8 _华为自己好像发过新闻，ds的670B版本可以在910c的集群上用，但性能只有60%。$ \5 t5 M2 d7 f6 L" n5 {& v

: g) f% B& @+ y& g, h" b  b大模型的生态产业链其实挺长的，从芯片、数据，算力底座，网络等等等等。甚至连某些小众的领域都可能成为大模型生态链的瓶颈，比如支持rdma的全速网卡和超越IB网络的路由器。这一方面国内还有很长的路要走，很多的坑要踩……
作者: 唐家山    时间: 2025-2-6 09:59
本帖最后由 唐家山 于 2025-2-7 09:02 编辑 / O: T# h4 l3 z& Z$ S4 M4 r
晨枫 发表于 2025-2-6 09:53
1 L, r' L5 e: c9 |( d( ^# O6 M多谢解释。9 }- C& v% Q; J, m7 D6 l5 @9 X0 s

. a8 a% W+ z( [6 p! N那DS如果把模型移植到华为芯片，应该需要重写软件吧？而且无法从原有的CUDA架构下移植？ ...

5 P. Z5 s% u3 Z0 m0 S+ L* t* I& }; k, o
确实需要重写。不过重写软件的代价并不像外界想象的那么高。显卡（计算卡）的硬件架构比较简单，上面用的指令集基本上都是相同或类似的。从CUDA架构移植也不麻烦。真正麻烦的地方，是经常会有一些隐藏的bug需要fix。/ U# K! z/ Z  h( f, Z2 @

9 w( n7 Z2 w& H- J3 S+ Z更正：刚才查了一下。各个厂家的GPU指令集在架构设计、编程模型上差别还是挺大的，不能直接移植。这是我想当然了。另外，早期的显卡上的操作比较简单，现在的显卡（计算卡）的操作已经相当复杂了。以后还得学习之后再发言，否则就闹笑话了。
作者: 晨枫    时间: 2025-2-6 10:02
xiejin77 发表于 2025-2-5 19:58! u. a, q$ z  q3 N; J+ K
这部分是DS用来做模型训练、推理的辅助工具软件使用的底层驱动，理论上说，效率可以接受的情况下是不需要 ...
9 S: G# P2 B: f& N; b. }% D
嗯，不大懂，看来way over my head了，就不去勉强搞懂了。
) a, p% n9 N9 h- W4 r( M7 h: k  t; J
多谢解释。
作者: 晨枫    时间: 2025-2-6 10:04
唐家山 发表于 2025-2-5 19:59
. V/ f0 g0 J% C& K- O4 _) S确实需要重写。不过重写软件的代价并不像外界想象的那么高。显卡（计算卡）的硬件架构比较简单，上面用的 ...
  f: N, V1 v/ c/ G% ~7 f' `
多谢解释。' G4 u, a" c) J- @
! {, y, f" \: U/ y4 K  p
我用过的语言不多，除了常用的科学计算语言，工控语言用的比较多，各厂家之间基本上无法移植，还不只是语句上的差别，有些架构上就不一样。但看来图形卡的专用语言没有那么不同。
作者: 唐家山    时间: 2025-2-6 19:31
本帖最后由 唐家山 于 2025-2-6 19:56 编辑 " r6 Q5 e3 w2 D, L' s5 Z
晨枫 发表于 2025-2-6 10:04' Y# s# P4 \" K
多谢解释。
5 T3 d' w- r3 ?  l- B" K! H* G
' f2 b; E; l/ D我用过的语言不多，除了常用的科学计算语言，工控语言用的比较多，各厂家之间基本上无法移植 ...
' X6 J! q, t& Z- a; x/ a
8 e; `3 A( l) p0 b& p4 R
刚才查了一下。各个厂家的GPU指令集在架构设计、编程模型上差别还是挺大的，是我想当然了。另外，早期的显卡上的操作比较简单，现在的显卡（计算卡）的操作已经相当复杂了。以后还得学习之后再发言，否则就闹笑话了。
作者: 大黑蚊子    时间: 2025-2-7 00:43
xiejin77 发表于 2025-2-6 09:58  u& N! b$ F/ K3 K5 V$ c2 ]
这部分是DS用来做模型训练、推理的辅助工具软件使用的底层驱动，理论上说，效率可以接受的情况下是不需要 ...
, q  n; |1 v) A& f
DS训练用的是自己以前买的A100/H800，H100有没有，有多少，印象里DS没说
& i2 v& g& ~1 w; A2 kDS自己也买了很多华为的910B，事实上国内大厂（阿里、腾讯、字节啥的）都大量在买华为的910系列用于训练
4 s. M  g- M4 V  G9 ~5 d, S买H100以及GB200那些不是不行，涉及到制裁和转运，内部合规都很难，实际采购量很少" `9 g2 f, }0 E- C5 T0 H) c0 d
至于特供中国的H20，这货做训练不行，做推理也不行，卖的相当不行，之前WSJ还是谁来着吹说中国要买100万张狗屎H20，后来被证明纯属YY，可能实际采购量连这个数的5%都不到' B5 A% w- l9 k3 q/ T+ L- U, S
nVidia一直以来的政策，是消费级显卡不能用来商用，也就是说4090不能用来搞训练啥的。之前各家大厂因为还要从老黄那里买卡，也就捏着鼻子认了买高价货，结果老美一刀切之后，反正特么以后也没生意做，干脆掀桌子，鼓捣出用4090芯片+3090PCB板+魔改48G显存的4090ProMax商用版，一块不到3万人民币，用来跑推理性价比高得出奇。
# U6 T* f, G; W于是在市场上就出现了二手4090一万六秒收（这货刚上市的时候卖1万3，用了2年多白嫖还能挣几千块），然后PDD上大把一百块一套的4090手办（4090PCB+全套散热，就是没有芯片和显存，本来是垃圾不值钱，所以能卖多少卖多少）
作者: 晨枫    时间: 2025-2-7 00:59
大黑蚊子 发表于 2025-2-6 10:43
( T2 u" l% B0 P( q( L  W* TDS训练用的是自己以前买的A100/H800，H100有没有，有多少，印象里DS没说
# L+ ?1 c7 H1 [# D# w. aDS自己也买了很多华为的910B，事 ...
5 ]! Z6 @' {5 g. W
长期看来还是得上国产卡啊。1 g! v: n2 R3 P  C
4 ]& n: P# N$ v! w
不过美国也真是郁闷。中国这蛋糕没得吃舍不得，吃了，结果人家老母鸡变鸭了，防也防不住。
作者: 大黑蚊子    时间: 2025-2-7 01:03
晨枫 发表于 2025-2-7 00:59
! z3 Y, s* v5 Z& W6 v  x( G# T" f长期看来还是得上国产卡啊。
+ P7 k" r8 u3 H, |+ ~' t. c
4 W9 y7 `. W# O不过美国也真是郁闷。中国这蛋糕没得吃舍不得，吃了，结果人家老母鸡变鸭了 ...
8 y; }/ Z/ ^! s  P$ b/ D
看我这记性，说了一大堆是因为nvlink而起，关键东西忘说了
# F$ C/ ]3 V5 u910B的单芯片性能据说跟H800差不多，但是多芯片及多卡协同效率不太行，只有60%左右，估计还需要不少路要走
3 Q+ J; t! {5 |* {之前nVidia被制裁的那个高速网卡子公司的独门秘籍就是以太网数据超高速传输
+ D+ i; i" n3 ?1 e! A7 S
作者: xiejin77    时间: 2025-2-7 09:31
大黑蚊子 发表于 2025-2-7 01:03
: k# h# F' c- {7 t% e$ l3 p8 c看我这记性，说了一大堆是因为nvlink而起，关键东西忘说了
3 J- w# A9 m* V4 U# b6 n910B的单芯片性能据说跟H800差不多，但是多芯 ...
2 |& L6 \5 H+ v+ ^/ y7 b3 r: f
蚊行的知识面是真全面。' `7 `' V% E1 l) i
8 J; Y3 |3 V5 b& d0 F9 i+ l1 G
RDMA网卡的品牌厂商主要有三大巨头企业，分别是Marvell、intel、Mellanox，其中Marvell是收购的Qlogic品牌，Mellanox被英伟达收购。国内做这个的，巨头是华为。上海有一家还不错的企业，我去年年底的时候跟他们聊过。但我的印象里Mellanox的口碑最好。& @* q6 c( t* c; P0 w* {
! L/ J$ s4 L9 L- o
但RDMA网卡不是单独发挥作用的，多卡间需要路由器支持。主要的方案是roce2和IB，IB是纯血，搭配SXM的nvlink封装芯片，可以跑满。我印象里，roce2和IB之间有这大约一倍以上的带宽差距。
作者: 大黑蚊子    时间: 2025-2-7 15:36
xiejin77 发表于 2025-2-7 09:31
3 N+ E- O1 x4 F" O蚊行的知识面是真全面。: `% g. E; ~' _9 u9 p5 N. ~
# j" g6 M5 d5 e; E; I% J* a2 {2 W
RDMA网卡的品牌厂商主要有三大巨头企业，分别是Marvell、intel、Mellanox，其中 ...

% d. ]# I; M7 W  p: c1 A- H: mMellanox的产品好像是nVidia钦定，意思是只有用他们的方案才能达到数据中心卡间互联的预设效率) X3 N; b  R2 e3 h
因为这个，中国商务部指责nVidia在收购Mellanox的时候给出的承诺不实



欢迎光临 爱吱声 (http://aswetalk.net/bbs/) Powered by Discuz! X3.2