爱吱声

标题: DeepSeek开源了自己的Infra秘笈 [打印本页]
作者: 大黑蚊子    时间: 前天 17:00
标题: DeepSeek开源了自己的Infra秘笈
还发了一篇技术报告，DeepSeek V4.1 Flash 大规模推理部署实践，具体链接在这里1 U( S1 U  J2 b
这篇报告很有意思，甚至可以作为我们评估AI 大模型的一条新的基准线。2 q7 }- h7 J' X$ |3 R* H/ p
2 X/ @. v; L; K% t( U: A
随看随说，想到哪里说到哪里。
2 Z" t8 A7 W, U" `6 k! w
& y7 L) }8 N; V1、DS 4.1 flash这个版本感觉梁圣非常满意，三个特点：多芯片兼容；P/D完全解耦；KV Cache保留72小时
& }" n& d. E+ u8 N& |4 ~. U1 K- J这三个特点分别对应了多算力来源、P/D均衡优化以及恐怖的Cache复用率
0 P9 B9 m! M+ b5 P$ R4 A2 y总的来说就是俩字：省钱！
$ _0 A+ l3 J! N/ M) b5 a# F' i' w* P% p' c; w' G' R
2、目前单一集群的服务吞吐是 155 万亿 Tokens/天，整体收入是每卡每小时 38 美金（按谷价）。AMAZON自己出租卡最贵也不过18美元一小时，好像最便宜的可能不到5美元一小时，按照亚马逊最贵的这个数据来算，DS的推理服务利润率之高都堪比央行印钞。
1 ], Q' O, L; c1 |- e2 L
  N4 L6 x/ {$ {; \. \- i7 S# ^$ p+ A这也验证了DS LLM API服务不亏钱，甚至梁圣那个”硬件10个月回本“在数据计算之下都显得那么虚伪，明明是最多5个月回本好伐* i8 l( V; R1 g* x& x8 T
$ d0 S  R' X; q+ e. N  ]
DeepSeek 便宜是因为成本低，不是靠补贴。
0 k( E( [9 w# }  _
5 c8 {: @  c3 {1 v; {3、Vision Encoder: 一般单卡部署就可以，建议用可用范围内最便宜的卡部署。
  E; B; U5 `% @, H, w# m现在知道那些A100为啥还在干活了吧，搞不好L40都还在机房里被压榨。
  n7 }) ]# J' X, O3 `6 r. B7 M0 _: o* }0 v
4、考虑到OpenAI对prompt缓存30分钟的写入要收12.5刀，12小时的要翻倍到25刀。这么高的成本被DS的72小时Cache给化解了。我现在感觉openAI的重置大法也不亏钱，他们在装穷，他们在哭穷！9 v& B! f3 U! @; T1 Q
. t6 `- o* M2 H  `
再想一下，Token产量和GPU的需求应该不是完全线性的，很可能达不到1：1
3 p3 }, C( B+ X! R; ^4 K- U( J2 }7 h7 o' J. N0 R
5、鉴于如此逆天的KV Cache能力，DS用这种工程奇葩（此处为褒义）降低了对HBM的依赖，那么对NAND和DDR的需求应该是增长很多的。而这部分国内是有相对独立的产能。同样超大集群所对应的系统互联：网卡、交换机、光纤及光模块也尤为重要，甚至很可能越来越重要* V: h% X8 q0 x# T9 O/ r
0 k9 n& R' h; a3 A# o4 V% y: x
6、文中反复提了3FS 分布式文件系统，全称是Firefly File System，这是DS在疫情之前就搞出来的技术，同样开源了
7 V, ~5 J1 M! s* h9 H) w) B% ^! H
7、看完这个我怀疑中美虽然有20-50倍的硬件算力差距，但是实际能够调动起来的算力差距，搞不好很可能比这个数字要小得多
* v8 m- }, L' R% T" R* w( Y( ?9 e6 z& I. G5 _- l
8、任何对AI需求的低估，都会在事后被狠狠打脸
+ H4 r. t$ D2 {9 N8 ^7 L
作者: leekai    时间: 前天 20:04
本帖最后由 leekai 于 2026-10-21 20:18 编辑 ; p1 U/ J& N1 n3 i( L: |

$ C, z# M4 e* n- l/ p1 {- j  i* h第7条你不用怀疑，是确定。6 Y1 w7 \5 F; S
DS应该是用汇编级的改写实现的N卡算力压榨，还有他去年公开的DualPipe、DualPath、DeepEP和UCCL-EP就是重新编排数据流、软硬件协同的系统论思想在大模型运营方面的初步尝试，今年更进一步。
7 e# D( J7 y5 m6 R% n% G9 Y去年deepseek横空出世，打崩了NVIDIA股价，我预言这是暂时的，r1及蒸馏版降低了大模型的普及门槛，后续会极大带动NVIDIA销售。至少我买了两块2080魔改（原来的GTX TITAN Black驱动不能升级，cuda版本过低），给我的E5神机扩了256G内存。今年v4优先适配华为等国产芯片，才会真正打击到NVIDIA。让我们拭目以待。
作者: holycow    时间: 前天 20:09
本帖最后由 holycow 于 2026-10-21 06:15 编辑 * c! c+ L& ?: ^- ?; Y: z1 R
  }/ M# o$ P6 z. p5 T+ I' b  m
假定A/O两家Infra是大肥鱼减半档的水平，给个毛估估的市值吧。又，记得阿猫呆说过推理的毛利率80%, 对得上。
作者: 大黑蚊子    时间: 昨天 15:56
holycow 发表于 2026-10-21 20:09
( E# W4 N  S) A% d9 d' V% M8 }假定A/O两家Infra是大肥鱼减半档的水平，给个毛估估的市值吧。又，记得阿猫呆说过推理的毛利率80%, 对得上 ...
6 g/ T3 A3 C) j: U) `: w
没法给，这货DCF是完全不适用的
3 G% L! k- b' N9 i0 `如果用替代性估值法的话，所有AI公司的估值按照10%的全球白领工作总价值算？0 O8 Y* c7 l* k1 m
美国豆包给我个数据是23万亿美元，那就是2.3万亿?
6 w( E6 ~( b4 i- {拍脑袋给个5倍PE，然后考虑竞争因素，我觉得现阶段A/O两家能给到各1万亿美元估值就已经很吓人了



欢迎光临 爱吱声 (http://aswetalk.net/bbs/) Powered by Discuz! X3.2