Deepseek 3FS 与 NVIDIA Magnum IO 漫谈

xiejin77

AI 时代，数据“水管”哪家强？—— Deepseek 3FS 与 NVIDIA Magnum IO 漫谈

  f7 T. g4 o6 \/ h# |. V8 @$ t$ TDS在第五天开源的3FS项目，其实是涉及到了一个 AI 时代绕不开的话题：数据存储。别以为这只是硬盘、U 盘那点事儿，对于 AI 来说，存储可不仅仅是个“仓库”，它更像是连接“数据水库”和“计算水泵”的“水管”。“水管”要是细了、堵了，“水泵”再强劲也白搭，AI 的“大脑”会因为“缺粮”而罢工。

& D# w; @' d( e- u% Q! }* G: b为什么这么说呢？想象一下，你正在训练一个聪明的 AI 助手，让它学习自动驾驶。这需要海量的道路图像、交通视频等数据，这些数据就是“水库”里的水，AI 模型则是“水泵”。如果连接“水库”和“水泵”的“水管”——也就是存储系统——不够给力，数据供应不上，“水泵”就会“空转”，训练就会变得异常缓慢，甚至根本无法进行。
- P6 L9 [) s0 C- [
0 v  e" N8 |3 h6 }8 p如今的 AI 模型越来越复杂，需要处理的数据量也越来越大，传统的存储系统就像是“小水管”，渐渐力不从心了。这就好比你试图用一根细细的吸管去喝光一大桶水，那得多费劲！所以，为了满足 AI 的“大胃口”，我们需要更粗、更快、更智能的“水管”。
) }# d( I- n: ?5 c. }( d
" B" {& A9 Y% h* N1 p, U3 K0 yDeepseek AI 公司开源的3FS分布式文件系统，就是这样一根为 AI 量身打造的“超级水管”。这里的“分布式”是什么意思呢？你可以把它想象成一个由许多“小水箱”组成的巨型“水库”，这些“小水箱”通过高速网络紧密相连，对外却呈现为一个统一的整体。这样做的好处显而易见：一是容量可以无限扩展（加“小水箱”就行），二是多个“水泵”可以同时从不同的“小水箱”里抽水，效率大大提高。
4 ^! d- O$ G, P
: h0 C( v: p8 J5 M3FS 的“超级”之处，不仅仅在于它的分布式架构，更在于它的一系列独特设计。首先是软件工程师们熟悉的“解耦架构”，3FS 的“小水箱”可以独立部署，硬件方面只需普通的 SSD 硬盘和高速网络（最好是支持 RDMA 的）即可。这种设计的灵活性极高，可以根据需要随时增加或减少“小水箱”的数量，就像搭积木一样方便，实现了存储容量和性能的弹性伸缩。

, l" I7 `% Y7 _; h- |3 r2 T另外3FS 非常重视数据的“强一致性”。在分布式环境中，多个“水泵”同时抽水，没有好的协调机制，很容易造成数据混乱。3FS 采用了一种名为 CRAQ 的算法，确保数据在任何情况下都不会出错，保障了 AI 训练的准确性和可靠性。为了方便用户使用，3FS 提供了大家熟悉的文件接口，就像我们平时在电脑上操作文件夹一样，即插即用，无需学习。
7 d" @) |6 S3 W" o% S
; l! Z' V; t! B1 e- e. K更重要的是，3FS 不仅仅是一个通用的文件系统，它还针对 AI 的各种应用场景进行了深度优化。在 AI 数据准备阶段，3FS 能够高效地组织和管理大量的中间数据。在模型训练过程中，它能快速、高效地将数据“喂”给 AI 模型，无需像传统文件系统那样进行预取或数据打乱等额外操作。对于大规模模型训练，3FS 支持高吞吐量的检查点（也就是“训练存档”）保存和恢复，大大提高了训练的容错性和效率。在 AI 模型推理阶段，3FS 提供的 KVCache 方案，可以提供更大的缓存空间和更高的访问速度，有效避免重复计算，提升推理效率。

* N# e; W6 D+ _. s! M8 KDeepseek 官方的测试数据也证明了 3FS 的实力。在大规模集群测试中，3FS 的读取速度峰值高达每秒 6.6 TiB（相当于每秒读取数千部高清电影！）。在衡量大规模数据排序性能的 GraySort 基准测试中，3FS 也表现出色。其 KVCache 方案在推理场景下的读取速度更是高达每秒 40 GiB，足以满足对延迟敏感的 AI 应用需求。当然, 作为一个开源的新项目, 3FS还需要时间和更多用户的检验。

除了 3FS，业界还有另一种提升数据访问速度的方案：NVIDIA Magnum IO。如果说 3FS 是一根完整的“超级水管”，那么 Magnum IO 更像是一套“水管加速系统”。它不是一个独立的文件系统，而是一套由 NVIDIA 提供的 I/O 软件加速套件，专门与 NVIDIA 的 GPU（图形处理器）和 DPU（数据处理器）紧密结合，通过优化数据从存储到网络再到计算的整个流程，实现端到端的 I/O 加速。

Magnum IO 的“加速魔法”主要源自几项关键技术。其中最核心的当属 GPUDirect Storage。传统的数据传输模式下，数据需要先从存储设备读取到系统内存，再由 CPU 搬运到 GPU 显存。而 GPUDirect Storage 打破了这种模式，它在 GPU 和存储设备之间建立了一条“直通通道”，数据可以直接从存储设备高速传输到 GPU，大大减少了传输延迟。除了 GPUDirect Storage，Magnum IO 还对整个数据流动的路径进行了全面优化，并利用 NVIDIA 的 DPU 来分担 CPU 的网络和存储 I/O 任务，让 CPU 能够更专注于计算。
% O7 L* S  X) N2 m' {+ N8 `2 y
Magnum IO 是 NVIDIA 整个软件生态系统的重要组成部分，性能表现出色，能够显著缩短 AI 模型训练的时间，降低推理延迟。它广泛应用于深度学习训练、高性能计算、数据分析等场景。其优势在于成熟的 NVIDIA 生态系统、完善的软硬件支持、强大的硬件加速能力。然而，Magnum IO 的核心功能和性能优势高度依赖于 NVIDIA 的 GPU 和 DPU 硬件，通用性相对较弱，而且可能受到出口管制的影响。

除了 3FS 和 Magnum IO，AI的行业中最常用的数管系统架构大都是一些基于键值（KV）存储的分布式文件系统（如 Ceph、Cassandra File System 等），它们利用 KV 存储（类似于一个巨大的“数据字典”）来管理文件元数据或存储小文件，以提高效率。但这些系统通常更适合特定场景，这里就不详细展开了。

那么，面对 3FS 和 Magnum IO，该如何选择呢？简单来说，如果你追求极致性能，希望存储系统灵活、开源，并且不局限于特定硬件，那么 3FS 可能更适合你。如果你已经大量使用了 NVIDIA 的 GPU 和 DPU，希望充分利用 NVIDIA 硬件的性能，那么 Magnum IO 可能更适合你。当然，最好的办法还是根据自己的实际需求来选择，甚至可以将两者结合起来使用。反过来，DS的没有明说的就是隐含选项，可以用相对通用的硬件组合一个适合自己用的“水管系统”，不一定非要依赖NVIDIA的软硬件套件（当然要是有就更好了）。
4 L. n  I' X8 r2 R
在 AI 时代，高性能存储是关键的“基础设施”。Deepseek 3FS 的开源，为 AI 存储领域注入了新的活力。开源意味着开放、共享、协作，它能让全球的开发者共同参与，加速技术的创新和应用, 推动整个AI产业的进步。相信在不久的将来，我们会看到更多像 3FS 这样的优秀开源项目，为 AI 的发展提供源源不断的动力。
原文链接

0 L. F. _* S& f, h; g+ N# w* \