CopoHub Trending

deepseek-ai/3FS

A high-performance distributed file system designed to address the challenges of AI training and inference workloads.

C++ · ★ 10,451 · Fork 1,153 · 在 GitHub 查看

在手机上浏览源码、订阅每日 AI 趋势日报与项目架构深度解读:获取 CopoHub 客户端(iOS & HarmonyOS)→

GitHub Trending 上榜记录

deepseek-ai/3FS 已在 GitHub Trending 每日榜单上榜 2 天,最高排名第 37,首次上榜 2026-11-10,最近一次上榜 2026-11-11。

日期排名Star当日增长
2026-11-11#3710,451+5
2026-11-10#3710,447+5

同期上榜的项目

deepseek-ai/3FS (Fire-Flyer File System) 项目深度剖析与商业评估报告

deepseek-ai/3FS (Fire-Flyer File System) 项目深度剖析与商业评估报告

---

1. 核心定位与商业落地价值

1.1 核心痛点剖析 在大规模大语言模型(LLM)的训练与推理生命周期中,传统的分布式存储架构(如 Lustre、Ceph、GPFS 或基于云厂商的对象存储挂载方案)正面临严峻的“I/O 墙”瓶颈: 训练数据加载(Dataloader)吞吐受限: 万卡集群需要对海量语料进行随机采样读取。传统文件系统的元数据锁机制与文件系统缓存失效会导致严重的 GPU 等待(Starvation)。 断点续训(Checkpointing)写入停顿(Stall): 百万亿参数模型权重写入需要聚合数百 GB/s 乃至数 TB/s 的瞬时写带宽,保存耗时直接侵蚀 GPU 的有效计算时间(MFU 下降)。 长文本推理(Inference)KVCache 离散存取: 随着上下文窗口扩展至 128K~1M+ Tokens,DRAM 容量成本不可承受,需要高吞吐、低延迟的外存化 KVCache 分级存储。

3FS(Fire-Flyer File System)由 DeepSeek(深度求索)开源,定位为专为 AI 计算负载深度定制的高性能存算分离分布式文件系统。它通过软硬件协同设计(现代 NVMe SSD 池化 + 全栈 RDMA 网络),彻底打破了数据本地性(Locality-Oblivious)依赖,将整个集群的固态硬盘吞吐与网络带宽虚拟化为一个共享的高速数据平面。

1.2 企业级落地场景 1. 超大规模 AI 预训练与微调集群: 作为全局底座存储,承载 PB 级未经切分的原始数据集随机加载,消除了训练前繁琐的数据预分发、本地复制与预取(Prefetching)逻辑。 2. 高频 Checkpoint 秒级快照转储: 配合 PyTorch 等分布式训练框架,利用数 TB/s 的并发吞吐能力将 Checkpoint 写入开销压缩至秒级。 3. 大模型推理引擎的外部 KVCache 交换池: 作为 GPU HBM、Host DRAM 之后的第三级缓存层,以 SSD 成本实现接近内存级访问密度的分布式上下文换入换出。 4. 高性能分布式 ETL 与分布式排序系统: 如配合 DeepSeek 自研的 smallpond 处理 PB 级数据清洗与大规模 GraySort 任务。

1.3 生态位与竞品差异化分析 | 维度 | 传统 HPC (Lustre / GPFS) | 通用云原生 (Ceph / JuiceFS) | 商业自研 (VAST Data / WekaIO) | deepseek-ai/3FS | | :--- | :--- | :--- | :--- | :--- | | 元数据架构 | 集中式 MDS / 分布式锁,存在瓶颈 | 基于通用 DB / 集中式元数据 | 专有软硬件一体化,闭源高昂 | 无状态 MDS + FoundationDB 分布式事务引擎 | | 数据一致性 | 复杂的分布式锁管理器 (DLM) | 多为最终一致性或基于租约机制 | 专有协议一致性保证 | CRAQ 强一致性模型 (链式复制 + 分摊查询) | | 网络传输 | 支持 RDMA,但遗留代码负载重 | 偏向 TCP/IP,RDMA 支持有限 | 全自研网络协议栈 | 全链路 RDMA 旁路设计,低 CPU 介入 | | 开源与成本 | 运维复杂度极高,难以定制 | 开源生态繁荣,但性能极限受限 | 商业闭源,软件授权费用昂贵 | 完全开源 (MIT),拥抱通用 NVMe + IB/RoCE |

3FS 的核心商业护城河在于:它是目前唯一在大规模工业级 MoE 生产集群(验证规模达 180+ 存储节点、6.6 TiB/s 聚合读带宽)中经过高强度验证的、完全开源的高性能全闪分布式存储系统。

查看完整 AI 分析 →

在 README 中展示上榜徽章

GitHub Trending

[![GitHub Trending](https://github.fq6825.top/badge/deepseek-ai/3FS.svg)](https://github.fq6825.top/repo/deepseek-ai/3FS)