2月28日消息，在不舍與興奮中，我們迎來了DeepSeek開源周第五天。今天DeepSeek開源的項目是：Fire-Flyer文件系統，即3FS。

據了解，3FS是一個高性能并行文件系統，它是所有Deepseek數據訪問的助推器，能應對AI訓練和推理工作負載的挑戰。

它利用現代SSD和RDMA網絡提供共享存儲層，能簡化分布式應用程序的開發，具有以下主要特性：

1、分離式架構：結合了數千個SSD和數百個存儲節點的網絡帶寬，使應用程序可以不受位置限制地訪問存儲資源

2、強一致性：實現了鏈式復制與分配查詢(CRAQ)協議，確保數據的強一致性，簡化應用程序開發

3、文件接口：提供基于事務性鍵值存儲(如FoundationDB)支持的無狀態元數據服務，使用通用的文件接口，無需學習新的存儲API

4、多樣化工作負載支持

4.1  數據準備：高效組織數據分析管道的輸出和管理大量中間結果

4.2  數據加載：支持計算節點間的訓練樣本隨機訪問，消除預取或打亂數據集的需求

4.3  檢查點保存：支持大規模訓練的高吞吐并行檢查點保存

4.4  推理KVCache：提供比基于內存緩存更具成本效益的替代方案，同時提供高吞吐量和更大容量

另外，3FS的核心性能指標表現在聚合讀取吞吐量上，具體體現就是在由180個存儲節點組成的集群中，可實現  6.6 TiB/s 的聚合讀取吞吐量。

在基準測試表現中，在25節點集群的 GraySort 基準測試中，吞吐量可達 3.66 TiB/分鐘；在單客戶端節點的 KVCache 查找峰值吞吐量超過40 GiB/s。

尤其值得一提的是，3FS對于V3和R1中訓練數據預處理、數據集加載、嵌入向量搜索和KV Cache查找等工作，都立下了汗馬功勞，可謂功高蓋主！

網友們表示，3FS和Smallpond為AI數據處理設定了新基準，將改變數據處理的游戲規則。這對于AI演化來說，相當于從自行車升級到了高鐵！大家說，3FS牛不牛！