Skip to main content

在大规模AI大模型训练场景中,存储系统往往是制约训练效率的关键瓶颈之一。数千块GPU并发读取训练数据集、高频写入检查点(Checkpoint)、以及推理阶段的KVCache管理,对底层存储的吞吐带宽、随机I/O性能和并发访问能力提出了极高要求。并行文件系统(Parallel File SystemPFS)正是为此而生——它通过将数据条带化分布在多个存储节点和磁盘上,让所有计算节点能够以接近本地磁盘的速度并行访问共享存储。

本文将系统调研AI训练场景中主要的并行文件系统方案,包括3FSLustreIBM Spectrum ScaleGPFS)、CephFSBeeGFSXSKY MeshFS,从架构原理、性能表现、适用场景和运维复杂度等角度展开分析,为构建AI训练基础设施的技术团队提供选型参考。

AI训练的核心存储挑战

在深入各方案之前,先明确AI大模型训练对存储系统的具体要求,理解这些需求是做出合理选型的前提。

主要存储访问模式

场景典型行为性能要求
数据加载(Dataloader随机读取训练样本,每次几KB到几MB高并发随机读IOPS,低延迟
检查点保存(Checkpoint周期性并发写入全量模型参数,通常几十到几百GB高并发写吞吐,需快速完成
检查点恢复训练中断后读取最新检查点恢复训练高顺序读吞吐
数据预处理大规模批量读写中间数据高吞吐,大文件顺序I/O
KVCache(推理)频繁读写Attention层的Key/Value缓存极高并发随机读写,低延迟

核心性能指标

  • 聚合带宽:所有计算节点并发读写时的总吞吐量,直接决定数据加载速度
  • 随机IOPS:处理大量小文件(如训练样本)时的关键指标
  • 元数据性能open/stat/mkdir等文件系统操作的速度,影响训练任务初始化效率
  • 扩展性:存储容量和带宽能否随节点增加线性扩展
  • 故障容错:在节点故障时能否继续提供服务,不中断正在运行的训练任务

方案总览

下表对本文涉及的六种并行文件系统进行概括比较:

方案开发者开源情况主要应用场景RDMA支持元数据架构
3FSDeepSeek(幻方科技)MIT开源AI训练、推理KVCache、数据分析原生支持无状态+FoundationDB
LustreOpenSFS/DDNGPL v2开源HPC超算、AI训练支持(IB/RoCEMDS/MDT分布式
IBM Spectrum ScaleIBM商业软件企业级HPC、金融、AI支持分布式元数据
CephFSCeph社区/Red HatLGPL开源通用云存储、企业存储有限支持MDS集群
BeeGFSThinkParQ/Fraunhofer社区版免费HPC数据密集计算支持分布式元数据
XSKY MeshFSXSKY(北京星辰天合)商业软件AI训练推理、智算中心原生支持分布式

3FS(Fire-Flyer File System)

3FS是由DeepSeek(幻方科技)研发并于2025年初开源的高性能分布式文件系统,专为解决AI训练和推理工作负载的存储挑战而设计。其名称3FSFire-Flyer File System的缩写。

架构设计

3FS采用存算分离的解耦架构,由四个核心组件构成:

集群管理器(Cluster Manager):负责成员变更检测、集群配置下发和链表(Chain Table)维护。多个管理器通过选主保证高可用,配置持久化在FoundationDBetcd中。

元数据服务(Metadata Service):完全无状态,所有文件系统元数据(inode、目录项)均存储在FoundationDB分布式事务键值存储中,支持序列化快照隔离(SSI)事务语义。无状态设计允许元数据服务在不停机情况下滚动升级。

存储服务(Storage Service):每个存储节点管理若干本地NVMe SSD,提供chunk store接口。使用CRAQChain Replication with Apportioned Queries,链式复制+按比例查询)协议实现强一致性——写请求沿链条头部到尾部传播,读请求可分发到链条中任意节点,充分利用所有副本的读带宽。

客户端:提供FUSE客户端(通用性强,多数应用直接可用)和原生客户端(Native Client)两种接入方式。原生客户端提供基于io_uring设计理念的异步零拷贝API,通过RDMA直接将数据读入用户进程内存,绕过内核,显著降低延迟和CPU开销。

关键技术特性

强一致性:基于CRAQ协议实现强一致,应用无需处理读到过期数据的问题,简化了分布式训练代码的复杂性。

无状态元数据FoundationDB作为元数据后端提供事务保证,元数据服务可随时扩缩容或故障恢复,不存在元数据服务的单点瓶颈。

故障均衡恢复:在存储节点故障时,通过整数规划求解平衡不完全区组设计(BIBD),将故障节点的读流量均匀分散到集群中所有其他节点,避免某几个节点成为热点。

POSIX文件接口:支持原子目录重命名、软硬链接等完整文件语义,无需应用改造。

性能数据

根据DeepSeek官方公开的基准测试数据(来源:GitHub - deepseek-ai/3FS):

测试场景集群规模性能结果
读压力测试(峰值吞吐)180个存储节点(每节点2×200Gbps IB + 16×14TiB NVMe),500+客户端节点聚合读吞吐约6.6 TiB/s
GraySort数据排序25个存储节点(每节点2×400Gbps NIC),50个计算节点排序110.5 TiB数据耗时30分14秒,平均吞吐3.66 TiB/min
KVCache推理读取客户端每节点1×400Gbps NIC峰值读吞吐达40 GiB/s

适用场景

  • AI大模型预训练和微调中的检查点存储与数据加载
  • LLM推理场景的分布式KVCache持久化存储
  • 大规模数据处理流水线的中间结果存储
  • 需要强一致性保证的分布式训练任务

局限性

  • 依赖FoundationDB,增加了运维复杂度(FoundationDB本身需要独立维护)
  • FUSE接口在小随机读场景存在性能瓶颈(内核自旋锁限制约400K 4KiB随机读/秒),需要性能敏感场景使用原生客户端
  • 作为2025年初才开源的新项目,生产落地案例相对有限,社区成熟度低于Lustre等传统方案

参考资料

Lustre

Lustre是目前HPC(高性能计算)领域部署最广泛的并行文件系统,自2003年首次在劳伦斯利弗莫尔国家实验室投产以来,始终占据TOP500超算榜单60%以上席位,包括当前最快超算Frontier700PB存储、13 TB/s带宽)。近年来NVIDIADGX SuperPODAI训练集群也大量采用Lustre作为共享存储层。

架构设计

Lustre采用经典的三层架构:

MDS(元数据服务器):管理文件系统命名空间(文件名、目录、权限等),inode指向一个或多个OST对象而非数据块。Lustre 2.4起支持分布式命名空间(DNE),可将子目录树分布到多个MDT上实现元数据的水平扩展。

OSS/OST(对象存储服务器/目标):存储实际文件数据。文件数据以条带化(striping)方式分布在多个OST对象上,类似RAID 0。每个OST是一个独立的本地文件系统(ldiskfsZFS),存储聚合容量随OST数量线性增长。

客户端:通过Linux内核VFS驱动挂载Lustre文件系统,以POSIX语义访问。Lustre 2.15起支持NVIDIA GPUDirect Storage,允许RDMA直接在存储服务器和GPU显存之间传输数据,消除CPU内存的中转拷贝。

LNet网络层:支持InfiniBandOFED Verbs)、RoCEOmniPathiWARP、以太网TCP等多种高速网络,在支持RDMA的网络上自动利用零拷贝传输。Lustre 2.10起支持多网卡聚合(Multi-Rail),进一步提升带宽。

关键技术特性

文件条带化:每个文件可独立配置条带数量(stripe count,最多可跨2000OST)和条带大小,并发读写单个大文件的带宽随条带数量线性增长。

渐进式文件布局(PFLLustre 2.10引入,允许同一文件在不同偏移范围使用不同的条带策略,例如小文件起始段用单条带减少开销,大文件后续段用多条带最大化带宽。

文件级冗余(FLRLustre 2.11引入,支持类似RAID 1的文件镜像布局,同时提升读性能和数据可用性。

持久化客户端缓存(PCCLustre 2.13引入,允许客户端直接使用本地NVMe/NVRAM缓存热数据,同时保持文件在全局命名空间中可见,显著提升热点文件的访问延迟。

GPUDirect StorageLustre 2.15起支持,可显著降低GPU训练任务的数据加载延迟。

HSM(层次化存储管理):支持将冷数据自动迁移到磁带等低成本介质,保留访问存根,实现热冷数据分层管理。

性能数据

  • Frontier超算ORNL):使用Orion Lustre文件系统,存储容量700 PB,聚合带宽13 TB/s(来源:Oak Ridge National Laboratory
  • 单客户端带宽100 GbE接口可达>11 GB/sInfiniBand EDR接口可达>11 GB/s(来源:ORNL Lustre Networking Technologies
  • NVIDIA Selene DGX A100 SuperPOD:使用Lustre作为训练存储,支撑大规模AI训练(来源:OpenSFS LUG2021

适用场景

  • 超大规模AI训练集群(数百到数千节点),需要高聚合带宽
  • 需要与SlurmHPC作业调度系统深度集成的场景
  • 现有HPC基础设施向AI训练转型
  • 有商业支持需求(DDN ExaScalerHPE ClusterStorAWS FSx for LustreAzure Managed Lustre等)

局限性

  • 元数据操作(尤其是小文件密集型工作负载)存在瓶颈,尽管DNE已有改善
  • 部署和运维复杂度较高,需要专业HPC存储工程师
  • 内核模块形式的客户端在内核升级时存在兼容性问题(主线内核不包含Lustre客户端)
  • 商业支持版本(如DDN)费用较高

参考资料

IBM Spectrum Scale(GPFS)

GPFSGeneral Parallel File System)是IBM1998年起商业化的企业级并行文件系统,现品牌名为IBM Storage Scale(曾用名IBM Spectrum Scale)。它被全球最大规模的商业公司和部分TOP500超算广泛采用,包括排名第一的Summit超算(2019TOP500第一,配置200 Petaflops9000+POWER9处理器和27000NVIDIA Volta GPU,存储系统称为Alpine)。

架构设计

GPFS是一个共享磁盘(Shared-Disk)或共享无共享(Shared-Nothing)分布式并行文件系统,支持两种模式混合部署。

核心架构特点:

  • 分布式元数据:目录树和其他元数据分散在整个文件系统中,没有单一"索引服务器",避免元数据瓶颈
  • 分布式锁管理:实现完整POSIX语义(含独占文件访问锁),支持AIXLinuxWindows异构混合集群
  • 内置RAID:虚拟化底层块存储,提供冗余和并行访问
  • 分区感知(Partition Aware:通过心跳协议检测网络分区,在最大分区中保持文件系统可用,实现优雅降级
  • 在线维护:添加磁盘、数据再均衡等操作无需停机

关键技术特性

多平台支持:支持AIXLinuxx86/Power/IBM Z)和Windows Server,是覆盖平台最广的并行文件系统之一。

信息生命周期管理(ILM:通过Storage PoolFileset机制实现分层存储策略,可基于访问时间、文件大小等属性自动将数据在高性能(FC)和低成本(SATA)存储池间迁移。

DMAPIHSM支持:内置数据管理接口,支持与外部归档系统集成。

HDFS兼容层:通过HDFS兼容接口支持Hadoop应用,同时保留POSIX语义。

AFM(主动文件管理):支持多站点数据复制和灾难恢复。

性能数据

Summit超算的Alpine存储系统基于GPFS,在200 Petaflops规模的AI和科学计算工作负载下稳定运行(来源:ORNL Summit FAQ)。GPFS理论最大文件系统容量为8 YBYottabytes),最大单文件8 EB

适用场景

  • 需要同时支持AIXLinuxWindows混合环境的企业级集群
  • SLA和商业支持有严格要求的金融、政府、医疗等行业
  • 已有大规模IBM基础设施的企业进行AI转型
  • 需要多站点复制和精细化数据生命周期管理的场景

局限性

  • 商业软件,授权费用高昂,TCO较高
  • IBM生态绑定较深,迁移成本高
  • 开放性不如LustreCeph等开源方案
  • 在纯AI训练优化方面,不如3FS等专为AI设计的系统

参考资料

CephFS

CephFSCeph开源分布式存储平台提供的POSIX兼容文件系统接口,建立在Ceph的核心可靠自主分布式对象存储(RADOS)之上。Ceph平台还提供对象存储(RGW,兼容S3/Swift)和块存储(RBD)接口,三种接口共享同一个底层存储集群。

架构设计

MDS(元数据服务器):维护文件系统的目录树和文件属性,支持动态元数据负载均衡——随着负载增加,可自动将热点目录迁移到其他MDS节点。客户端获取元数据授权后,可直接与OSD通信读写文件数据,不经过MDS转发。

RADOS对象存储层:文件数据条带化为固定大小的对象(默认4MB),通过CRUSH算法确定每个对象在OSD集群中的位置,无需中心化元数据索引即可定位数据。

BlueStore后端:自Ceph 12 Luminous版本起成为默认存储后端,直接管理裸块设备,绕过传统文件系统层,提供更低延迟和更好的可配置性。

Crimson项目:正在开发中的下一代OSD实现,目标是降低NVMe时代的CPU开销和延迟,以适应现代高速存储介质。

关键技术特性

统一存储平台:对象、块、文件三种接口共享同一集群,降低运维复杂度和硬件成本,特别适合需要多协议访问的场景。

弹性扩展:通过增加OSD节点线性扩容,支持从几TBEB级别的规模,CRUSH算法自动平衡数据分布。

多副本与纠删码:支持2/3副本复制和纠删码(EC),可在容量利用率和数据可靠性之间灵活权衡。

快照和克隆:支持高效的文件系统快照和克隆操作。

与容器生态集成Rook项目使得在Kubernetes中部署和管理Ceph集群变得简单,是云原生环境中的主流存储方案。

适用场景

  • 需要对象、块、文件多协议统一存储的通用场景
  • OpenStackKubernetes等云计算平台的基础存储
  • 中等规模AI训练集群(对存储性能要求适中)
  • 已有Ceph基础设施、需要为AI工作负载提供文件系统接口

局限性

CephFS在纯高性能AI训练场景中相比Lustre3FS等专用并行文件系统存在明显性能差距,具体表现在:

  • 元数据性能较弱:在大量小文件场景下,MDS容易成为瓶颈
  • 未针对RDMA优化:网络层未像Lustre3FS那样深度集成InfiniBand/RDMA,无法充分利用IB带宽
  • GPU训练优化不足:缺乏类似Lustre GPUDirect Storage的特性
  • FUSE性能限制:生产环境推荐使用内核客户端,但内核客户端在某些发行版上的稳定性不如Lustre成熟

CephFS更适合作为通用企业存储,而非AI训练的高性能存储选项。

参考资料

BeeGFS

BeeGFS(原名FhGFSFraunhofer HPC File System)是由德国弗劳恩霍夫应用研究促进协会(Fraunhofer ITWM)从2005年起开发的并行文件系统,2014年由其衍生公司ThinkParQ接管并正式更名。BeeGFS专注于数据吞吐量,在HPC数据密集计算场景中有一定部署。

架构设计

BeeGFS采用分布式元数据架构,由四类服务组成:

服务类型职责
管理服务(mgmtd节点注册、集群配置管理
元数据服务(meta分布式元数据存储,支持横向扩展
存储服务(storage文件数据存储,支持RAID和条带化
客户端(client内核驱动,挂载BeeGFS文件系统

BeeGFS将元数据分散到多个元数据服务器,避免单点元数据瓶颈。存储服务器管理存储目标(Storage Target),文件数据可条带化分布在多个目标上。

关键技术特性

专注吞吐量:架构设计的核心目标是最大化数据吞吐量,适合大文件顺序读写的HPC数据密集场景。

简单部署:相较于LustreBeeGFS的安装配置更简单,降低了运维门槛。

存储池(Storage Pool:支持将不同性能特征的存储节点划分为不同的存储池,实现分层存储策略。

容器支持:提供开源的Kubernetes CSI驱动,支持容器化AI训练环境。

NUMA感知:对NUMA架构有优化,减少远端内存访问开销。

性能数据

根据弗劳恩霍夫Seislab测试集群(25节点:20计算节点+5存储节点,三层存储:1 TB RAM + 20 TB SSD + 120 TB HDD)测试结果(来源:Fraunhofer BeeGFS Benchmark):单节点本地文件系统读写约1.3 GB/sBeeGFS集群读写性能随节点数线性增长。

BeeGFS已在多个TOP500超算中部署,包括歌德大学法兰克福Loewe-CSC集群(安装时排名第22)、维也纳科学集群(第56)等。

授权模式

BeeGFS社区版可免费下载使用,服务端采用专有许可,客户端为GPL v2开源。企业版需要通过ThinkParQ购买商业支持合同。

适用场景

  • 数据密集型HPC计算(CFD仿真、基因测序、地震数据处理)
  • 中小规模AI训练集群,性能要求适中
  • 希望快速部署、降低运维复杂度的HPC团队
  • Kubernetes容器化AI训练环境

局限性

  • RDMA/InfiniBand的支持不如Lustre3FS成熟
  • 缺乏类似Lustre GPUDirect Storage等深度GPU优化特性
  • 服务端代码不开源,存在供应商锁定风险
  • Lustre相比,在超大规模(千节点以上)集群中的生产验证案例相对较少

参考资料

XSKY MeshFS(星辰天合)

XSKY(北京星辰天合科技股份有限公司)是中国领先的软件定义存储厂商,据IDC 2025 Q4数据,其在中国对象存储软件市场排名第一,整体软件定义存储市场TOP5。针对AI训练场景,XSKY推出了MeshFS星飞并行文件系统,定位于专为AI定义的高性能全闪存文件系统。

产品定位

XSKY MeshFSXSKY AIMesh统一AI数据平台的存储核心组件,面向AI训练、推理和数据处理的全流程存储需求。其配套生态还包括:

产品定位
MeshFS 星飞并行文件存储高性能全闪存并行文件系统,专为AI训练
MeshFusion 星飞推理存储面向长上下文AI推理的持久化内存级存储
XEOS对象存储AI数据湖底座,支持多模态数据,EB级扩展
MeshSpace星飞数据湖面向AI时代的EB级全局统一数据湖
EasyData智能调度平台AI数据智能调度,打通存储与计算链路

核心技术特性

XSEA星海架构(Shared-Everything:采用Shared-Everything架构,将数据与元数据集中在高性能存储池统一管理,通过端到端RDMA数据通道实现训练和推理节点对数据的零拷贝访问。

全闪存优化:基于NVMe SSD全闪存部署,充分发挥现代高速存储介质的性能优势,面向AI训练的随机小I/O和大吞吐场景深度优化。

多协议统一命名空间:支持多种文件和对象访问协议,使数据采集、清洗、训练、推理、归档等不同阶段可访问同一份数据集,避免数据格式割裂和重复搬运。

信创生态支持:兼容x86ARM/国产芯片平台,满足国产化(信创)要求,适合有国产化要求的政府、金融机构和科研院所。

公开案例数据

根据XSKY官方公开案例(来源:xsky.com):

  • 某国内头部AGI厂商:基于XEOS全闪数据湖,单一集群支撑近2 Tbps周期性写入、超5 Tbps突发读取,极限压力下读取延迟≤8ms
  • 某大型智算中心4个月内数据增长超20PB,读取峰值149.34 GB/s、写峰值61.67 GB/s,较原开源方案训练效率提升300%,大幅释放GPU算力

适用场景

  • 国产化(信创)环境下的AI训练基础设施建设
  • 对技术支持和本地化服务有较高要求的中国企业
  • 需要从数据采集到训练推理全链路存储方案的智算中心建设
  • AI训练存储有专项优化需求、但又不想承担开源方案运维复杂度的用户

局限性

  • 商业软件,需要付费采购,TCO取决于谈判结果
  • 作为商业产品,技术细节和性能数据的独立验证信息有限
  • 主要面向中国市场,国际化程度较低
  • 依赖厂商持续投入维护

参考资料

方案对比与选型建议

综合特性对比

维度3FSLustreIBM Spectrum ScaleCephFSBeeGFSXSKY MeshFS
许可协议MIT开源GPL v2开源商业LGPL开源社区免费+商业商业
成熟度新兴(2025开源)非常成熟非常成熟成熟较成熟成熟(中国市场)
RDMA支持原生深度集成成熟(IB/RoCE支持有限支持原生支持
GPU训练优化零拷贝原生APIGPUDirect Storage有限有限
元数据扩展性无状态+FoundationDBDNEMDT分布式MDS集群分布式meta分布式
部署复杂度高(依赖FDB低(商业支持)
运维复杂度较高较高
超大规模验证180节点6.6 TiB/s700PB/13 TB/sFrontierSummit超算CERNTOP500集群智算中心

场景选型建议

超大规模AI训练集群(千节点以上,追求极致性能)

首选Lustre(尤其是商业发行版如DDN ExaScalerAWS FSx for Lustre/Azure Managed Lustre),凭借其在超算领域超过20年的生产验证、成熟的GPUDirect Storage支持和完善的HPC生态。如果愿意承担一定技术风险,3FS提供了一个专为AI设计、架构更现代的选择。

中国AI训练集群,有信创要求或本地化支持需求

XSKY MeshFS是强有力的选择,提供专项AI优化、本地化技术支持和信创合规能力。也可考虑基于Lustre的国产化方案。

预算有限,中等规模训练集群

BeeGFS社区版提供了良好的性价比,部署简单,数据吞吐性能不错,适合中小规模AI研究团队。如果已有Ceph基础设施,在性能要求不极端的情况下可以考虑CephFS

自建开源方案,技术团队能力强

3FS提供了最贴近AI工作负载设计的架构(强一致性、无状态元数据、异步零拷贝API),但需要具备FoundationDB运维能力。Lustre则更为成熟,社区资源更丰富。

企业级,需要全平台兼容和多站点灾备

IBM Spectrum Scale提供了最完整的企业特性集,包括AIX/Linux/Windows混合支持、AFM多站点复制、精细化ILM策略等,代价是较高的许可成本。

多模态数据湖场景(对象+文件统一访问)

对于需要同时提供S3对象接口和文件系统接口的场景,CephFS+Ceph RGW的统一平台方案是合理选择,或者参考XSKYXEOS+MeshFS组合方案。

决策流程

总结

并行文件系统的选型没有放之四海而皆准的答案,需要结合团队规模、技术能力、预算约束、合规要求和性能目标综合权衡。

Lustre凭借超过20年的生产验证,仍是超大规模HPC/AI集群的首选,丰富的商业支持生态(DDN、云厂商托管服务)降低了自建运维负担;3FS作为DeepSeek开源的AI原生存储,在架构设计上充分汲取了现代AI工作负载特征,是值得关注的新兴选择;BeeGFS以简单易用和良好的吞吐性能,在中等规模HPC团队中有广泛应用;CephFS适合以通用存储为主、兼顾文件访问的场景;IBM Spectrum Scale适合有企业级商业支持诉求的大型机构;XSKY MeshFS则是面向中国智算中心建设的本土化AI专用存储方案。

随着AI模型规模和训练集群规模持续扩大,并行文件系统的地位将愈加重要,各方案也在持续演进——LustreGPUDirect Storage和多轨网络方向深入优化,3FSKVCache等推理存储方向积极探索,商业方案持续结合NVMe All-FlashRDMA技术提升性能。建议在做出最终选型前,针对自身工作负载进行实际性能测试验证(POC),参考数据永远比厂商宣传更可信。