在大规模AI大模型训练场景中,存储系统往往是制约训练效率的关键瓶颈之一。数千块GPU并发读取训练数据集、高频写入检查点(Checkpoint)、以及推理阶段的KVCache管理,对底层存储的吞吐带宽、随机I/O性能和并发访问能力提出了极高要求。并行文件系统(Parallel File System,PFS)正是为此而生——它通过将数据条带化分布在多个存储节点和磁盘上,让所有计算节点能够以接近本地磁盘的速度并行访问共享存储。
本文将系统调研AI训练场景中主要的并行文件系统方案,包括3FS、Lustre、IBM Spectrum Scale(GPFS)、CephFS、BeeGFS和XSKY MeshFS,从架构原理、性能表现、适用场景和运维复杂度等角度展开分析,为构建AI训练基础设施的技术团队提供选型参考。
AI训练的核心存储挑战
在深入各方案之前,先明确AI大模型训练对存储系统的具体要求,理解这些需求是做出合理选型的前提。
主要存储访问模式
| 场景 | 典型行为 | 性能要求 |
|---|---|---|
数据加载(Dataloader) | 随机读取训练样本,每次几KB到几MB | 高并发随机读IOPS,低延迟 |
检查点保存(Checkpoint) | 周期性并发写入全量模型参数,通常几十到几百GB | 高并发写吞吐,需快速完成 |
| 检查点恢复 | 训练中断后读取最新检查点恢复训练 | 高顺序读吞吐 |
| 数据预处理 | 大规模批量读写中间数据 | 高吞吐,大文件顺序I/O |
KVCache(推理) | 频繁读写Attention层的Key/Value缓存 | 极高并发随机读写,低延迟 |
核心性能指标
- 聚合带宽:所有计算节点并发读写时的总吞吐量,直接决定数据加载速度
- 随机
IOPS:处理大量小文件(如训练样本)时的关键指标 - 元数据性能:
open/stat/mkdir等文件系统操作的速度,影响训练任务初始化效率 - 扩展性:存储容量和带宽能否随节点增加线性扩展
- 故障容错:在节点故障时能否继续提供服务,不中断正在运行的训练任务
方案总览
下表对本文涉及的六种并行文件系统进行概括比较:
| 方案 | 开发者 | 开源情况 | 主要应用场景 | RDMA支持 | 元数据架构 |
|---|---|---|---|---|---|
3FS | DeepSeek(幻方科技) | MIT开源 | AI训练、推理KVCache、数据分析 | 原生支持 | 无状态+FoundationDB |
Lustre | OpenSFS/DDN | GPL v2开源 | HPC超算、AI训练 | 支持(IB/RoCE) | MDS/MDT分布式 |
IBM Spectrum Scale | IBM | 商业软件 | 企业级HPC、金融、AI | 支持 | 分布式元数据 |
CephFS | Ceph社区/Red Hat | LGPL开源 | 通用云存储、企业存储 | 有限支持 | MDS集群 |
BeeGFS | ThinkParQ/Fraunhofer | 社区版免费 | HPC数据密集计算 | 支持 | 分布式元数据 |
XSKY MeshFS | XSKY(北京星辰天合) | 商业软件 | AI训练推理、智算中心 | 原生支持 | 分布式 |
3FS(Fire-Flyer File System)
3FS是由DeepSeek(幻方科技)研发并于2025年初开源的高性能分布式文件系统,专为解决AI训练和推理工作负载的存储挑战而设计。其名称3FS即Fire-Flyer File System的缩写。
架构设计
3FS采用存算分离的解耦架构,由四个核心组件构成:
集群管理器(Cluster Manager):负责成员变更检测、集群配置下发和链表(Chain Table)维护。多个管理器通过选主保证高可用,配置持久化在FoundationDB或etcd中。
元数据服务(Metadata Service):完全无状态,所有文件系统元数据(inode、目录项)均存储在FoundationDB分布式事务键值存储中,支持序列化快照隔离(SSI)事务语义。无状态设计允许元数据服务在不停机情况下滚动升级。
存储服务(Storage Service):每个存储节点管理若干本地NVMe SSD,提供chunk store接口。使用CRAQ(Chain Replication with Apportioned Queries,链式复制+按比例查询)协议实现强一致性——写请求沿链条头部到尾部传播,读请求可分发到链条中任意节点,充分利用所有副本的读带宽。
客户端:提供FUSE客户端(通用性强,多数应用直接可用)和原生客户端(Native Client)两种接入方式。原生客户端提供基于io_uring设计理念的异步零拷贝API,通过RDMA直接将数据读入用户进程内存,绕过内核,显著降低延迟和CPU开销。
关键技术特性
强一致性:基于CRAQ协议实现强一致,应用无需处理读到过期数据的问题,简化了分布式训练代码的复杂性。
无状态元数据:FoundationDB作为元数据后端提供事务保证,元数据服务可随时扩缩容或故障恢复,不存在元数据服务的单点瓶颈。
故障均衡恢复:在存储节点故障时,通过整数规划求解平衡不完全区组设计(BIBD),将故障节点的读流量均匀分散到集群中所有其他节点,避免某几个节点成为热点。
POSIX文件接口:支持原子目录重命名、软硬链接等完整文件语义,无需应用改造。
性能数据
根据DeepSeek官方公开的基准测试数据(来源:GitHub - deepseek-ai/3FS):
| 测试场景 | 集群规模 | 性能结果 |
|---|---|---|
| 读压力测试(峰值吞吐) | 180个存储节点(每节点2×200Gbps IB + 16×14TiB NVMe),500+客户端节点 | 聚合读吞吐约6.6 TiB/s |
GraySort数据排序 | 25个存储节点(每节点2×400Gbps NIC),50个计算节点 | 排序110.5 TiB数据耗时30分14秒,平均吞吐3.66 TiB/min |
KVCache推理读取 | 客户端每节点1×400Gbps NIC | 峰值读吞吐达40 GiB/s |
适用场景
AI大模型预训练和微调中的检查点存储与数据加载LLM推理场景的分布式KVCache持久化存储- 大规模数据处理流水线的中间结果存储
- 需要强一致性保证的分布式训练任务
局限性
- 依赖
FoundationDB,增加了运维复杂度(FoundationDB本身需要独立维护) FUSE接口在小随机读场景存在性能瓶颈(内核自旋锁限制约400K4KiB随机读/秒),需要性能敏感场景使用原生客户端- 作为
2025年初才开源的新项目,生产落地案例相对有限,社区成熟度低于Lustre等传统方案
参考资料
- GitHub仓库:https://github.com/deepseek-ai/3FS
- 设计文档:https://github.com/deepseek-ai/3FS/blob/main/docs/design_notes.md
Lustre
Lustre是目前HPC(高性能计算)领域部署最广泛的并行文件系统,自2003年首次在劳伦斯利弗莫尔国家实验室投产以来,始终占据TOP500超算榜单60%以上席位,包括当前最快超算Frontier(700PB存储、13 TB/s带宽)。近年来NVIDIA的DGX SuperPOD等AI训练集群也大量采用Lustre作为共享存储层。
架构设计
Lustre采用经典的三层架构:
MDS(元数据服务器):管理文件系统命名空间(文件名、目录、权限等),inode指向一个或多个OST对象而非数据块。Lustre 2.4起支持分布式命名空间(DNE),可将子目录树分布到多个MDT上实现元数据的水平扩展。
OSS/OST(对象存储服务器/目标):存储实际文件数据。文件数据以条带化(striping)方式分布在多个OST对象上,类似RAID 0。每个OST是一个独立的本地文件系统(ldiskfs或ZFS),存储聚合容量随OST数量线性增长。
客户端:通过Linux内核VFS驱动挂载Lustre文件系统,以POSIX语义访问。Lustre 2.15起支持NVIDIA GPUDirect Storage,允许RDMA直接在存储服务器和GPU显存之间传输数据,消除CPU内存的中转拷贝。
LNet网络层:支持InfiniBand(OFED Verbs)、RoCE、OmniPath、iWARP、以太网TCP等多种高速网络,在支持RDMA的网络上自动利用零拷贝传输。Lustre 2.10起支持多网卡聚合(Multi-Rail),进一步提升带宽。
关键技术特性
文件条带化:每个文件可独立配置条带数量(stripe count,最多可跨2000个OST)和条带大小,并发读写单个大文件的带宽随条带数量线性增长。
渐进式文件布局(PFL):Lustre 2.10引入,允许同一文件在不同偏移范围使用不同的条带策略,例如小文件起始段用单条带减少开销,大文件后续段用多条带最大化带宽。
文件级冗余(FLR):Lustre 2.11引入,支持类似RAID 1的文件镜像布局,同时提升读性能和数据可用性。
持久化客户端缓存(PCC):Lustre 2.13引入,允许客户端直接使用本地NVMe/NVRAM缓存热数据,同时保持文件在全局命名空间中可见,显著提升热点文件的访问延迟。
GPUDirect Storage:Lustre 2.15起支持,可显著降低GPU训练任务的数据加载延迟。
HSM(层次化存储管理):支持将冷数据自动迁移到磁带等低成本介质,保留访问存根,实现热冷数据分层管理。
性能数据
- Frontier超算(
ORNL):使用OrionLustre文件系统,存储容量700 PB,聚合带宽13 TB/s(来源:Oak Ridge National Laboratory) - 单客户端带宽:
100 GbE接口可达>11 GB/s,InfiniBand EDR接口可达>11 GB/s(来源:ORNL Lustre Networking Technologies) - NVIDIA Selene DGX A100 SuperPOD:使用
Lustre作为训练存储,支撑大规模AI训练(来源:OpenSFS LUG2021)
适用场景
- 超大规模
AI训练集群(数百到数千节点),需要高聚合带宽 - 需要与
Slurm等HPC作业调度系统深度集成的场景 - 现有
HPC基础设施向AI训练转型 - 有商业支持需求(
DDN ExaScaler、HPE ClusterStor、AWS FSx for Lustre、Azure Managed Lustre等)
局限性
- 元数据操作(尤其是小文件密集型工作负载)存在瓶颈,尽管
DNE已有改善 - 部署和运维复杂度较高,需要专业
HPC存储工程师 - 内核模块形式的客户端在内核升级时存在兼容性问题(主线内核不包含
Lustre客户端) - 商业支持版本(如
DDN)费用较高
参考资料
- 官方网站:https://www.lustre.org/
- Wikipedia:https://en.wikipedia.org/wiki/Lustre_(file_system)
- Lustre Wiki:http://wiki.lustre.org/
IBM Spectrum Scale(GPFS)
GPFS(General Parallel File System)是IBM自1998年起商业化的企业级并行文件系统,现品牌名为IBM Storage Scale(曾用名IBM Spectrum Scale)。它被全球最大规模的商业公司和部分TOP500超算广泛采用,包括排名第一的Summit超算(2019年TOP500第一,配置200 Petaflops、9000+颗POWER9处理器和27000块NVIDIA Volta GPU,存储系统称为Alpine)。
架构设计
GPFS是一个共享磁盘(Shared-Disk)或共享无共享(Shared-Nothing)分布式并行文件系统,支持两种模式混合部署。
核心架构特点:
- 分布式元数据:目录树和其他元数据分散在整个文件系统中,没有单一"索引服务器",避免元数据瓶颈
- 分布式锁管理:实现完整
POSIX语义(含独占文件访问锁),支持AIX、Linux、Windows异构混合集群 - 内置
RAID层:虚拟化底层块存储,提供冗余和并行访问 - 分区感知(
Partition Aware):通过心跳协议检测网络分区,在最大分区中保持文件系统可用,实现优雅降级 - 在线维护:添加磁盘、数据再均衡等操作无需停机
关键技术特性
多平台支持:支持AIX、Linux(x86/Power/IBM Z)和Windows Server,是覆盖平台最广的并行文件系统之一。
信息生命周期管理(ILM):通过Storage Pool和Fileset机制实现分层存储策略,可基于访问时间、文件大小等属性自动将数据在高性能(FC)和低成本(SATA)存储池间迁移。
DMAPI和HSM支持:内置数据管理接口,支持与外部归档系统集成。
HDFS兼容层:通过HDFS兼容接口支持Hadoop应用,同时保留POSIX语义。
AFM(主动文件管理):支持多站点数据复制和灾难恢复。
性能数据
Summit超算的Alpine存储系统基于GPFS,在200 Petaflops规模的AI和科学计算工作负载下稳定运行(来源:ORNL Summit FAQ)。GPFS理论最大文件系统容量为8 YB(Yottabytes),最大单文件8 EB。
适用场景
- 需要同时支持
AIX、Linux、Windows混合环境的企业级集群 - 对
SLA和商业支持有严格要求的金融、政府、医疗等行业 - 已有大规模
IBM基础设施的企业进行AI转型 - 需要多站点复制和精细化数据生命周期管理的场景
局限性
- 商业软件,授权费用高昂,
TCO较高 - 与
IBM生态绑定较深,迁移成本高 - 开放性不如
Lustre、Ceph等开源方案 - 在纯
AI训练优化方面,不如3FS等专为AI设计的系统
参考资料
- Wikipedia:https://en.wikipedia.org/wiki/GPFS
- IBM产品页面:https://www.ibm.com/storage/spectrum-scale
CephFS
CephFS是Ceph开源分布式存储平台提供的POSIX兼容文件系统接口,建立在Ceph的核心可靠自主分布式对象存储(RADOS)之上。Ceph平台还提供对象存储(RGW,兼容S3/Swift)和块存储(RBD)接口,三种接口共享同一个底层存储集群。
架构设计
MDS(元数据服务器):维护文件系统的目录树和文件属性,支持动态元数据负载均衡——随着负载增加,可自动将热点目录迁移到其他MDS节点。客户端获取元数据授权后,可直接与OSD通信读写文件数据,不经过MDS转发。
RADOS对象存储层:文件数据条带化为固定大小的对象(默认4MB),通过CRUSH算法确定每个对象在OSD集群中的位置,无需中心化元数据索引即可定位数据。
BlueStore后端:自Ceph 12 Luminous版本起成为默认存储后端,直接管理裸块设备,绕过传统文件系统层,提供更低延迟和更好的可配置性。
Crimson项目:正在开发中的下一代OSD实现,目标是降低NVMe时代的CPU开销和延迟,以适应现代高速存储介质。
关键技术特性
统一存储平台:对象、块、文件三种接口共享同一集群,降低运维复杂度和硬件成本,特别适合需要多协议访问的场景。
弹性扩展:通过增加OSD节点线性扩容,支持从几TB到EB级别的规模,CRUSH算法自动平衡数据分布。
多副本与纠删码:支持2/3副本复制和纠删码(EC),可在容量利用率和数据可靠性之间灵活权衡。
快照和克隆:支持高效的文件系统快照和克隆操作。
与容器生态集成:Rook项目使得在Kubernetes中部署和管理Ceph集群变得简单,是云原生环境中的主流存储方案。
适用场景
- 需要对象、块、文件多协议统一存储的通用场景
OpenStack、Kubernetes等云计算平台的基础存储- 中等规模
AI训练集群(对存储性能要求适中) - 已有
Ceph基础设施、需要为AI工作负载提供文件系统接口
局限性
CephFS在纯高性能AI训练场景中相比Lustre、3FS等专用并行文件系统存在明显性能差距,具体表现在:
- 元数据性能较弱:在大量小文件场景下,
MDS容易成为瓶颈 - 未针对
RDMA优化:网络层未像Lustre、3FS那样深度集成InfiniBand/RDMA,无法充分利用IB带宽 GPU训练优化不足:缺乏类似Lustre GPUDirect Storage的特性FUSE性能限制:生产环境推荐使用内核客户端,但内核客户端在某些发行版上的稳定性不如Lustre成熟
CephFS更适合作为通用企业存储,而非AI训练的高性能存储选项。
参考资料
- 官方文档:https://docs.ceph.com/en/latest/cephfs/
- Wikipedia:https://en.wikipedia.org/wiki/Ceph_(software)
- Ceph GitHub:https://github.com/ceph/ceph
BeeGFS
BeeGFS(原名FhGFS,Fraunhofer HPC File System)是由德国弗劳恩霍夫应用研究促进协会(Fraunhofer ITWM)从2005年起开发的并行文件系统,2014年由其衍生公司ThinkParQ接管并正式更名。BeeGFS专注于数据吞吐量,在HPC数据密集计算场景中有一定部署。
架构设计
BeeGFS采用分布式元数据架构,由四类服务组成:
| 服务类型 | 职责 |
|---|---|
管理服务(mgmtd) | 节点注册、集群配置管理 |
元数据服务(meta) | 分布式元数据存储,支持横向扩展 |
存储服务(storage) | 文件数据存储,支持RAID和条带化 |
客户端(client) | 内核驱动,挂载BeeGFS文件系统 |
BeeGFS将元数据分散到多个元数据服务器,避免单点元数据瓶颈。存储服务器管理存储目标(Storage Target),文件数据可条带化分布在多个目标上。
关键技术特性
专注吞吐量:架构设计的核心目标是最大化数据吞吐量,适合大文件顺序读写的HPC数据密集场景。
简单部署:相较于Lustre,BeeGFS的安装配置更简单,降低了运维门槛。
存储池(Storage Pool):支持将不同性能特征的存储节点划分为不同的存储池,实现分层存储策略。
容器支持:提供开源的Kubernetes CSI驱动,支持容器化AI训练环境。
NUMA感知:对NUMA架构有优化,减少远端内存访问开销。
性能数据
根据弗劳恩霍夫Seislab测试集群(25节点:20计算节点+5存储节点,三层存储:1 TB RAM + 20 TB SSD + 120 TB HDD)测试结果(来源:Fraunhofer BeeGFS Benchmark):单节点本地文件系统读写约1.3 GB/s;BeeGFS集群读写性能随节点数线性增长。
BeeGFS已在多个TOP500超算中部署,包括歌德大学法兰克福Loewe-CSC集群(安装时排名第22)、维也纳科学集群(第56)等。
授权模式
BeeGFS社区版可免费下载使用,服务端采用专有许可,客户端为GPL v2开源。企业版需要通过ThinkParQ购买商业支持合同。
适用场景
- 数据密集型
HPC计算(CFD仿真、基因测序、地震数据处理) - 中小规模
AI训练集群,性能要求适中 - 希望快速部署、降低运维复杂度的
HPC团队 Kubernetes容器化AI训练环境
局限性
- 对
RDMA/InfiniBand的支持不如Lustre和3FS成熟 - 缺乏类似
Lustre GPUDirect Storage等深度GPU优化特性 - 服务端代码不开源,存在供应商锁定风险
- 与
Lustre相比,在超大规模(千节点以上)集群中的生产验证案例相对较少
参考资料
- 官方网站:https://www.beegfs.io/
- Wikipedia:https://en.wikipedia.org/wiki/BeeGFS
- GitHub:https://github.com/ThinkParQ/beegfs
XSKY MeshFS(星辰天合)
XSKY(北京星辰天合科技股份有限公司)是中国领先的软件定义存储厂商,据IDC 2025 Q4数据,其在中国对象存储软件市场排名第一,整体软件定义存储市场TOP5。针对AI训练场景,XSKY推出了MeshFS星飞并行文件系统,定位于专为AI定义的高性能全闪存文件系统。
产品定位
XSKY MeshFS是XSKY AIMesh统一AI数据平台的存储核心组件,面向AI训练、推理和数据处理的全流程存储需求。其配套生态还包括:
| 产品 | 定位 |
|---|---|
MeshFS 星飞并行文件存储 | 高性能全闪存并行文件系统,专为AI训练 |
MeshFusion 星飞推理存储 | 面向长上下文AI推理的持久化内存级存储 |
XEOS对象存储 | AI数据湖底座,支持多模态数据,EB级扩展 |
MeshSpace星飞数据湖 | 面向AI时代的EB级全局统一数据湖 |
EasyData智能调度平台 | AI数据智能调度,打通存储与计算链路 |
核心技术特性
XSEA星海架构(Shared-Everything):采用Shared-Everything架构,将数据与元数据集中在高性能存储池统一管理,通过端到端RDMA数据通道实现训练和推理节点对数据的零拷贝访问。
全闪存优化:基于NVMe SSD全闪存部署,充分发挥现代高速存储介质的性能优势,面向AI训练的随机小I/O和大吞吐场景深度优化。
多协议统一命名空间:支持多种文件和对象访问协议,使数据采集、清洗、训练、推理、归档等不同阶段可访问同一份数据集,避免数据格式割裂和重复搬运。
信创生态支持:兼容x86和ARM/国产芯片平台,满足国产化(信创)要求,适合有国产化要求的政府、金融机构和科研院所。
公开案例数据
根据XSKY官方公开案例(来源:xsky.com):
- 某国内头部
AGI厂商:基于XEOS全闪数据湖,单一集群支撑近2 Tbps周期性写入、超5 Tbps突发读取,极限压力下读取延迟≤8ms - 某大型智算中心:
4个月内数据增长超20PB,读取峰值149.34 GB/s、写峰值61.67 GB/s,较原开源方案训练效率提升300%,大幅释放GPU算力
适用场景
- 国产化(信创)环境下的
AI训练基础设施建设 - 对技术支持和本地化服务有较高要求的中国企业
- 需要从数据采集到训练推理全链路存储方案的智算中心建设
- 对
AI训练存储有专项优化需求、但又不想承担开源方案运维复杂度的用户
局限性
- 商业软件,需要付费采购,
TCO取决于谈判结果 - 作为商业产品,技术细节和性能数据的独立验证信息有限
- 主要面向中国市场,国际化程度较低
- 依赖厂商持续投入维护
参考资料
- 官方网站:https://www.xsky.com/
MeshFS产品页:https://www.xsky.com/products/mesh-fs
方案对比与选型建议
综合特性对比
| 维度 | 3FS | Lustre | IBM Spectrum Scale | CephFS | BeeGFS | XSKY MeshFS |
|---|---|---|---|---|---|---|
| 许可协议 | MIT开源 | GPL v2开源 | 商业 | LGPL开源 | 社区免费+商业 | 商业 |
| 成熟度 | 新兴(2025开源) | 非常成熟 | 非常成熟 | 成熟 | 较成熟 | 成熟(中国市场) |
RDMA支持 | 原生深度集成 | 成熟(IB/RoCE) | 支持 | 有限 | 支持 | 原生支持 |
GPU训练优化 | 零拷贝原生API | GPUDirect Storage | 有限 | 无 | 有限 | 有 |
| 元数据扩展性 | 无状态+FoundationDB | DNE多MDT | 分布式 | MDS集群 | 分布式meta | 分布式 |
| 部署复杂度 | 高(依赖FDB) | 高 | 高 | 中 | 低 | 低(商业支持) |
| 运维复杂度 | 较高 | 较高 | 高 | 中 | 低 | 低 |
| 超大规模验证 | 180节点6.6 TiB/s | 700PB/13 TB/s(Frontier) | Summit超算 | CERN等 | 多TOP500集群 | 智算中心 |
场景选型建议
超大规模AI训练集群(千节点以上,追求极致性能)
首选Lustre(尤其是商业发行版如DDN ExaScaler或AWS FSx for Lustre/Azure Managed Lustre),凭借其在超算领域超过20年的生产验证、成熟的GPUDirect Storage支持和完善的HPC生态。如果愿意承担一定技术风险,3FS提供了一个专为AI设计、架构更现代的选择。
中国AI训练集群,有信创要求或本地化支持需求
XSKY MeshFS是强有力的选择,提供专项AI优化、本地化技术支持和信创合规能力。也可考虑基于Lustre的国产化方案。
预算有限,中等规模训练集群
BeeGFS社区版提供了良好的性价比,部署简单,数据吞吐性能不错,适合中小规模AI研究团队。如果已有Ceph基础设施,在性能要求不极端的情况下可以考虑CephFS。
自建开源方案,技术团队能力强
3FS提供了最贴近AI工作负载设计的架构(强一致性、无状态元数据、异步零拷贝API),但需要具备FoundationDB运维能力。Lustre则更为成熟,社区资源更丰富。
企业级,需要全平台兼容和多站点灾备
IBM Spectrum Scale提供了最完整的企业特性集,包括AIX/Linux/Windows混合支持、AFM多站点复制、精细化ILM策略等,代价是较高的许可成本。
多模态数据湖场景(对象+文件统一访问)
对于需要同时提供S3对象接口和文件系统接口的场景,CephFS+Ceph RGW的统一平台方案是合理选择,或者参考XSKY的XEOS+MeshFS组合方案。
决策流程
总结
并行文件系统的选型没有放之四海而皆准的答案,需要结合团队规模、技术能力、预算约束、合规要求和性能目标综合权衡。
Lustre凭借超过20年的生产验证,仍是超大规模HPC/AI集群的首选,丰富的商业支持生态(DDN、云厂商托管服务)降低了自建运维负担;3FS作为DeepSeek开源的AI原生存储,在架构设计上充分汲取了现代AI工作负载特征,是值得关注的新兴选择;BeeGFS以简单易用和良好的吞吐性能,在中等规模HPC团队中有广泛应用;CephFS适合以通用存储为主、兼顾文件访问的场景;IBM Spectrum Scale适合有企业级商业支持诉求的大型机构;XSKY MeshFS则是面向中国智算中心建设的本土化AI专用存储方案。
随着AI模型规模和训练集群规模持续扩大,并行文件系统的地位将愈加重要,各方案也在持续演进——Lustre在GPUDirect Storage和多轨网络方向深入优化,3FS在KVCache等推理存储方向积极探索,商业方案持续结合NVMe All-Flash和RDMA技术提升性能。建议在做出最终选型前,针对自身工作负载进行实际性能测试验证(POC),参考数据永远比厂商宣传更可信。