Skip to main content

在大规模AI大模型训练场景中，存储系统的I/O性能往往是制约GPU利用率的核心瓶颈。随着H100、H200、B200等高端GPU算力的快速提升，传统存储架构的读写带宽已无法"喂饱"GPU，导致训练任务存在大量的"等数据"空窗期，造成算力的严重浪费。

XSKY（北京星辰天合科技股份有限公司）是中国领先的软件定义存储厂商，在IDC中国软件定义存储市场中位列TOP 5，在中国对象存储软件市场中排名第一（数据来源：IDC China Software-defined Storage Market Overview 2025 Q4）。基于十年分布式存储技术积累，XSKY推出了专为AI定义的高性能全闪存并行文件系统MeshFS（星飞并行文件存储），旨在打破存储I/O墙，以TB/s级聚合带宽与微秒级延迟为GPU算力集群构建极速数据通道。

本文将系统介绍MeshFS的技术方案、架构设计、核心组件、典型使用场景及优缺点，为在AI训练基础设施中评估MeshFS的技术团队提供参考。

MeshFS概述​

什么是MeshFS​

MeshFS（星飞并行文件存储）是XSKY研发的商业高性能全闪存并行文件系统，全称为Mesh File System，定位为专为AI大模型训练、推理加速及大规模数据预处理而设计的高性能存储产品。

MeshFS基于XSKY自研的XSEA（eXtreme Shared-Everything Architecture，极速全共享架构）构建，充分利用NVMe SSD的高吞吐特性和RDMA网络（InfiniBand或RoCE）的低延迟、高带宽优势，提供微秒级I/O延迟和TB/s级聚合带宽，支持POSIX、NFS、SMB、S3及HDFS等多种存储协议，可无缝对接主流AI框架（PyTorch、TensorFlow）和云原生平台（Kubernetes CSI）。

核心性能指标​

性能指标规格说明
读延迟20~30μs使用Tier-0本地NVMe缓存时的极致读延迟
Checkpoint写入缩短90%时间相较传统NAS/SAN存储的Checkpoint写入耗时
聚合带宽TB/s级多节点并发访问时的总吞吐量
故障切换时间100ms内基于XSEA的快速故障切换能力
协议支持100% POSIX/S3/HDFS全协议融合，零代码修改接入

产品定位与背景​

MeshFS是XSKY"星飞"（XINFINI）系列产品家族中的核心成员，该家族还包括：

产品名称定位
MeshFS（星飞并行文件存储）高性能全闪存训练文件系统
MeshFusion（星飞推理存储系统）面向长上下文AI的"持久化内存"
MeshSpace（星飞数据湖）EB级全局统一数据湖
AIMesh（统一数据平台）AI全流程数据协同平台

MeshFS专注于解决AI训练阶段的高性能存储瓶颈，与数据湖层（MeshSpace/XEOS）配合，构成从数据准备→训练→推理的完整存储链路。

架构设计​

MeshFS采用三层分层架构设计，从上到下分别是接入层、核心处理层和网络与持久层，并在层间提供智能分层数据生命周期管理能力。

接入层：全协议融合与Tier-0缓存​

接入层是计算节点与存储集群之间的第一道桥梁，承担两项核心职责：

Tier-0近算缓存

MeshFS在接入层引入了Tier-0近算缓存机制。具体实现方式是：利用训练计算节点本地安装的NVMe SSD构建一层持久化缓存，将数据访问延迟从网络传输的毫秒级压缩至20~30μs的本地NVMe访问级别。

Tier-0缓存在Checkpoint写入场景中具有尤为显著的价值。大规模LLM训练任务在保存模型检查点时，会产生短时间内数十至数百GB的突发写入流量。传统存储的写入带宽往往不足以及时吸纳此类峰值，导致GPU长时间等待写入完成（可达数分钟）。Tier-0缓存层可以在毫秒级内吸收这批突发数据，由后台进程异步将数据刷写到后端存储节点的持久层，从而将GPU的Checkpoint等待时间从分钟级压缩至秒级，据XSKY官方介绍，Checkpoint写入时间可缩短约90%。

全协议互通

接入层同时提供完整的多协议支持：

协议适用场景
POSIX原生文件系统接口，适用于训练框架直接读写文件
NFS跨平台网络文件共享
SMBWindows环境兼容
S3数据湖数据接入，适用于数据清洗阶段
HDFS大数据生态兼容

多协议互通的核心价值在于：同一份数据可以在数据清洗（S3接口）、模型训练（POSIX接口）、数据归档（对象存储接口）的全流程中零拷贝流动，彻底消除传统方案中因协议不兼容而导致的数据搬迁问题。

核心处理层：分布式元数据与全共享架构​

核心处理层是MeshFS性能与扩展能力的关键所在，包含两项核心技术设计：Shared-Everything全共享架构和分布式元数据分片引擎。

Shared-Everything全共享架构

传统分布式并行文件系统通常采用Shared-Nothing架构，即每个存储节点独立管理一部分数据，节点之间在数据面不直接通信。这种设计在节点数量增多时，扩容收益会受到限制，且难以实现全局资源的均衡调度。

XSKY参考高端企业存储的Shared-Everything设计理念，结合其自身在分布式存储领域的实践经验，研发了XSEA（eXtreme Shared-Everything Architecture，极速全共享架构）。在XSEA架构下，集群中的每个存储节点均可直接访问池化的全局SSD资源，数据面完全共享，不存在数据分区的概念。

以下对比展示了两种架构的核心差异：

对比维度Shared-NothingShared-Everything（XSEA）
性能扩展随节点增多，单节点瓶颈影响扩容收益每个节点独立处理请求，性能随节点数线性扩展
资源分配各节点容量与性能资源相互隔离，难以灵活调配存储容量与性能资源与CPU、内存解耦，按需分配
调度视角局部视角，各节点独立决策，全局调度能力弱全局流控，具备集群级别的I/O负载均衡能力
故障切换慢盘或节点故障时切换时间通常需要5~10s慢盘或节点故障时可在100ms内完成切换
资源利用率初期规划需预留大量资源，存在浪费全局统一利用，空间利用效率高

分布式元数据分片

AI训练场景中常见的元数据瓶颈主要体现在计算机视觉（CV）领域的海量小文件（如图片、视频帧）和NLP领域的大规模样本库上。传统并行文件系统的元数据服务通常是集中式或有限扩展的，在亿级文件规模下open/stat/mkdir等元数据操作的性能会显著下降。

MeshFS核心处理层采用分布式元数据分片设计，将元数据均匀分散存储在多个元数据节点上，支持亿级文件规模下的秒级检索。这对于CV领域单一数据集包含数十亿张图片的场景至关重要。

网络与持久层：FlexPath™智能网络与自适应EC​

FlexPath™智能网络引擎

FlexPath™是XSKY专为AI大规模组网设计的智能网络引擎，具备以下核心能力：

能力说明
多路径聚合支持多块网卡、多条链路的带宽聚合，充分利用组网带宽
RDMA/TCP自适应切换根据网络环境自动选择RDMA（InfiniBand或RoCE）或TCP传输协议
毫秒级故障恢复链路故障时可在毫秒级内完成路径切换，不中断正在进行的I/O
一跳直读（Direct Read）客户端直接从存储节点读取数据，绕过中间转发节点

其中，"一跳直读"（Direct Read）是FlexPath™的关键设计。在传统并行文件系统中，客户端读取数据通常需要先请求元数据服务确认数据位置，再向存储节点发起读请求，中间可能还经过代理或转发节点。MeshFS的Direct Read机制允许客户端在掌握数据位置信息后，直接与对应存储节点建立RDMA连接进行数据传输，相比传统并行文件系统可减少50%以上的读写开销。

自适应纠删码（EC）

持久层采用全NVMe SSD介质，通过自适应纠删码（Erasure Coding，EC）技术实现数据冗余保护。相较于传统的三副本方案，EC在保证可靠性的前提下显著提升了存储空间利用率。

XSKY在XSEA架构设计目标中明确提出三项"100"指标：

  • 100ms故障切换时间（基于Shared-Everything全共享数据存储）
  • 100%得盘率（基于单层TLC NVMe SSD闪存介质管理）
  • 100μs超低延迟（基于端到端NVMe路径最大化硬件卸载）

智能分层：热温冷数据全生命周期管理​

MeshFS提供基于策略的自动数据分层（Tiering）能力，支持在以下层级间自动流转数据：

当数据被访问时，系统自动将其从低速层召回至高速层，整个过程对上层应用透明，保留完整的目录结构和文件语义。这一设计实现了"全闪存性能 + 对象存储成本"的最优组合，通过仅将热数据（约20%的容量）保留在NVMe层，即可享受近乎100%全闪存的性能体验。

核心组件详解​

接入层客户端​

MeshFS客户端部署在计算节点上，提供以下访问路径：

POSIX客户端：通过内核文件系统挂载或FUSE用户态文件系统挂载，向AI训练框架（PyTorch DataLoader等）提供标准文件接口。现有代码无需修改即可接入。

S3网关：MeshFS内嵌S3网关组件，允许数据预处理阶段以S3接口将数据写入，训练阶段再以POSIX接口读取，消除数据在对象存储与文件系统之间的搬迁。

CSI驱动：为Kubernetes提供标准的CSI（Container Storage Interface）接口，支持训练Pod以PersistentVolumeClaim方式动态申请MeshFS存储卷，与云原生AI训练调度平台（如Kubeflow、Ray等）无缝集成。

元数据服务​

元数据服务负责管理文件系统的命名空间，包括目录树结构、文件inode、权限信息及数据块位置索引。

MeshFS采用分布式元数据分片设计，元数据按照目录或文件inode哈希规则分散至多个元数据节点，具备以下特性：

  • 水平扩展：元数据节点可随业务增长独立扩容，元数据吞吐随节点数线性增长，无单节点瓶颈
  • 亿级文件支持：专为CV图片库等海量小文件场景优化，在亿级文件规模下open/stat/readdir等操作保持稳定性能
  • 目录分片感知：对于单个超大目录（如包含数十亿个文件的训练集根目录），支持跨多元数据节点分片，避免单目录热点

存储服务节点​

每个存储节点管理本地NVMe SSD阵列，通过RDMA网络向客户端提供数据读写服务。在XSEA的Shared-Everything架构下，所有存储节点共同构成一个统一的存储池，客户端通过FlexPath™引擎的直读机制（Direct Read）可以访问集群中任意存储节点上的数据。

存储节点的主要职责包括：

职责说明
数据持久化管理本地NVMe SSD，负责数据的写入、读取和校验
纠删码计算在写入路径上执行EC编码，在故障场景下执行数据重建
RDMA数据传输通过RDMA与客户端建立零拷贝数据通道
故障自愈检测慢盘/故障盘，触发数据重建和负载迁移

FlexPath™智能网络引擎​

FlexPath™是MeshFS的核心网络传输组件，以独立模块形式存在，解耦了存储逻辑与网络传输逻辑。

FlexPath™的关键设计如下：

自适应协议栈：支持RDMA over InfiniBand和RDMA over Converged Ethernet（RoCE）两种RDMA协议，以及TCP协议回退。在有RDMA网络的环境中自动启用RDMA模式，在普通以太网环境中回退至TCP模式，同一套客户端代码无需修改即可适配不同网络基础设施。

多路径负载均衡：在客户端配备多块网卡或存储节点有多条上行链路时，FlexPath™可以将I/O流量均匀分配到多条物理路径上，充分利用可用带宽。

毫秒级故障探测与恢复：FlexPath™持续探测网络路径的健康状态，在检测到链路故障或性能劣化时，可以在毫秒级内将流量切换到备用路径，I/O请求透明重试，对上层应用不可见。

Tier-0缓存子系统​

Tier-0缓存是MeshFS的近算加速层，部署在计算节点本地。与传统的内存缓存不同，Tier-0缓存基于本地NVMe SSD构建，因此具备持久化特性——即便节点意外重启，缓存中的数据不会丢失，这对于Checkpoint写入场景尤为重要（缓存的模型权重数据在节点恢复后仍可继续刷写到后端存储）。

Tier-0缓存的工作机制如下：

读取路径同样经过Tier-0缓存：训练任务加载训练数据时，首次读取从后端存储拉取并缓存到本地NVMe；后续迭代（同一训练样本在多个epoch中被重复访问）直接命中本地缓存，延迟从网络级降至20~30μs。

智能分层管理服务​

智能分层管理服务是运行在存储集群后台的数据流动引擎，负责根据配置策略（如访问频率、数据年龄、容量水位）识别热/温/冷数据，并驱动数据在NVMe层、HDD层和对象存储层之间自动迁移。

分层操作保留完整的目录结构和文件语义，对上层训练框架完全透明。当冷数据被访问时，系统自动触发召回操作，将数据从低速层加载回NVMe层，整个过程无需人工干预。

典型使用场景​

LLM大模型训练：Checkpoint加速​

问题描述：大规模LLM训练任务（如千亿参数模型）在每个Checkpoint保存时，需要将全量模型参数同步写入存储，数据量通常为数十GB至数TB，且所有GPU节点并发写入，形成极高的瞬时写入峰值。传统存储方案的带宽不足以吸纳这一峰值，导致训练任务暂停数分钟等待写入完成。

MeshFS解决方案：接入层的Tier-0缓存可以在毫秒级内吸收全部Checkpoint突发流量，立即向训练框架返回写入成功的确认，GPU集群随即恢复训练；后台异步线程将缓存数据通过FlexPath™ RDMA通道刷写到后端NVMe存储集群。官方介绍Checkpoint写入时间可缩短约90%。

自动驾驶：海量小文件处理​

问题描述：自动驾驶训练数据集通常包含每天数百TB的雷达点云、视觉传感器图像和视频帧，文件数量达到数十亿级别，单个文件大小从几KB到几MB不等。数据需要经历采集→清洗→标注→训练的完整处理链路，各阶段使用的存储接口不同（S3用于数据湖，POSIX用于训练）。

MeshFS解决方案：通过全协议融合接入层，S3接口接收传感器原始数据写入存储集群，POSIX接口供训练框架直接读取，全流程数据无需复制搬迁。分布式元数据分片引擎保证在亿级文件规模下元数据操作的高吞吐，消除文件目录遍历瓶颈。

生命科学与基因测序​

问题描述：基因组数据分析场景中存在大文件（测序仪输出的FASTQ文件，单文件可达数十GB）与小文件（基因特征图谱）并存的混合负载，既需要高吞吐顺序写（采集阶段），又需要高IOPS随机读（分析阶段）。

MeshFS解决方案：XSKY介绍，其自适应条带化技术可同时优化大文件顺序I/O和小文件随机I/O性能，使同一套存储集群能够满足测序仪写入与下游分析计算的读取需求，无需为不同业务单独采购存储。

与其他方案的定位对比​

对比维度MeshFSLustre3FS（DeepSeek）BeeGFS
开源情况商业软件GPL v2开源MIT开源社区版免费
主要用户智算中心、国内AI厂商HPC超算中心DeepSeek内部及开源用户科研HPC
RDMA支持原生支持（FlexPath™）支持（IB/RoCE）原生支持支持
元数据架构分布式分片MDS/MDT集群无状态+FoundationDB分布式
故障切换时间100ms级（XSEA）秒级秒级秒级
协议兼容性POSIX/NFS/SMB/S3/HDFSPOSIXPOSIXPOSIX
适配信创环境支持国产CPU/OS一般无专项适配一般
运维复杂度商业支持，配有管理界面较高较高中等

优缺点分析​

优点​

  • 全协议融合，消除数据孤岛：原生支持POSIX、S3、HDFS等多种协议，同一份数据可在数据清洗、训练、归档全流程中流动，无需跨系统搬迁，这是MeshFS相比Lustre、BeeGFS等传统并行文件系统最显著的差异化能力之一。

  • Tier-0缓存大幅提升Checkpoint效率：持久化近算缓存解决了大规模训练任务Checkpoint的峰值带宽问题，使GPU集群能快速从Checkpoint中断中恢复训练，对大规模LLM训练场景价值突出。

  • XSEA架构实现快速故障切换：100ms级故障切换时间（相较Shared-Nothing架构的5~10s）对于长时间运行的AI训练任务具有重要意义，能有效降低存储异常对训练稳定性的影响。

  • 多协议接入与Kubernetes集成：提供CSI驱动，支持云原生训练平台开箱即用，与Kubeflow、Ray等主流AI训练调度框架原生兼容，降低云原生场景的集成成本。

  • 国产信创适配：完全自主研发，支持海光、鲲鹏等国产CPU及国产操作系统，满足有信创合规要求的智算中心建设需求。这是国际开源方案（3FS、Lustre）通常不具备的差异化能力。

  • 智能分层降低TCO：通过热温冷数据自动分层，可以用20%的NVMe全闪容量成本覆盖80%的热数据访问需求，其余80%数据存储在成本更低的介质上，整体降低存储TCO。

局限与注意事项​

  • 商业软件，闭源：MeshFS为商业产品，不开源。与3FS（MIT开源）、Lustre（GPL开源）等方案相比，用户无法自行审查源码、参与社区开发或进行深度定制，存在一定的供应商依赖风险。

  • 实测性能数据公开有限：目前XSKY官方公布的性能数据主要来自营销材料（如"缩短90% Checkpoint写入时间"），独立第三方的系统性基准测试数据尚不丰富，建议在实际采购前进行POC（概念验证）测试以评估真实性能。

  • 需要全NVMe硬件支撑：MeshFS的高性能表现依赖全NVMe SSD存储节点和RDMA网络基础设施，硬件初始投入较高。对于预算有限或已有大量HDD存储资产的用户，需要评估硬件改造成本。

  • 运维体系依赖商业支持：MeshFS提供统一的管理界面和商业技术支持，但深度运维能力高度依赖厂商。与成熟的开源社区方案相比，运维人才培养和问题排查在一定程度上受限于厂商的支持响应。

参考资料​