MiniMax：如何基于 JuiceFS 构建高性能、低成本的大模型 AI 平台-数字星空

MiniMax 成立于 2021 年 12 月，是领先的通用人工智能科技公司，致力于与用户共创智能。MiniMax 自主研发了不同模态的通用大模型，其中包括万亿参数的 MoE 文本大模型、语音大模型以及图像大模型。
基于不同模态的通用大模型，MiniMax 推出生产力工具 “海螺 AI” 、沉浸式 AI 内容社区 “星野” 等原生应用。MiniMax 开放平台为企业和开发者提供安全、灵活、可靠的 API 服务，助力快速搭建 AI 应用。

01 多模态大模型研发的存储挑战

作为一家初创公司，MiniMax 在构建基础设施时主要关注灵活性和成本效率。因此，公司选择在本地数据中心部署关键负载（如 GPU 资源），其它源则部署于云端，以便能够利用云平台的技术优势、弹性和灵活性。由此，MiniMax 采纳了结合本地数据中心与多云环境的混合云方案。鉴于底层基础设施的复杂性和管理挑战，公司采用 Kubernetes 作为基础设施的统一管理层。

存储层作为基础设施平台的关键组成部分，面临挑战主要如下：

高性能：大模型的训练和推理需要处理和存储海量的数据，这不仅要求有高容量的存储解决方案，还需要保证数据的快速读写；
POSIX 兼容性：深度学习框架和算法工程师的日常工作都是基于 POSIX 接口，这就要求存储系统必须完全兼容 POSIX，否则会使得 AI 任务无法正常运行；
混合云架构：计算资源，尤其是 GPU，分布在不同的地理区域以及由不同的服务商提供。为了让计算任务可以高效调度，存储系统需要可适用于各种服务商和硬件环境的方案，且具备高度的灵活性，支持跨区域的数据复制、访问和迁移；
存储成本优化：随着数据量的不断增加，尤其是在大数据和 AI 应用领域，扩展存储容量的同时能够有效控制成本成为一大挑战。企业需要采用成本效益高的存储技术，同时确保这些技术能够与现有的 IT 架构无缝集成。

02 为什么选择 JuiceFS 企业版？

初期进行选型时，MiniMax 调研过 CephFS，它在元数据服务方面存在一些瓶颈。同时，MiniMax 也尝试过一些公有云服务的高性能文件存储方案，但最终由于成本过高而放弃。MiniMax 希望能够使用一种既具有足够灵活性和高度可扩展性，同时也能解决成本问题，以及可满足混合云架构的存储系统。

最终， MiniMax 选择了 JuiceFS 企业版作为公司级 AI 平台的存储底座，支持上层各类模型（包括文本大模型、语音大模型、图像大模型、多模态模型）在数据清洗、模型训练、模型推理等场景上的高性能数据访问需求。特别是在超大规模 GPU 集群分布式训练场景中，JuiceFS 优异的表现为模型迭代和 GPU 利用率的提升起到了关键作用。

兼容性：支持 POSIX、HDFS 和 S3 接口，提供统一的存储方案以减少数据拷贝和迁移；
优化 I/O 效率：通过多级缓存、预读和并发读取策略显著提升 I/O 性能；
高性能元数据服务：自研的元数据服务能够处理每秒上百万的请求，响应时间在亚毫秒级，满足 AI 训练各阶段的严苛要求；
多云/混合云数据管理：自动跨云和跨区域的数据复制，确保数据随计算迁移而自动同步，适合全球分布的计算需求；
成本低：JuiceFS 通过其基于对象存储的设计显著降低了数据存储成本，使 MiniMax 能够利用成本效益高的对象存储。此外，JuiceFS 的简便运维也有助于降低 MiniMax 的总体成本。

03 混合云架构下，如何基于 JuiceFS 构建统一的存储系统？

最初，MiniMax 主要面临频繁的读操作需求，而写操作相对较少。为此，公司采用了 JuiceFS 的分布式缓存功能，使用 NVMe 全闪存加速读取操作。随着数据处理需求和集群建设的扩大，单个集群的能力已不足以满足 MiniMax 的需求。因此，MiniMax 基于 JuiceFS 构建了一个中心化的元数据分发引擎和一个能进行高速读写操作的边缘集群架构。

MiniMax 使用 JuiceFS 的镜像文件系统功能，将中心集群的元数据自动复制到各个边缘集群。边缘集群不存储实际数据，而是通过专线从中心集群预热数据到 JuiceFS 的分布式缓存，利用高性能的缓存集群提高读带宽并减少数据重复存储。

此外，数据也可以按需下载到边缘的 JuiceFS 集群，并由上层服务进行生命周期管理。

基于这个统一存储系统，MiniMax 建设了一张覆盖全国的大型环网，并将部分城市作为核心接入点。同时，在各 IDC 机房内近距离连接到这些接入点，以支持高效的数据分发。