首页 星云 工具 资源 星选 资讯 热门工具
:

PDF转图片 完全免费 小红书视频下载 无水印 抖音视频下载 无水印 数字星空

JuiceFS 直连 NFS 新功能介绍,赋能 NAS 进行 AI 训练

编程知识
2024年07月19日 14:28

NAS 通过提供多用户网络数据存取服务,极大地简化了数据共享和管理。而 NFS 作为实现这种共享的一种主流协议,尽管广泛应用,但在处理复杂的 AI 训练场景时常常受限于其性能和一致性问题。

JuiceFS 在最新的1.2版本中增加了直连 NFS 功能,这一创新允许 JuiceFS 直接利用 NAS 上的 NFS 服务,而无需预挂载。 通过 JuiceFS 的直连 NFS 功能,用户可以直接使用现有的 NAS 的存储空间创建 JuiceFS 文件系统,无需额外准备其他的对象存储。

1. 直连 NFS 存储的优势

  • 免预先挂载:直接使用 NFS 作为 JuiceFS 的底层存储,无需预先挂载,简化了配置和管理。
  • 高性能:JuiceFS 通过缓存和预读等技术,提升了 NFS 存储的性能,支持高并发读写。
  • 跨平台共享:JuiceFS 能够将 NFS 存储转换为分布式文件系统,实现了跨平台共享,不仅可以在 Linux、macOS、Windows 等操作系统上使用,还可以在 Hadoop、Kubernetes、Docker 等容器环境中使用。

2. JuiceFS 助力本地 AI 模型训练

借助 JuiceFS,用户可以将训练数据、模型文件等存储在现有的 NAS 上。借助 JuiceFS 的分布式、高性能、高可用的特性,用户可以在多个计算节点上同时访问这些数据,提升 AI 模型训练的效率。

在训练机上,用可以户通过 JuiceFS 挂载点、S3 Gateway、WebDAV、CSI Driver、Hadoop API 等多种方式访问 NAS 上的数据,JuiceFS 会自动缓存数据,提升训练的性能。

JuiceFS 支持多种缓存策略,可以根据不同的场景选择合适的缓存策略,提升训练的性能。例如,可以使用 --cache-size 参数设置缓存大小,使用 --cache-dir 参数指定缓存目录,使用 warmup 策略预读数据等。
更多关于 JuiceFS 的缓存策略,请参考官方文档

3. 直连 NFS 创建 JuiceFS 文件系统

使用直连 NFS 存储创建 JuiceFS 文件系统的过程十分简单,只需在 NAS 或文件服务器上配置好 NFS 服务,然后在 JuiceFS 创建文件系统时指定 NFS 存储的地址即可。

例如,使用 NFSv3 协议的 NFS 存储,在相同网络内任何安装了 JuiceFS 客户端的计算机上,通过以下命令创建 JuiceFS 文件系统:

sudo juicefs format --storage nfs \
    --bucket 192.168.1.88:/data/nfs \
    redis://192.168.1.88/0 \
    myjfs

其中,--storage nfs 指定了使用 NFS 存储,--bucket 指定了 NFS 存储的地址,redis://192.168.1.88/0 指定了 Redis 作为元数据存储,myjfs 是文件系统的名称。

更多关于直连 NFS 存储的内容,请参考官方文档

4. 注意事项

在使用 NFS 作为存储层创建 JuiceFS 文件系统时,需要注意以下几点:

  1. JuiceFS 暂不不支持 NFSv4 的身份认证机制,因此需要遵循 NFSv3 协议配置 NFS 存储,在创建文件系统时也无需指定 --access-key--secret-key
  2. 为了充分发挥 JuiceFS 的缓存能力,建议在 JuiceFS 客户端所在机器上准备充足的高速 SSD 空间作为缓存设备,以提升性能。
  3. NFS 默认采用 root_squash 机制,它会将 root 身份执行的操作映射为 nobody:nogroup,因此在 NFS 服务器上需要配置好权限,确保 JuiceFS 客户端有权限访问 NFS 存储。

5. 总结

JuiceFS v1.2.0 版本新增的直连 NFS 存储功能,让 JuiceFS 可以更好的与 NAS 配合使用,提升了 JuiceFS 对 NFS 的兼容性,同时也为企业提供了更简易的存储解决方案。用户可以利用现有的存储资源在本地构建高性能、高可用的分布式文件系统,为 AI 模型训练、数据分析等场景提供更好的支持。

欢迎大家下载试用 JuiceFS v1.2.0 版本,体验直连 NFS 创建文件系统,为本地 AI 模型训练提供强大动力!

From:https://www.cnblogs.com/JuiceData/p/18311574
本文地址: http://www.shuzixingkong.net/article/193
0评论
提交 加载更多评论
其他文章 论如何直接用EF Core实现创建更新时间、用户审计,自动化乐观并发、软删除和树形查询(下)
前言 数据库并发,数据审计和软删除一直是数据持久化方面的经典问题。早些时候,这些工作需要手写复杂的SQL或者通过存储过程和触发器实现。手写复杂SQL对软件可维护性构成了相当大的挑战,随着SQL字数的变多,用到的嵌套和复杂语法增加,可读性和可维护性的难度是几何级暴涨。因此如何在实现功能的同时控制这些S
论如何直接用EF Core实现创建更新时间、用户审计,自动化乐观并发、软删除和树形查询(下) 论如何直接用EF Core实现创建更新时间、用户审计,自动化乐观并发、软删除和树形查询(下)
云仿真技术与云仿真平台特点分析
云计算和仿真技术的不断发展,使云仿真平台成为处理大规模仿真任务的重要工具.通过结合云计算和仿真技术,云仿真平台能够提供可扩展性、虚拟化、网络协作、弹性计算和数据管理等特征,为用户带来更高效、灵活和精确的虚拟仿真体验,本文,将介绍云仿真的基本概念和云仿真平台的特征.
云仿真技术与云仿真平台特点分析 云仿真技术与云仿真平台特点分析 云仿真技术与云仿真平台特点分析
.NET单元测试使用AutoFixture按需填充属性的几种方式,以及最佳实践
AutoFixture是一个.NET库,旨在简化单元测试中的数据设置过程。通过自动生成测试数据,它帮助开发者减少测试代码的编写量,使得单元测试更加简洁、易读和易维护。AutoFixture可以用于任何.NET测试框架,如xUnit、NUnit或MSTest。 默认情况下AutoFixture生成的字
Samba服务
一、实验目的: 掌握Linux环境中软件的安装。 搭建Samba服务器,基本了解搭建服务器的基本步骤。 理解Samba服务器作用与工作原理。 二、实验环境: 操作系统:Centos7 Windows 10 硬件设备:虚拟机 三、实验步骤及结果: 某院系构建一台资源共享服务器,为本院系网络班和云计算班
Samba服务 Samba服务 Samba服务
彻底理解Linux的DISPLAY变量的作用
背景 最近遇到个两年前遇到的问题,使用virt-manager提示(virt-manager:873): Gtk-WARNING **: 14:53:28.147: cannot open display: :1,当时专门运维的同事帮忙临时调了下DISPLAY变量,好像是将:1改成了SSH用户本地I
【VMware VCF】VMware Cloud Foundation Part 02:部署 Cloud Builder。
VMware Cloud Builder 是用于构建 VMware Cloud Foundation 第一个管理域的自动化部署工具,通过将一个预定义信息的 Excel 参数表导入到 Cloud Builder 以启动 VCF 的初始构建过程(Bring-up)。VMware Cloud Builde
【VMware VCF】VMware Cloud Foundation Part 02:部署 Cloud Builder。 【VMware VCF】VMware Cloud Foundation Part 02:部署 Cloud Builder。 【VMware VCF】VMware Cloud Foundation Part 02:部署 Cloud Builder。
诞生记(一)——上线一个小程序最低要花多少钱?
我是一个很懒的人,很少写博客。为什么?因为技术发展太快了,刚学习记录下来过段时间来看看,发现全都过时了。太浪费感情了。 曾经我也是一个软粉,一个.Net开发者,同学都入坑Android、Java踩着时代的红利拿高薪的时候。我却始终爱着微软。一直到微软彻底抛弃Windows Phone10的时候我才死
诞生记(一)——上线一个小程序最低要花多少钱? 诞生记(一)——上线一个小程序最低要花多少钱?
开源!开源一个flutter实现的古诗拼图游戏
去年(2023年)年底我初学flutter,看了一些文档和教程,想找个东西来练练手。 小时候看过一个关于历史名人儿时事迹的短片,有一集是讲周总理的,有一个细节我记得很清楚:幼年周恩来经常要做一个游戏--有一堆纸片,每片纸上一个字,他要一个一个字拼起来拼成一首诗。 很多年前我就想,或许可以把这个游戏做
开源!开源一个flutter实现的古诗拼图游戏 开源!开源一个flutter实现的古诗拼图游戏 开源!开源一个flutter实现的古诗拼图游戏