中文科技资讯
业界资讯 互联网 手机资讯 电脑硬件 数码产品 家电产品 APP应用 手机游戏 美通快讯

EROFS文件系统升级,48位寻址助力AI训练突破容量限制

2025-03-24来源:ITBEAR编辑:瑞雪

在科技界的一则最新动态中,知名科技博客Phoronix于3月23日披露,随着Linux 6.15内核版本的临近,开源社区中的EROFS(增强型只读文件系统)即将迎来一次重大革新。此次升级的核心亮点在于,EROFS将引入48位寻址支持,以满足人工智能模型训练过程中对数据存储容量的迫切需求。

一直以来,EROFS受限于32位块寻址机制,其最大容量被限定在16TiB(在4KiB块大小下)。而48位寻址技术的加入,将彻底打破这一瓶颈,使得EROFS能够轻松应对AI训练中所需的大规模数据集存储挑战,同时也为对象存储客户端提供了更为广阔的存储空间。

除了容量上的大幅提升,此次EROFS的更新还涉及到了核心磁盘结构的全面扩展,包括inode、设备槽以及inode块的优化。为了支持基本的时间戳功能,新版EROFS引入了32字节紧凑inode的mtime字段,这一改进无疑将进一步提升文件系统的实用性和灵活性。

在性能优化方面,新版EROFS同样不遗余力。针对Zstd压缩算法,新版EROFS引入了字节导向的编码扩展,这一改进使得压缩器能够保持其原有的高效压缩方法,从而在提升压缩效率的同时,也确保了数据压缩质量。据测试数据显示,在启用48位寻址后,Zstd镜像的构建时间得到了显著缩短,特别是在Intel Xeon Platinum 8163 CPU上,构建时间从原先的3分52秒骤降至12秒,这一提升无疑将为AI训练等高性能应用场景带来极大的便利。

EROFS,这一由华为最初开发并随后由全球开源社区共同维护的轻量级只读文件系统,自问世以来便以其出色的存储效率和性能表现赢得了业界的广泛关注。此次重大升级,不仅进一步巩固了EROFS在只读文件系统领域的领先地位,更为AI、大数据等前沿科技领域的发展提供了强有力的支持。

随着人工智能技术的不断发展和普及,对于数据存储和处理能力的需求也将持续增长。EROFS此次的升级,无疑为这一趋势提供了强有力的技术支撑,我们有理由相信,在未来的科技发展中,EROFS将继续发挥其独特优势,为更多领域的应用场景提供高效、可靠的存储解决方案。

企业禁用无线网卡攻略:三种方法详解,第二种助企业高效管控风险
对于中大型企业或对数据安全要求高的单位,域智盾终端安全管理系统提供了更智能、更彻底、更可追溯的无线网卡管控方案。在Windows专业版或企业环境中,IT人员可以用系统自带的组策略(Group Policy…

2025-11-15

中国电信AI赋能6G发展:创新技术引领通信变革,拓展产业融合新路径
中电信数智科技有限公司“一种基于6G的天地一体化传输优化及拓扑测绘的方法”获国家发明专利授权,这项专利涵盖卫星与地面网络协同通信、频谱资源共享、高效信号传输等多个核心技术领域,为6G的落地应用铺设了一条“高…

2025-11-12

山海星耀攻克超低轨难题,以硬核技术逐梦空天新蓝海
天虎科技了解到,虽然当前市场上有一些针对超低轨的吸气式推进器,但从气体收集率、推进效率、测试工作环境等维度上,山海星耀的电推进器均具备一定优势。 蔡东升表示,目前该产品是商业航天公司首次实现了“高真空运行环…

2025-11-12

量子安全网络新突破:CV-QKD可插拔模块开启高效规模化部署新篇
CUbIQ Technologies:开发了 CV-QKD 收发模块和量子安全架构HPE Juniper网络:将模块集成到其路由平台中,实现量子安全 MACsec 加密Coherent 高意:提供 400…

2025-11-12

企业宽带选不对,带宽再大也白费!这些关键因素决定实际网速
• 网速(用户感知):即实际访问体验,取决于 3 个核心因素 —— 带宽只是基础,更重要的是网络质量、路由优化和并发处理能力。 真正专业的服务商,会从企业实际业务场景出发提供解决方案,而非一味推销高带宽产品…

2025-11-12

物联网防逆流方案:10秒动态调节,光伏发电余电不上网更高效
防逆流柔性调节通过加装物联网网关与双向计量电表,监测市电总进线处的功率和逆变器实时的发电功率,通过网关内置的智能算法,以*快10秒为一个检测周期,持续跟踪负荷变化,动态调节逆变器的有功功率输出,既达到防逆流…

2025-11-11

Kinera Verdandi薇儿丹蒂TWS新品登场,双模连接续航持久,共赴听觉盛宴
在发布会前夕,Kinera广发“邀请函”,邀请耳机玩家来到现场先行一步体验这支旗舰TWS新品:现场共安排了两款配色的样机供试玩,分别是寰宇黑和阙夜紫,我自己就比较喜欢寰宇黑这个配色,低调奢华、质感非凡。 虽说…

2025-11-11

可编程网络中控系统:控制为核心基石,附属功能助力效能提升
AI算法在中控系统中的应用,并非为了追求技术噱头,而是通过分析设备运行状态数据,实现控制指令的预判与自适应调整——如根据会议室人数自动调节空调温度、根据室外光照强度自动调整室内照明亮度,让控制更智能、更贴合实…

2025-11-10

2025新质互联网:从“连接万物”到“智联万物”的智能化跃迁蓝图
该报告系统阐述了以IPv6+技术体系为底座、面向智能化时代的新一代互联网——"新质互联网"的内涵、架构与发展路径,指出其正从"连接万物"向"智联万物"跃迁,致力于构建可靠、高效、安全、智能、绿色的新型网络基础…

2025-11-10