近日,Alluxio 数据平台与火山引擎对象存储 TOS 实现集成。
结合 Alluxio 的数据加速能力以及火山引擎对象存储 TOS 的海量、低成本特性,双方将共同为用户提供经济高效的存储及 AI 加速解决方案,通过快速访问、高可用性、高容错性以及灵活的数据管理等功能和特性,使用户在 AI 业务场景中,大幅降低 GPU 的等待时间,让用户以更加卓越的体验,应对不断增长的数据需求。
火山引擎对象存储 TOS 是火山引擎提供的海量、安全、低成本、易用、高可靠、高可用的分布式云存储服务。通过网络,用户可以在任何应用、任何时间、任何地点管理和访问 TOS 上的数据。TOS 具备以下四大优势:
- 超10EB 级海量规模:对象存储 TOS 部署规模超过10EB 级,每日新增对象数量过亿,集群规模业界前列;
- 超高性价比:支持按需使用、按量付费,无需提前购买存储空间;支持智能分层存储类型,能够根据访问对象的频率,自动转换对象的访问层级,降低存储成本;
- 高可靠:99.9999999999%(12个9)的数据持久性保障,通过分布式架构,对数据进行多设备冗余存储,实现数据安全可靠地存储与管理;
- 更安全:提供丰富的权限控制机制,完备的服务端加密机制,满足数据合规要求。
在 AI 大模型的推动下,AI 数据上云体量呈指数级增长,存储计算分离逐渐成了大数据处理的重要趋势。Alluxio 将与对象存储 TOS 携手为用户构建经济高效的存算分离解决方案,使用户可以更高效、更灵活、更低成本地存储和访问数据,实现高性能数据分析:
- 数据访问灵活高效,开发与应用更便捷:用户可通过多种方式的接口,灵活高效访问 TOS 存储的数据,极大地简化数据开发处理;
√ 高性能数据访问,快速响应 AI 业务需求:Alluxio 挂载 TOS 后,用户可以获得更高的数据访问效率和读写性能;
√ 实现97% GPU 利用率,加速 AI 工作负载:Alluxio 帮助需要大量数据的 GPU 实现高吞吐和低延迟,使训练集群能够在高性能分布式缓存中持续、高效地获取数据,确保 GPU 在计算过程中几乎无等待时间;
√ 更经济的数据管理策略,成本大幅降低:TOS 通过对冷热数据的分层存储管理,将活跃度较低的数据迁移至成本更低的存储层,保持高频访问数据在高性能存储层,以此优化存储资源的利用效率,大幅降低网络传输流量和 API 调用成本。
Alluxio 首席解决方案架构师傅正佳表示:“Alluxio 与火山引擎的合作令人激动万分,为新一代 AI 数据平台的构建提供了一套既创新,又极具技术含量的解决方案。它打破了数据规模、高性能 I/O 和成本之间的‘三角不可能’,不论训练集群在公有云、私有云或是混合云的方式部署,都能够使数据访问性能、成本节省、数据管理三个方面得到全面提升。”
火山引擎数据湖生态存储负责人林宇表示:“火山引擎一直致力于为客户提供灵活、高效、易用的 AI 及大数据领域解决方案。此次火山引擎与 Alluxio 的技术合作,充分发挥了双方在计算存储连接能力、海量数据的存储访问和管理能力以及数据加速方案上的优势,共同助力企业客户有效挖掘数据价值,快速构筑其 AI 及数据分析领域的各项服务能力。”
未来,火山引擎对象存储 TOS 将支持分层命名空间等更多功能,支持企业用户零成本接入,通过对象及文件语义的完全互通,在实现真正的“一份数据多种访问”的同时,支持目录级的重命名及移动等操作。与此同时,双方将继续在 AI 领域开展深度合作,进一步提升数据处理效率与性能,满足企业在“ AI +大数据”场景下对数据存储和访问体验的需求,帮助企业深挖数据潜在价值,实现 AI 应用高效落地。