快速计算丨在混合云上使用Alluxio可为您节省的基础设施投入成本 →

010-82449668

EN 中文

Alluxio 助力企业解决分布式云端训练的数据访问难题

为了提高AI场景下模型训练的准确性、加快速度并降低成本,许多公司都逐步开始在云上实施分布式训练的方案。

两个需要重点解决的问题 

01 数据的可访问性 (Data Accessibility):当数据量大且存储在远端服务中时,如何获取训练数据

02 数据的访问性能 (Performance):如何同时保证元数据访问的低延迟和数据访问的高吞吐量

训练中的I/O挑战 

我们在云上进行模型训练时,总是希望能达到高吞吐量和高效率, 但是给机器学习训练供给数据时经常会遇到下述挑战:

低效的串行化的数据准备:如果采用传统方式访问云存储中的数据,往往要花费较长的时间才能准备好训练集群所需数据。

数据访问速度慢:传统方式获取数据和元数据速度较慢,这将直接影响总体训练效率,甚至成为训练瓶颈。

资源管理易出错:训练集群通常只分配了有限的存储容量,如果在训练前完整复制输入数据至训练集群本地存储,配置和维护存储资源往往难度大且容易出错。

数据不一致:如果复制训练数据到训练集群,通常需要额外的人工干预来确保云存储上的数据与训练数据同步。

本白皮书介绍了如何利用 Alluxio 加快数据访问,实现云上分布式训练的端到端性能提速。部署 Alluxio 后,从云存储加载数据,缓存数据和训练都变得更加简单高效。

此书还展示了如何搭建一套端到端加载训练数据性能的测试框架,以及 Alluxio 与其他训练主流数据供给方案的性能测试比对结果。

 

立即下载白皮书,了解更多精彩内容!

辉羲智能 x Alluxio 应用案例

辉羲智能致力打造创新车载智能计算平台,提供高阶智能驾驶芯片、易用开放工具链及全栈自动驾驶解决方案,助力车企实现优质高效的自动驾驶量产交付,构建低成本、大规模和自动化迭代能力,引领数据驱动时代的高阶智慧出行。

望石智慧 x Alluxio 应用案例

望石智慧(StoneWise),成立于2018年,是一家使用人工智能技术驱动新药研发的科技公司,旨在用技术与创新力为医药行业带来新视角,打造世界领先的小分子创新药研发平台。

【济南超算】超算互联网统一存储平台技术研究

国家超级计算济南中心(简称“济南超算”)由国家科技部批准成立,创建于2011年,是从事智能计算和信息处理技术研究及计算服务的综合性研究中心,也是我国首台完全采用自主处理器研制千万亿次超级计算机“神威蓝光”的诞生地。