此白皮书详细介绍了如何利用公有云(如Amazon AWS、 Google GCP或Microsoft Azure)直接在本地数据上扩展分 析工作负载,而无需通过人工干预将数据复制和同步到 云中。我们将以实例展示如何通过部署在公有云上的 Alluxio,来自动把数据从HDFS缓存到运行Presto和Hive 的机器内存上。此外,我们也将展示如何在位于两个不 同位置的Amazon EMR集群中设置和执行性能基准,并给 出我们的研究结果概述。
立即下载白皮书,了解更多精彩内容!
此白皮书详细介绍了如何利用公有云(如Amazon AWS、 Google GCP或Microsoft Azure)直接在本地数据上扩展分 析工作负载,而无需通过人工干预将数据复制和同步到 云中。我们将以实例展示如何通过部署在公有云上的 Alluxio,来自动把数据从HDFS缓存到运行Presto和Hive 的机器内存上。此外,我们也将展示如何在位于两个不 同位置的Amazon EMR集群中设置和执行性能基准,并给 出我们的研究结果概述。
立即下载白皮书,了解更多精彩内容!
近日,Alluxio发布Alluxio Enterprise AI 3.5 版本。该版本凭借仅缓存写入模式(Cache Only Write Mode)、高级缓存管理策略以及Python的深度集成等创新功能,大幅加速AI模型训练并简化基础设施运维,助力企业高效处理海量数据集、优化AI工作负载性能。
AI驱动的工作负载常因海量的数据管理复杂度高导致效率瓶颈以及训练周期延长。
“Solidigm 和 Alluxio 联合推出了高效的分布式 AI 缓存方案。通过将 Solidigm 的 D5-P5336 用作读缓存,D7-PS1010 用于 checkpoint 写入,并搭配 Alluxio 的低操作开销解决方案,我们帮助客户实现了大规模 AI 场景下成本和性能的最佳平衡。优化后的方案充分利用了Solidigm D7-PS1010 Gen5 TLC SSD 的写入带宽和 D5-P5336 Gen4 QLC SSD 的读取带宽,同时将 TLC 和 QLC SSD 的写放大系数保持在 1.02。
为了较好地展示 Alluxio 的缓存性能,我们采用了全球首个且唯一的 AI/ML 存储基准测试——MLPerf® Storage 进行验证。MLPerf™ 是影响力最广的国际 AI 性能基准评测,由图灵奖得主大卫•帕特森(David Patterson)联合顶尖学术机构发起成立,并于2023年推出 MLPerf™ Storage 基准性能测试,旨在以架构中立、具有代表性和可重复的方式衡量 AI 工作负载的存储系统性能。