Alluxio作为轻量级分布式缓存部署在AI计算工作负载
(训练任务、特征存储库、推理服务器)与AI数据持久存储位置
(如S3云存储、数据湖、NFS)之间。
Alluxio自动将数据缓存至NVMe驱动器,既可利用现有GPU节点的闲置容量,
也可部署在专用CPU节点上——实现本地NVMe级别的数据访问速度。
Alluxio 提供分布式缓存,因此AI引擎可以通过访问高性能 Alluxio 缓存, 而非缓慢的数据湖存储来读写数据。其智能缓存策略针对AI工作负载的 I/O 模式量身定制,可为整个AI工作流提供高吞吐量和低延迟。
Alluxio 可快速按需加载数据,而非将训练数据复制到本地存储。这消除了数据加载对模型训练速度造成的瓶颈。通过高性能的按需数据访问,可消除数据副本并提高性能。
Alluxio 可将 GPU 利用率提高至高达90%,使得数据与 GPU 周期同步,并加速模型训练和模型服务。Alluxio 还能使标准化存储实现与专用存储同样的高性能,从而节约成本。
通过Alluxio,您可以将任一计算引擎连接到位于任何位置、任何环境中的任何存储。
无论您的数据位于何处,Alluxio都能统一数据访问,无需将数据移动到单一数据湖或单一云上。
通过使数据更接近计算,Alluxio的数据缓存功能加快了大规模分析和AI工作负载的速度。通过消除副本和最大限度地减少数据移动,Alluxio降低了延迟,节省了带宽和流量成本。
通过Alluxio,您的数据应用程序可以轻松地移植到任何环境中。
Alluxio通过统一的命名空间对数据技术栈进行标准化,跨各类存储系统提供统一的访问模式。应用开发人员无需再考虑数据存储的位置,可以解耦计算和存储,而无需重写应用程序。
有了Alluxio后,您可按成本效益最高的方式部署计算,数据平台将实现真正的多云自由。
Alluxio可帮助节省高达70%的数据基础设施TCO,包括降低网络流量成本和S3 API成本,允许弹性计算,并节省平台运营成本。
通过减少跨网络的数据移动量,云流量成本得以减半,数据基础设施成本变得更加可预测。您不仅可以了解成本产生于哪里,而且还能极大的减少成本。
作为唯一一个能真正实现存算分离的解决方案,Alluxio能让您的数据基础设施具有前瞻性,轻松地适配您的需求和技术栈的发展。
京公网安备 11010802040260号