快速计算丨在混合云上使用Alluxio可为您节省的基础设施投入成本 →

针对AI和数据分析的Alluxio数据平台

在本地、云、混合或多云环境中,支持无缝访问、管理和运行您的数据和人工智能工作负载

工作原理

Alluxio位于计算和存储之间,为企业提供统一的视图,

使其能够轻松地跨多个基础架构环境管理数据和AI工作负载。

Alluxio靠近存储,拥有数据平台上各个数据处理阶段工作负载的统一视图。

这是我们可以利用的优势。

而靠近计算是 Alluxio 数据平台智能的关键所在,能了解计算引擎上的应用程序想要达成的目标。

充分利用这一独特的位置优势,是我们与市场上众多产品的区别所在。

Alluxio Enterprise AI 平台的优势

针对AI负载 I/O 模式定制的智能缓存

Alluxio 提供分布式缓存,因此AI引擎可以通过访问高性能 Alluxio 缓存, 而非缓慢的数据湖存储来读写数据。其智能缓存策略针对AI工作负载的 I/O 模式量身定制,可为整个AI工作流提供高吞吐量和低延迟。

高效数据加载,无需复制数据

Alluxio 可快速按需加载数据,而非将训练数据复制到本地存储。这消除了数据加载对模型训练速度造成的瓶颈。通过高性能的按需数据访问,可消除数据副本并提高性能。

GPU 利用率高达 90%,最大限度地提高AI平台的投资回报率

Alluxio 可将 GPU 利用率提高至高达90%,使得数据与 GPU 周期同步,并加速模型训练和模型服务。Alluxio 还能使标准化存储实现与专用存储同样的高性能,从而节约成本。

使用Alluxio后
Dataloader中的耗时从 82% 降至 1%
GPU利用率从 17% 提高至 93%

Alluxio Enterprise Data 平台的优势

通过Alluxio,您可以将任一计算引擎连接到位于任何位置、任何环境中的任何存储。

无论您的数据位于何处,Alluxio都能统一数据访问,无需将数据移动到单一数据湖或单一云上。

通过使数据更接近计算,Alluxio的数据缓存功能加快了大规模分析和AI工作负载的速度。通过消除副本和最大限度地减少数据移动,Alluxio降低了延迟,节省了带宽和流量成本。

通过Alluxio,您的数据应用程序可以轻松地移植到任何环境中。

Alluxio通过统一的命名空间对数据技术栈进行标准化,跨各类存储系统提供统一的访问模式。应用开发人员无需再考虑数据存储的位置,可以解耦计算和存储,而无需重写应用程序。

有了Alluxio后,您可按成本效益最高的方式部署计算,数据平台将实现真正的多云自由。

Alluxio可帮助节省高达70%的数据基础设施TCO,包括降低网络流量成本和S3 API成本,允许弹性计算,并节省平台运营成本。

通过减少跨网络的数据移动量,云流量成本得以减半,数据基础设施成本变得更加可预测。您不仅可以了解成本产生于哪里,而且还能极大的减少成本。

作为唯一一个能真正实现存算分离的解决方案,Alluxio能让您的数据基础设施具有前瞻性,轻松地适配您的需求和技术栈的发展。

基于 Alluxio 构建统一数据接入层

Alluxio 在知乎的多云架构中发挥了重要作用,为我们解决了数据安全、跨云、专线流量等一系列问题,为知乎的数据处理和模型训练提供了高效、安全、便利的解决方案。在未来,我们将继续深入挖掘 Alluxio 的潜力,探索更多的应用场景,为知乎的技术发展贡献更多的力量。

—— 胡梦宇,知乎大数据基础架构开发工程师

立即开启 AI 和数据价值的全面释放