快速计算丨在混合云上使用Alluxio可为您节省的基础设施投入成本 →

ALLUXIO 社区、AI、数据分析版本介绍

Alluxio数据平台提供了针对不同工作负载设计的多个版本,您可以根据独特的工作负载需求来选择合适版本使用。 AI企业版(Alluxio Enterprise AI)旨在通过针对AI I/O模式量身定制的智能缓存来加速模型训练与服务。AI 企业版还提供高效的数据加载以消除数据复制,并通过实现高达 90% 的 GPU 利用率来最大限度地提高 AI 平台的投资回报率。数据分析企业版(Alluxio Enterprise Data) 可以加速 SQL 查询,提供统一的数据访问层,并可节省高达 70% 的云成本。无需复制数据或重写您的应用程序,您可以在最具成本效益的地方启动计算,从而实现真正的多云自由。Alluxio 企业版以年度订阅形式提供,包含许可证和支持,主要用于生产环境。Alluxio 社区版为免费使用,不提供产品支持,推荐用于测试/开发环境。 

产品支持与服务

社区版

AI 企业版

数据分析 企业版

24×7 专业团队支持

紧急补丁

专业服务 – 健康检查

服务和最佳实践

DevOps能力

社区版

AI 企业版

数据分析 企业版

透明集成和 URI :将 Alluxio 集成到大数据堆栈中,无需更改 Hive Metastore 的位置元数据。例如,在使用 S3 时,代码路径保持为 s3://,而不是 Alluxio://,因此客户端代码或表定义无需更改。

自动挂载存储系统: 自动挂载 Alluxio 空间中不存在的文件夹,无需任何管理干预,从而简化操作。有了它,管理员无需手动识别和挂载存储桶。

企业安全与合规

社区版

AI 企业版

数据分析 企业版

安全审计日志: 数据访问的审计日志,包括时间、用户、操作、成功或失败。

集成了 Kerberos 安全的底层存储:支持对 Kerberos 安全存储空间的访问。

Alluxio 内 Kerberos 身份验证:通过 Kerberos 验证用户身份,这样未经身份验证的用户就无法访问 Alluxio。

S3 第三方身份验证:通过为 S3 API 采用开放式身份验证协议,用户身份将在其请求被处理之前得到验证。现在,用户可以利用 SSO 系统,向 Alluxio 提供令牌,以通过身份验证并传递给授权代理。

用于授权的 Ranger / OPA :通过 Ranger(Apache、CDP、Privacera)和 OPA(Styra)插件,管理员可以集中管理各种资源的权限。有了它,就可以实现集中的表级或文件级访问控制。

静态加密:确保数据在磁盘上加密,这样即使攻击者拿到磁盘,也无法访问未加密的数据。

传输层安全(TLS):TLS 1.2 支持所有 Alluxio 组件(client、master、worker、job master和job worker)之间以及 Alluxio 与存储系统之间的通信。启用此功能后,攻击者无法拦截通信并读取未加密的数据。

数据管理

社区版

AI 企业版

数据分析 企业版

全局统一命名空间:基于抽象,允许应用程序通过统一命名空间和接口访问多个独立存储系统。

内置 Alluxio 智能分层存储:在 Alluxio 中通过跨内存、SSD和HDD的媒体感知分层策略管理存储资源。

跨集群的数据复制:将数据复制到任意支持的数据存储,以支持 HA 或其他操作需求。

基于策略的数据管理: 根据数据被创建、更新或访问的日期定义在外部存储系统间在线移动或迁移数据的策略。其中一个例子是 HDFS 到 S3 的数据迁移。例如,可以设置策略,将超过 30 天或未访问过的数据归档到 S3,而将小于 30 天的数据保留在默认位置,同时访问 URI 保持不变。

性能&可扩展性

社区版

AI 企业版

数据分析 企业版

DORA 去中心化对象存储架构: 用于元数据和缓存管理的高级架构,可让现有平台处理多达 1000 亿个对象。此外,它还为基于 Python 的应用程序提供了 RESTful API,使其能够轻松、高速地与存储进行交互。

对象存储性能增强: Alluxio 可为底层存储系统缓存数据和元数据,从而降低延迟(最多 10 倍),提高吞吐量。

降低云存储操作成本: 减少对底层云存储的操作次数并消除相关费用。

数据分析与 AI/ML 增强: 大规模数据分析和 AI/ML 训练工作负载的数据访问模式各不相同,数据要么存储在一些大型结构化文件中,要么存储在许多小型半结构化/非结构化文件中。 该功能可根据读写操作、文件大小、文件类型、文件数量等因素,智能地为特定工作负载动态确定优化方案,以调整系统达到最佳性能。

跨群集同步(预览版) 该功能允许多个 Alluxio 群集挂载相同(或相交)的 UFS 路径,并在群集间保持文件同步。例如,假设有两个名为 C1 和 C2 的 Alluxio 群集。两个群集都将 S3 存储桶 s3://my-bucket/ 挂载到 Alluxio 中的文件夹 /mnt。现在,当群集 C1 修改路径 /mnt 上的文件时,群集 C2 上也会看到该修改。

部署

社区版

AI 企业版

数据分析 企业版

使用Operator在 Kubernetes 上部署 Alluxio: 该功能允许用户通过 Alluxio Operator 管理 Alluxio 群集。例如,用户可以使用 Alluxio Operator 部署 Alluxio 集群,并通过消耗报告了解资源消耗情况。