010-82449668

EN 中文

Alluxio 2.9 版本的新功能简介: 跨集群同步、Kubernetes Operator 以及灵活的S3 API访问控制

今天,我们很高兴地宣布Alluxio 2.9免费开源社区版和2.9企业版正式对外发布!2.9正式版本(GA)具备稳定性、良好的支持性以及企业级特性。本文将介绍Alluxio的新架构以及这种架构如何赋能世界头部企业在跨区域、跨计算引擎和存储系统的分析和 AI 应用场景下实现增长和敏捷性。

 

Alluxio 2.9 版本增加了跨集群同步功能,支持横向扩展的多租户架构;显著改进在Kubernetes上部署的工具集和指南,增强了Alluxio的可管理性;此外,新版本还通过优化S3 API 实现安全性和性能上的提升。

 

企业可以通过Alluxio实现跨计算和跨存储的多云数据平台。Alluxio可以与 Spark、Presto、Trino、PyTorch 和 Tensorflow 等一起部署于任何云平台,如 AWS、GCP 和 Azure。Alluxio可以部署在私有云数据中心或公有云在 Kubernetes 上使用。

Alluxio社区版的亮点

 

以下功能是Alluxio 2.9社区版和企业版均支持的:

 

Master节点健康状态监测

The Alluxio master now periodically checks a combination of resource usage, including CPU and memory usage, and several performance critical internal data structures to infer the overall state of the system. The possible statuses, which can be retrieved by inspecting the master.system.status metric, are:

Alluxio master 现在定期检查各类资源的综合使用情况,包括 CPU 和内存使用情况,以及通过几个影响性能的关键内部数据架构推断系统的整体状态。您可以通过查看 master.system.status 指标获取Master节点健康状态:

  • 闲置
  • 正常运行
  • 繁忙
  • 过载

关于如何使用此功能,请查看文档,了解更多有关此监测功能的信息。

 

Worker 节点上的分页式存储(试验性)

新版本支持更细粒度的存储。以往Alluxio只支持64MB块存储,新版本支持1MB的分页级存储,数据可以更细的颗粒度缓存在Alluxio worker 节点上。

此功能是为了通过提高缓存的效率而增强性能。当应用首次访问底层存储时,可以减少读放大。

请查看此文档了解如何使用。

 

Alluxio企业版的亮点

下列功能仅限于Alluxio企业版。

 

跨集群同步

租户隔离可有效防止不同团队在访问共享数据湖存储时产生竞争。Alluxio通过新增的跨集群同步功能,提高了在 Kubernetes上跨租户或跨环境部署多个 Alluxio 集群时的可扩展性。

多Alluxio集群的联合(federation)是通过元数据同步实现的。不同的 Alluxio实例之间知道各自对于元数据的修改情况,实现元数据的互通,从而自动保持元数据同步。当部署卫星集群架构时,此功能尤其有用,数据生产者在更新数据湖时可与数据消费者实现隔离。

开始部署前,请点击此处查看文档。

 

新增Kubernetes Operator,提升Alluxio的可管理性

在 Kubernetes 上运行 Alluxio 有助于将部署策略标准化,使得数据技术栈可移植到任何环境。新版本新增了 Alluxio Operator,可简化多个 Alluxio 集群的部署和管理。

管理员现在可以通过CRD(自定义资源)轻松部署和管理 Alluxio。使用Alluxio Operator可降低管理多个Alluxio实例的负担。

开始部署前,请点击此处查看文档。

 

S3 API 安全功能提升

新版本进一步强化了S3 API 功能管理员现在可通过统一命名空间来集中管理身份验证和访问控制策略,实现无论是在本地还是跨云异构存储的统一的安全保护。

新版本增加了对 S3 API的开放式身份验证协议的支持,确保在处理Alluxio的用户请求之前对其进行验证。这项新功能允许数据平台团队连接到身份管理系统(例如 PingFederate),并使用单点登录 (SSO)。

开始部署前,请点击此处查看文档。

 

如需了解有关Alluxio 2.9版本的更多信息,可点击此处预约会议,与我们的解决方案工程师进行1对1交流。

 

更多信息

关于Alluxio 2.9版本的重要功能和修复漏洞的完整列表,请查看社区版发布说明企业版发布说明

欢迎点击 https://www.alluxio.io/download/ 免费下载Alluxio 2.9开源社区版和企业试用版。如果您有任何疑问或反馈,也欢迎加入我们社区的slack 频道,与社区的9000+成员一同探讨和交流。

Alluxio Enterprise AI 3.5 发布:通过创新缓存模式、分布式缓存管理以及Python深度集成,全面提升AI模型训练性能

近日,Alluxio发布Alluxio Enterprise AI 3.5 版本。该版本凭借仅缓存写入模式(Cache Only Write Mode)、高级缓存管理策略以及Python的深度集成等创新功能,大幅加速AI模型训练并简化基础设施运维,助力企业高效处理海量数据集、优化AI工作负载性能。
AI驱动的工作负载常因海量的数据管理复杂度高导致效率瓶颈以及训练周期延长。

Alluxio 联手 Solidigm 推出针对 AI 工作负载的高级缓存解决方案

“Solidigm 和 Alluxio 联合推出了高效的分布式 AI 缓存方案。通过将 Solidigm 的 D5-P5336 用作读缓存,D7-PS1010 用于 checkpoint 写入,并搭配 Alluxio 的低操作开销解决方案,我们帮助客户实现了大规模 AI 场景下成本和性能的最佳平衡。优化后的方案充分利用了Solidigm D7-PS1010 Gen5 TLC SSD 的写入带宽和 D5-P5336 Gen4 QLC SSD 的读取带宽,同时将 TLC 和 QLC SSD 的写放大系数保持在 1.02。

MLPerf基准测试冲出黑马,Alluxio新范式引爆AI存储

为了较好地展示 Alluxio 的缓存性能,我们采用了全球首个且唯一的 AI/ML 存储基准测试——MLPerf® Storage 进行验证。MLPerf™ 是影响力最广的国际 AI 性能基准评测,由图灵奖得主大卫•帕特森(David Patterson)联合顶尖学术机构发起成立,并于2023年推出 MLPerf™ Storage 基准性能测试,旨在以架构中立、具有代表性和可重复的方式衡量 AI 工作负载的存储系统性能。