快速计算丨在混合云上使用Alluxio可为您节省的基础设施投入成本 →

010-82449668

EN 中文

Alluxio 2.9新版发布 | 重塑架构,支持大规模多租户环境

2022年11月17日,全球首创的开源数据编排软件开发商Alluxio宣布正式发布数据编排平台2.9版本,新版本立即可用。2.9版本进一步强化了Alluxio作为计算引擎和存储系统中间层的关键地位。新功能包括:增加跨环境集群同步功能,支持横向扩展的多租户架构;显著改进在Kubernetes上部署的工具集和指南,增强Alluxio的易管理性;以及通过优化S3 API 和 POSIX API 实现安全性和性能提升。

 

“在我们数据平台的数个核心项目上,我们一直在与Alluxio合作。”乐天集团(Rakuten)DevOps 高级 经理 Nirav Chotai 表示,“我们的基础设施分散在不同的地理位置,涉及不同的计算引擎和存储类型,可以预见,Alluxio对于乐天集团平台的扩展将持续发挥重要作用。我们很高兴能够使用这次发布的新版本,尤其是将新增的Kubernetes operator用于多租户环境。”

 

“我们目前运行着1000个 Alluxio 节点,用来优化模型训练作业和交互查询。”腾讯大数据团队工程经理陈鹏表示,“Alluxio已经成为大型互联网公司加速数据分析和AI应用开发的首选方案。我们十分期待新版本对 Kubernetes功能的强化,这会使得对Alluxio的管理变得更加容易。”

 

“我们一直将 Alluxio 作为多个数据中心上层的数据缓存层,来提高数据的访问性能。”Shopee数据基础设施总监罗李表示,“Alluxio 的架构允许我们开展数据‘服务化’。此外,部署Alluxio还能降低我们基础设施团队的管理开销,特别是当数据分布在不同地域,甚至是跨多个国家的数据中心的情况下。”

 

“在搭建数据平台时,部署专用租户的卫星集群已经变得越来越普遍。”Alluxio 产品总监 Adit Madan 提到, “Alluxio 这次新增的跨环境主动同步元数据的功能非常关键,这项功能让企业更容易搭建这种卫星集群架构。” 

 

通过租户隔离,数据平台既能实现多租户架构的扩展性和和经济性,又能有效防止不同团队在访问共享数据湖存储时产生竞争。通过新增的跨环境同步功能,Alluxio 大幅提高了其架构的扩展性和可管理性,数据平台团队能够根据负载容量,在任何环境下的计算和存储集群之间部署多个单租户的 Alluxio 集群。

 

在 Kubernetes 上运行 Alluxio 有助于将Alluxio部署策略标准化,无论是单云、多云、混合云还是本地环境。新版本引入了 Alluxio operator,简化了多个 Alluxio 集群的部署、配置、预置和管理,降低了运维管理的复杂性。 在Kubernetes 上运行Alluxio 还使得数据栈可迁移到任何环境中,防止被厂商锁定。

 

最后,在 Alluxio 2.9版本中,计算引擎可以通过S3 API 与 Alluxio进行统一交互,在Alluxio这一层实现统一管理身份验证和访问策略。因此,Alluxio能够提供跨本地或云上异构存储环境的统一安全保护。

 

“Alluxio数据编排平台旨在简化、保护和加速异构分析环境中的数据访问。”,Eckerson集团研究副总裁 Kevin Petrie 表示, “2.9 版本的这些强化功能可为新的分析用户、应用程序和项目提供所需资源,从而更轻松、更好地满足SLA。Alluxio能够帮助企业更有效地管理元数据、容器化部署以及 API 安全。”

 

Alluxio 2.9 社区版和企业版包含的新功能有:

 

新增跨环境集群同步功能

Alluxio 2.9版本增加了跨环境同步功能。这个功能让不同的 Alluxio集群之间知道各自对于元数据的修改情况,从而自动保持元数据同步。在任何环境中部署 Alluxio 集群都可以实现租户级隔离,同时可以确保Alluxio 集群中的海量元数据处于同步状态。当部署卫星集群架构时,此功能尤其有用,属于每个团队的租户级的计算集群都可实现隔离。有了这项新功能,多租户架构允许平台横向扩展和支持新用例,而不会出现中央资源瓶颈,从而确保满足 SLA ,并简化元数据管理操作。

 

增强Alluxio在Kubernetes上的可管理性

Alluxio 2.9版本新增了用于 Kubernetes的 Alluxio  operator 。管理员现在可以通过新增的带 CRD(自定义资源)的 Alluxio operator 在 Kubernetes 上轻松部署及管理 Alluxio。使用Operator,管理员可以更容易地对Alluxio部署、连接底层存储、配置更新和卸载进行配置管理。使用 Alluxio operator减轻了在不同环境中部署Alluxio的负担,在管理多个 Alluxio 实例时大大减少了手动工作量并简化了管理运维。

 

提高S3 API 安全性和用户体验

Alluxio 2.9版本进一步增强了其 S3 API功能,为应用程序提供统一的安全模式和更好的用户体验。新版本增加了对 S3 API的开放式身份验证协议的支持,确保Alluxio的用户请求在被处理之前进行验证。这项新功能允许数据平台团队连接到更高级的身份管理系统(例如 PingFederate),并使用单点登录 (SSO) ,从而增强用户体验。通过统一的身份验证和授权模式,连接到 Alluxio 的应用程序可以跨本地、混合云或多云进行移植。

 

下载

Alluxio 2.9 开源社区版和 Alluxio 企业试用版可在此免费下载:https://www.alluxio.io/download/

资源

    辉羲智能 x Alluxio 应用案例

    辉羲智能致力打造创新车载智能计算平台,提供高阶智能驾驶芯片、易用开放工具链及全栈自动驾驶解决方案,助力车企实现优质高效的自动驾驶量产交付,构建低成本、大规模和自动化迭代能力,引领数据驱动时代的高阶智慧出行。

    望石智慧 x Alluxio 应用案例

    望石智慧(StoneWise),成立于2018年,是一家使用人工智能技术驱动新药研发的科技公司,旨在用技术与创新力为医药行业带来新视角,打造世界领先的小分子创新药研发平台。

    【济南超算】超算互联网统一存储平台技术研究

    国家超级计算济南中心(简称“济南超算”)由国家科技部批准成立,创建于2011年,是从事智能计算和信息处理技术研究及计算服务的综合性研究中心,也是我国首台完全采用自主处理器研制千万亿次超级计算机“神威蓝光”的诞生地。