快速计算丨在混合云上使用Alluxio可为您节省的基础设施投入成本 →

010-82449668

EN 中文

Alluxio 2.8 版本新功能简介

特别鸣谢

本次2.8.0开源版本的发布,特别得到了腾讯技术与事业群Alluxio团队的大力支持。其中,彭飞作为此次发布的重要协作工程师,在发布流程优化、大规模集成验证等方面均有大量实质性贡献。在此我们谨代表Alluxio社区向该团队的持续付出和卓著成绩表示感谢!

 

我们很高兴地宣布Alluxio 2.8 免费开源社区版和2.8 企业版正式对外发布!

2.8版本重点强化了 S3 API,提供了企业级安全功能,增强了数据迁移功能的可扩展性和可观测性。优化后的S3 API使得Alluxio的安装和部署更为简便。静止数据加密以及策略驱动型数据管理等新功能也进一步增强了Alluxio对企业客户的支持。

Alluxio拥有S3、HDFS和POSIX API, 可灵活选择存储和跨云平台部署。Alluxio可与Spark、Presto, PyTorch和Tensorflow等计算引擎搭配部署。Alluxio支持在AWS, GCP、Azure Cloud、阿里云、腾讯云等各类云平台上部署,也可以用于私有云或公有云的Kubernetes上。

 

Alluxio 2.8 社区版和企业版的亮点

社区版的亮点

优化S3 API,支持元数据标签

S3 API已成为本地和云上对象存储的标准接口。通过S3 API,数据驱动型应用的终端用户和管理员可以快速部署Alluxio,无需通过定制化的驱动,也不需要任何额外的配置。
新版本通过新增元数据标签功能,优化了对S3 API的支持。元数据操作可以通过新增的S3对象和bucket标签的API来实现。通过在header中指定参数化查询的字符串,您可以在上传的对象上添加用户定义的标签。有关支持的标签详细操作信息,请点击链接参阅Alluxio S3 文档

增强机器学习训练负载的稳定性和可扩展性

FUSE2 是 FUSE 客户端目前的默认配置。Alluxio 2.8 版本将新增对 FUSE3的支持 ,能更好地支持未来对性能和可扩展性的优化。未来FUSE3将逐步取代FUSE2。
现在,您还可以通过 Alluxio CLI 或配置属性来挂载 FUSE,新版优化了 FUSE 卸载(unmount) 机制,避免FUSE残留在主机上未卸载的情况(有关FUSE 卸载,详情请点击参阅文档 

 

企业版亮点

企业级安全重大更新:数据加密和AssumeRole的授权凭证(delegated token)

Alluxio 2.8企业版新增服务器端数据加密功能,实现了数据安全和数据管理,便于企业对需要满足合规性和监管要求的敏感应用数据实现加密传输和存储。该新功能和SSL共同支持服务器端加密,确保数据安全。启用加密功能后,存储在Alluxio worker上的数据在写入磁盘时加密,在读取和发送到客户端和UFS之前进行解密。

Alluxio 2.8企业版提供多个加密区,每个加密区都映射到一个Alluxio URI上。用户可通过文件系统中的映射路径,明确命名空间中的加密区。密钥可以存储在 Hashicorp Vault 中。点击查看文档了解如何使用静止数据加密以及Alluxio支持的加密算法。Alluxio 2.8企业版同时增加了一个新的底层存储访问凭证框架。Worker向master发送请求,获取临时访问凭证, 而不是把凭证存储在每个worker上。对于AWS S3,用户可以通过配置worker,从master获取唯一的 AssumeRole 凭证来访问 S3 对象。想了解更多有关 S3 的 AssumeRole 功能, 请点击查看文档

异构数据迁移功能提升

对于使用不同服务商、跨云或跨区域存储数据的企业而言,数据迁移往往成为重大挑战。新版本进一步提升数据迁移功能,避免企业被供应商锁定,让企业能够灵活选择任何数据存储。

Alluxio 2.8企业版增强了策略驱动型数据管理的易用性,该功能能够实现异构存储系统之间的数据访问和移动,并有效降低成本。企业可以利用Alluxio进行基于策略的数据迁移或手动的数据迁移,在无需进行修改应用的情况下,灵活地选择最适合其需求的存储系统。

Alluxio 2.8版本还增强了策略驱动型数据管理的可观测性,使用户能够在数据迁移作业失败时进行故障排查。用户可通过新CLI和指标获得策略引擎状态的报告,包括策略执行状态和操作状态等,数据迁移的详情一目了然,点击查看文档对新CLI进行详细了解。

更多信息

关于Alluxio 2.8版本的重要功能和修复漏洞的完整列表,请点击查看社区版发布说明企业版发布说明

辉羲智能 x Alluxio 应用案例

辉羲智能致力打造创新车载智能计算平台,提供高阶智能驾驶芯片、易用开放工具链及全栈自动驾驶解决方案,助力车企实现优质高效的自动驾驶量产交付,构建低成本、大规模和自动化迭代能力,引领数据驱动时代的高阶智慧出行。

望石智慧 x Alluxio 应用案例

望石智慧(StoneWise),成立于2018年,是一家使用人工智能技术驱动新药研发的科技公司,旨在用技术与创新力为医药行业带来新视角,打造世界领先的小分子创新药研发平台。

【济南超算】超算互联网统一存储平台技术研究

国家超级计算济南中心(简称“济南超算”)由国家科技部批准成立,创建于2011年,是从事智能计算和信息处理技术研究及计算服务的综合性研究中心,也是我国首台完全采用自主处理器研制千万亿次超级计算机“神威蓝光”的诞生地。