010-82449668

EN 中文

Alluxio 2.8 版本重磅发布!

近日,全球首创的开源数据编排软件开发商Alluxio宣布正式发布数据编排平台2.8版本,新版本立即可用。2.8版本增强了对AWS S3 REST API的接口支持;增加了数据安全功能,对需要满足合规性和监管要求的敏感应用数据实现加密;提升了异构存储系统之间的自动数据迁移功能,用户无需手动迁移或拷贝数据。

Alluxio 2.8新版本提高了S3 API的兼容性,使得在大型数据平台上部署和管理Alluxio更简便。此外,新版本还增加了一项重要的企业级安全功能,支持数据在服务器端加密,进一步增强了数据安全和管理。对于使用不同服务商、跨云或跨区域存储数据的企业而言,数据迁移往往成为重大挑战。新版本不仅提升了异构存储系统之间数据迁移功能,也增强了基于策略的数据管理的易用性和高可用性。

“在Uber,我们通过运行Alluxio来加速大规模分析查询,支撑重要的业务决策,”Uber交互式分析团队的高级软件工程师梁晨表示,“Alluxio帮助我们在大数据处理场景下实现了稳定的性能。在大数据的容器化、存算分离的趋势下,我们相信像Alluxio这样的连接计算和存储的统一层会持续发挥关键作用。”

Alluxio产品总监Adit Madan表示:“Alluxio对于S3 API的支持意义重大,能让更多的客户更容易使用Alluxio。我们拥有S3、HDFS和POSIX API,这些丰富的API能够使企业实现真正意义上的灵活选择存储和实现多云环境部署。Alluxio的数据迁移功能将一步避免企业被供应商锁定,让企业能够灵活选择其想要的任何计算和存储引擎。”

 

Alluxio 2.8开源社区版和企业版的新功能包括:

优化S3 API,支持元数据标签

Alluxio 2.8版本(社区版和企业版)优化了对S3 RESTful API的支持,增加了元数据标签功能。通过S3 API,应用程序可以与Alluxio直接交互,无需通过定制化的驱动,也不需要任何额外的配置。使用S3 API后,数据驱动型应用、终端用户和管理员可以快速地无缝部署Alluxio。元数据标签是新增的功能,使得元数据操作可以通过S3对象和bucket标签的API来实现。

增强企业级安全,实现数据加密

Alluxio 2.8企业版现支持数据加密。在Alluxio中管理数据,可以实现静止数据加密(Encryption at rest),这是企业版安全功能的重大更新。该新功能和SSL共同支持服务器端加密,确保数据安全。目前,Alluxio为其管理的数据提供多个加密区,确保满足安全方面的要求。使用此项功能,Alluxio worker上存储的数据始终处于加密状态,并且在发送到客户端之前,在服务器端进行解密。

提升数据管理功能,支撑异构数据迁移

Alluxio 2.8企业版对于基于策略的数据管理功能进行了提升,这个功能能够实现异构存储系统之间的数据访问和移动,从而提高了性能,节省了成本。Alluxio通过预定义策略管理不同存储系统中的数据存放。企业可以灵活地选择最适合其需求的存储,无需进行复杂的手动数据迁移。

下载

Alluxio 2.8 开源社区版和 Alluxio 企业版可在此免费下载:https://www.alluxio.io/download/

资源

要了解有关S3 API的更多信息,请查看S3 API访问的技术文档:https://docs.alluxio.io/os/user/edge/en/api/S3-API.html

有关Alluxio 的介绍,请访问https://www.alluxio.io

Alluxio在数据索引和模型分发中的核心价值与应用

在当前的技术环境下,搜索、推荐、广告、大模型、自动驾驶等领域的业务依赖于海量数据的处理和复杂模型的训练。这些任务通常涉及从用户行为数据和社交网络数据中提取大量信息,进行模型训练和推理。这一过程需要强大的数据分发能力,尤其是在多个服务器同时拉取同一份数据时,更是考验基础设施的性能。

南方科技大学分享:大数据技术如何赋能大模型训练及开发

南方科技大学是深圳在中国高等教育改革发展的时代背景下创建的一所高起点、高定位的公办新型研究型大学。2022年2月14日,教育部等三部委公布第二轮“双一流”建设高校及建设学科名单,南方科技大学及数学学科入选“双一流”建设高校及建设学科名单。

Shopee 在 Alluxio 加速 AI 训练的实践与探索

Shopee是东南亚领航电商平台,覆盖新加坡、马来西亚、菲律宾、泰国、越南、巴西等十余个市场,同时在中国深圳、上海和香港设立跨境业务办公室。2023年Shopee总订单量达82亿,2024年第二季度总订单量同比增长40%,增势强劲。