010-82449668

EN 中文

2021 年Alluxio 社区年终总结

2021 年见证了 Alluxio 开源项目的快速发展,Alluxio 社区在这一年中取得的成绩离不开所有人的共同努力,对此我们十分感激。在 2022 年春节到来之际,让我们一起来回顾 Alluxio 社区在过去一年里的成长历程。

 

2021年各项数据

· 8 场 Alluxio Day 活动

· 84 场线上开发者活动和 Office Hour 活动

· 27 场线上研讨会

· 发布 62 篇文章(中英文)

· 新增 5 名 PMC member 和 1 名 PMC maintainer

· 新晋 2 名 committer

· 在 Github 中合并了 983 条 pull requests(拉取请求), 其中 308 条来自社区贡献者

· Slack 频道新增 3144 名成员,互动信息 24531 条

· 在 GitHub 中创建了 512 个 issues

· 共计 11 次大小版本迭代/发布

 

加快创新/优化

2021 年,Alluxio 在大数据分析应用中的人气持续攀升。我们的开源社区正在与 Facebook 和 Uber 等公司密切合作,将 Alluxio 作为数据缓存层,用于 Presto 工作负载的优化。如果想了解更多相关信息,请点击此处查看白皮书《Alluxio+Presto 概览——交互式查询的架构演变》

此外我们还观察到一个趋势,那就是在数据密集型的 AI/ML(人工智能/机器学习)场景下,Alluxio 被用于提供跨用户和云厂商的分布式高性能 I/O 和数据管理。针对这种新兴的应用场景,我们一直在与阿里云、微软 Azure、南京大学、腾讯云等贡献者密切合作,创建和优化基于 JNI 的 Alluxio POSIX 客户端。如果想了解更多信息,请点击此处查看白皮书《加速云端机器学习/深度学习:架构和性能测试》

随着用户逐步扩大 Alluxio 的部署规模,将其用于更复杂的应用场景,Alluxio 系统也面临更大的挑战。为了满足这些需求,Alluxio 在 2021 年大幅优化了 Alluxio 系统集群的可扩展性,优化方向从支持运行数千节点的集群的部署和管理,到支持加载包含十亿文件的数据集。例如,我们的用户腾讯目前正在运行拥有 1000 多个节点的 Alluxio 集群,为其 AI 应用提速。

2021年,我们欣喜地看到 Alluxio 用户数量迅速增长,也收获了大量宝贵的社区用户反馈。这一年里有超过 500 个 issues 在 Github 上创建,其中大部分来自社区用户。为了能够快速地响应社区反馈,尤其是 Bug 报告,我们尝试加快新版本的发布节奏。一年中,我们共计发布了 11 个大小版本,及时向用户提供最新的漏洞修复和优化。

 

社区蓬勃发展,用户贡献卓越

Alluxio 开源项目自成立以来一直遵循着 “Contributor-Committer-Member ”(贡献者-提交者-项目管理委员会委员)的择优选拔管理流程。2021 年,Alluxio 开源项目迎来了五位新的 PMC member ,他们都为项目的发展做出了卓越的贡献。两名 contributor 晋升为committer。新增的 60 多名 contributors,不仅在代码和文档方面,也在项目推广、技术分享、Q&A 支持、用户文章、新版本测试等方面做出了贡献。大家的共同努力促进了 Alluxio 的成长,提升了 Alluxio 的全球知名度。如果你也有兴趣成为 contributor ,committer 或者 PMC member,请查看我们的 github 指南(https://github.com/Alluxio/alluxio/wiki/Alluxio-Project-Management-Committee-(PMC)#how-can-i-become-a-pmc-member

Alluxio开源社区要特别感谢项目 PMC maintainer 毛宝龙带领的腾讯 Alluxio OTeam 团队。2021 年,腾讯 Alluxio OTeam 在创建和优化 JNI-fuse、动态更新配置以及用于 cephfs-hadoop 和 ozone 的 UFS 模块等功能方面做出了巨大贡献。此外,OTeam 的两位 contributor 也晋升为 committer,仅这两位就为 Alluxio 的代码库贡献了 3000 多行代码。

我们还要感谢社区的铁杆粉丝,是他们给予了宝贵的反馈,帮助 Alluxio 项目更好地适配不同的环境并稳定运行。这些用户包括 Facebook(演讲)、 Uber(演讲)、Tiktok(演讲)、微软(演讲)、腾讯(演讲)、阿里巴巴(文章)、Robinhood、Boss直聘(演讲)、Bilibili、陌陌(演讲)、京东(演讲)、Shopee、英特尔(演讲)、英伟达(文章)、文远知行(文章)、T3 出行(文章)、云知声(文章) 等(以上排名不分先后)。

 

赋能女性,实现社区多元化

Alluxio 开源社区注重多元化。社区为拥有周佩洁和邱璐这样的女性工程师加入并作出杰出的社区贡献而感到骄傲。

周佩洁是 Boss 直聘的架构工程师,也是 Alluxio 开源项目的社区顶级 contributor。目前,佩洁带领一个数名工程师的团队,致力于提高 Alluxio 在机器学习和深度学习训练中的稳定性和性能。点击此处查看周佩洁的文章

邱璐是 Alluxio 的 PMC maintainer 和机器学习工程师,目前负责两周一次的人工智能和机器学习工作负载专项兴趣小组讨论。点击此处查看邱璐的演讲

 

设立中国区总部 开启全球扩张新征程

2021 年初,Alluxio 宣布拓展亚太地区业务,将北京设为中国区总部,以便更好地服务中文开发者社区。

2022, 我们来了!

在 2022 年农历新年到来之际,Alluxio 团队也设定了更高的目标,在新的一年里将加快发展步伐,在扩大现有用户业务量的基础上,与其他开源社区一道开拓更多新的应用场景。

我们相信,在新的一年里 Alluxio 社区将继续迎来新的用户、推出更多强大功能,并收获大量宝贵的用户反馈。2021 年的 Alluxio 之旅异常精彩,感谢大家的参与,陪伴和支持!祝愿大家在 2022 年一切顺利,再创辉煌 !

Alluxio在数据索引和模型分发中的核心价值与应用

在当前的技术环境下,搜索、推荐、广告、大模型、自动驾驶等领域的业务依赖于海量数据的处理和复杂模型的训练。这些任务通常涉及从用户行为数据和社交网络数据中提取大量信息,进行模型训练和推理。这一过程需要强大的数据分发能力,尤其是在多个服务器同时拉取同一份数据时,更是考验基础设施的性能。

南方科技大学分享:大数据技术如何赋能大模型训练及开发

南方科技大学是深圳在中国高等教育改革发展的时代背景下创建的一所高起点、高定位的公办新型研究型大学。2022年2月14日,教育部等三部委公布第二轮“双一流”建设高校及建设学科名单,南方科技大学及数学学科入选“双一流”建设高校及建设学科名单。