

英特尔公布 AI 百佳创新激励计划第七期创新团队名单,Alluxio凭借在AI模型训练优化方面高效的数据平台架构,成为17家AI智慧创新型入选企业之一。

Alluxio与Spark联合部署实现一个可扩展、敏捷和经济有效的方案,打造现代化的数据平台。 本文提供了Spark + Alluxio这个技术栈/解决方案的概述,你将会了解到系统架构、实践案例和性能及成本基准测试的结果。

Alluxio 与 Spark 是来自加州大学伯克利分校 AMP 实验室的姊妹项目。为了提升性能和简化数据管理,许多企业如中国联通、BOSS直聘、WeRide文远知行、去哪儿等将Alluxio 与 Spark 部署在一起。

随着我们在Iceberg的一些改造,元数据文件也逐渐增大。同时为了降低新增索引文件的读取开销以及Hadoop集群抖动等因素对文件读取的影响,我们引入了Alluxio。

通过这篇文章,我们希望可以对经济化数据存储策略做一个初步探索,首先我们将具象化两个关键特性,然后通过几组实验对技术可行性进行一个讨论。

Shuttle 是OPPO大数据团队开源的高可用高性能的 Spark Remote Shuffle Service,文中详细介绍了Shuttle的架构和设计理念。

人工智能(AI)和机器学习工作负载依赖大型数据集,并且对数据吞吐量有较高的要求,两者都可以通过优化数据工作流来实现。 当进行AI模型训练时,我们需要高效的数据平台架构来快速生成分析结果,而模型训练在很大程度上依赖于大型数据集。执行所有模型训练的第一步都是将训练数据从存储输送到计算引擎的集群,而数据工

Raft是一套基于多副本状态机(Replicated State Machine)实现高可用(HA)和容错的算法。本文介绍了Alluxio的日志系统如何从Zookeeper演进到内置Raft算法来实现高可用(HA)的过程。

介绍如何解决金融场景落地腾讯 Alluxio (DOP=Data Orchestration Platform 数据编排平台过程中遇到的各种问题。

增强S3 API,企业级安全功能重大更新,提高数据迁移易用性、成本更低。

全球首创的开源数据编排软件开发商Alluxio宣布正式发布数据编排平台2.8版本,新版本立即可用。

了解像BOSS直聘、知名对冲基金等成功案例,基于解决方案应用的性能基准测试和成本节约测算,以及关于新手的部署引导。
京公网安备 11010802040260号