
本文主要介绍Alluxio集群中使用的元数据管理方案
背景导读 “数据孤岛”这个词相信大家并不陌生,随着企业数字化程度不断加深,由于数据孤岛所产生的数据重
为了帮助大家更好借鉴Presto+Alluxio实践经验,赋能企业数据处理,我们整理了技术专辑《Presto查询加速宝典》,其中收录了典型应用案例、白皮书和技术文章,内容涵盖了实际场景中的优化实践经验。
主要从技术的角度,对跨地域的数据联邦,或者说总公司和分公司不同数据域的互联互通进行讨论,研究相关技术可行性与分享整个研究过程。
随着我们在Iceberg的一些改造,元数据文件也逐渐增大。同时为了降低新增索引文件的读取开销以及Hadoop集群抖动等因素对文件读取的影响,我们引入了Alluxio。
Shuttle 是OPPO大数据团队开源的高可用高性能的 Spark Remote Shuffle Service,文中详细介绍了Shuttle的架构和设计理念。
介绍如何解决金融场景落地腾讯 Alluxio (DOP=Data Orchestration Platform 数据编排平台过程中遇到的各种问题。
本文将介绍 Raptor 的历史,以及为什么 Meta 最终替换了它,转而采用基于本地缓存的新架构 RaptorX。
金山云团队在交互查询场景下对presto与Alluxio相结合进行了测试,并总结了一些Presto搭配Alluxio使用的建议。
分享内容包括bilibili机器学习架构介绍, 引入数据缓存层的意义,数据缓存层的创新 – severless fuse,以及数据缓存的降本增效实例。
分享专家: 吕冬冬 云知声超算平台架构师, 负责大规模分布式机器学习平台架构设计与功能研发,负责深
介绍唯品会离线体系架构结合Alluxio,根据数据冷热分析进行自动缓存加速,提升ETL/OLAP场景下的数据访问速度,同时保障所有数据的业务一致性。