快速计算丨在混合云上使用Alluxio可为您节省的基础设施投入成本 →

Alluxio 统一命名空间解决方案

将不同存储系统中的数据抽象成统一的命名空间,使用户可以像访问本地文件系统一样来操作数据

趋势与挑战

* 多存储系统集成: AI和大数据生态系统中常常涉及多个存储系统,例如HDFS、S3等,每个系统都有自己的命名空间和接口。这样的多样性导致了数据管理和访问的复杂性。
* 数据访问性能: 在AI和大数据场景中,数据的访问性能通常是一个关键问题。传统的存储系统可能存在访问延迟较高的问题。
* 数据共享和协作: 多个应用或用户可能需要共享和访问同一份数据,但是不同的存储系统之间可能存在数据格式和接口的不一致性,导致数据共享和协作变得复杂。
* 系统灵活性和扩展性: 在AI和大数据场景中,数据的存储位置和类型可能会发生变化,因此系统需要具有一定的灵活性和扩展性。

统一命名空间解决方案

让应用实现对任意数据孤岛的访问

Alluxio 提供了统一命名空间,通过使用相同的命名空间和接口与不同的存储系统进行交互,大大简化了大规模数据管理。与本地工作站允许应用程序使用相同接口访问不同设备(如硬盘或 USB 驱动器)的方式类似,Alluxio 允许分布式应用程序使用相同接口访问不同类型的分布式存储系统(如 S3 或 HDFS)。

Alluxio 的统一命名空间不仅仅是一个接口,它还是一套适配器,可以使用相同的接口访问许多流行的存储系统。此外,凭借 Alluxio 分布式缓存的能力,还能带来显著的数据访问性能优势。与个人电脑将不同的本地路径映射到不同的设备类似,Alluxio 也将不同的 Alluxio 路径映射到不同的底层存储系统。映射是动态的,Alluxio 提供了一个 API,用于创建和删除这些映射,并在 Alluxio 中透明地浮现底层存储系统中的对象。

方案优势

使您的应用程序面向未来

应用程序可以使用相同的命名空间和接口与现有的和新的不同存储系统通信; 应用程序与新存储系统之间的无缝集成可加快创新速度

支持新的工作负载
将应用程序或存储系统与 Alluxio 集成只需一次性工作,应用程序即可访问多种不同类型的存储系统,存储系统也可由多种不同类型的应用程序访问
平安壹钱包
【平安壹钱包】大数据架构重构实践
平安壹钱包隶属于中国平安保险(集团)股份有限公司旗下支付机构,是国内专业的多场景支付解决方案服务提供商,移动支付交易规模位居行业第三。
查看更多 →
Shopee
【Shopee】大数据存储加速与服务化实践
Shopee是东南亚及中国台湾地区的电商平台。自2015年在新加坡成立以来,Shopee业务范围辐射新加坡、马来西亚、菲律宾、泰国、越南、巴西等10余个市场,目前是东南亚发展最快的电商平台,也是国货出海东南亚首选平台。
查看更多 →
联通
【联通】数据编排技术在联通的应用
中国联通于2009年1月6日由原中国网通和原中国联通合并重组而成,在国内31个省(自治区、直辖市)和境外多个国家和地区设有分支机构,以及130多个境外业务接入点,拥有覆盖全国、通达世界的现代通信网络和全球客户服务体系。
查看更多 →

资料下载

《Alluxio 应用场景概览》
《用于数据分析的“零拷贝混合云” ——战略、架构和基准测试报告》
【案例研究】Expedia 集团 | 实现统一跨区域云上数据访问