010-82449668

EN 中文

Alluxio 数据分析解决方案

通过分布式缓存技术,有效解决I/O瓶颈,让用户实现访问和处理数据速度的大幅提升

数据分析

趋势与挑战

对于任一公司而言,能够快速便捷地访问数据,并且获取可用于决策的分析结果都越来越重要。但是,我们面临许多挑战,包括数据源爆炸式地增长,数据往云上迁移的挑战,以及大数据技术栈和厂商呈现碎片化。这些都对数据平台的架构提出了敏捷性、成本效益和性能方面的要求。

Alluxio 解决方案

Alluxio 从物理架构上,是贴近于计算层进行部署的,一个是贴近当前计算节点的local 层面的缓存 Alluxio Edge,另一个是 Alluxio Cluster 提供了一个分布式的、可扩展的分布式缓存。根据应用场景不同,可以选择灵活选择单独使用或配合使用。

  • 提升计算性能贴近计算侧部署,通过 Alluxio 双层缓存,提供离计算更近、性能更高的数据读写,提升整体计算性能,最终提升终端业务效率。
  • 网络削峰通过 Alluxio 缓存减少重复数据访问以及临时数据读写带来的网络流量,降低业务繁忙时的网络流量,同时有效降低按流量收费的成本。
  • 缓解存储负载通过缓存减少存储侧部分数据读取和写入,延缓因服务能力不够的存储扩展,同时有效降低按照接口调用收费的成本。特别是很多公有云,比如用多少的空间,可以得到相应的网络带宽,但如果数据量并没有那么大,却想达到更高的性能,可能就需要采购额外的空间。使用 Alluxio 即可减少这部分成本。

降低存储成本、网络成本;提升计算资源利用率;
提升任务性能;具有更好的开放性和扩展性

平安壹钱包
【平安壹钱包】大数据架构重构实践
平安壹钱包隶属于中国平安保险(集团)股份有限公司旗下支付机构,是国内专业的多场景支付解决方案服务提供商,移动支付交易规模位居行业第三。
查看更多 →
吉利汽车
吉利汽车 x Alluxio 应用案例
吉利汽车主营乘用车及核心零部件的研发、生产和销售。公司主要拥有三类业务,即乘用车、汽车零部件的研发、生产和销售,以及知识产权许可。公司乘用车业务形成了三个子品牌系列:吉利、几何及领克(合营公司)品牌。
查看更多 →
Shopee
【Shopee】大数据存储加速与服务化实践
Shopee是东南亚及中国台湾地区的电商平台。自2015年在新加坡成立以来,Shopee业务范围辐射新加坡、马来西亚、菲律宾、泰国、越南、巴西等10余个市场,目前是东南亚发展最快的电商平台,也是国货出海东南亚首选平台。
查看更多 →

资料下载

《Alluxio 应用场景概览》

《Presto查询加速宝典》

《使用Alluxio实现Apache Spark DataFrame》