快速计算丨在混合云上使用Alluxio可为您节省的基础设施投入成本 →

010-82449668

EN 中文

如何借力Alluxio 推动大数据产品性能提升与成本优化?

作者:赵子豪,Alluxio 实习生,北京大学准计算机硕士,负责 Alluxio 测试工作。

 

简介

随着数字化不断发展,各行各业数据呈现海量增长的趋势。存算分离将存储系统和计算框架拆分为独立的模块,Alluxio作为如今主流云数据编排软件之一,为计算型应用(如 Apache Spark、Presto)和存储系统(如 Amazon S3、Alibaba OSS)的数据访问构建了桥梁。

 

本文使用亚马逊云、阿里云服务商产品,对Presto、Hive等计算框架与不同UFS直连时的关键性能指标进行测评,同时给出集成Alluxio组件后的性能评估,得出以下结论:

 

  • Alluxio 可减少任务运行时间(低带宽情况下甚至可以减少一个数量级)和 CPU时间;这表明 Alluxio 一定程度上可以节省带宽并减轻服务器运算压力。
  • Alluxio 可更好地兼容众多底层存储系统,这表明在不损失性能的前提下,选择价格更为低廉的对象存储系统(如 Alibaba OSS, Amazon S3)。

 

简而言之,集成数据驱动软件 Alluxio 既能提升性能,又能降低运营成本。

 

实验设计

本实验采用 TPC-DS 生成的 1GB 数据集,选择19条SQL作为该实验工作负载。

Type Queries
Interactive Q19, Q42, Q52, Q55, Q63, Q65, Q68, Q73, Q98
Reporting Q3, Q7, Q27, Q43, Q53, Q89
Deep Analytics Q34, Q46, Q79, SS_MAX

我们将原始数据存到底层存储系统中,使用Hive管理原始数据和元数据,将Presto作为计算应用,形成 Presto → Hive → (Alluxio →) HDFS/OSS/S3 的连接模式,并进行Presto直接读UFS和Presto通过Alluxio缓存读UFS两种对比测试。我们采用挂钟时间(WallTime,执行查询花费的总时间)和CPU时间(ProcessCpuTime,处理查询所花费的总CPU时间)两组测量指标进行对比测试。

 

实验结果与意义

 

实验结果分析

通过TPC-DS测试的对比后,可得出以下几点结论:

(1)Alluxio 可减少挂钟时间,在低带宽下尤为明显。

  • 图1-1是在AWS上,使用HDFS作为存储系统,统计挂钟时间均值(AWS实例带宽最高可达10G/s,性能小幅度提升):

图1-1

 

 

  • 图1-2是在阿里云上,使用HDFS作为存储系统,统计挂钟时间均值(选择阿里云按量付费最高带宽200M/s):

图1-2

 

  • 图1-3是在阿里云上,使用HDFS作为存储系统,统计挂钟时间均值(低带宽模式,带宽15M/s),可以看到性能提升一个数量级。

图1-3

 

(2)Alluxio 可节省带宽。由图1-2和图1-3可知,若想在无Alluxio的情况下达到有Alluxio的效果,需要设法进一步提升公网带宽。

(3)Alluxio 一定程度上可减轻服务器运算压力,CPU时间较短。

 

图2-1是在阿里云上使用HDFS作为存储系统,统计CPU时间。

图2-1

 

图2-2是在AWS上使用S3作为存储系统,统计CPU时间

图2-2

 

(4)Alluxio 为计算框架和存储系统的数据访问搭建桥梁,大大降低运行环境配置难度。目前 Presto 对 S3 兼容性较好,但对 OSS 和 COS 兼容性较差,目前尚无Presto直接访问OSS数据的方案。但用Alluxio则无需考虑计算框架和底层存储系统的兼容性问题,因为Presto对Alluxio、Alluxio对OSS兼容性很好,配置环境很容易。

 

(5)由于无需考虑计算框架与底层存储系统兼容性,则可使用价格更为低廉的对象存储系统,其带宽成本与维护成本均比 Hadoop 低。并且由图3-1和图3-2得知 Alluxio缓存读情况下性能差别并不明显,但对象存储系统价格更为低廉,因此对象存储可作为存储系统更好的选择。

 

图3-1为使用AWS服务器,分别对 HDFS 和 S3 进行测试,统计挂钟时间。

图3-1

 

 

图3-2为使用阿里云服务器,分别对 HDFS 和 OSS 进行测试,统计挂钟时间。

图3-2

 

对象存储与HDFS存储成本对比

由于云服务产品种类繁杂、使用相同产品不同的应用场景下开销差异较大。以本实验为例,云服务主要开销由存储、数据传输和云服务器三个部分构成,故我们仅对本实验使用云服务产品及其他常用云服务产品进行上述指标的定量分析(忽略诸如数据请求、对象清单等极低成本服务的指标),扩展服务及其详细价格详情请参考云服务产品价格页面。

 

亚马逊云

亚马逊服务器使用 S3 和 HDFS 作为存储系统时(HDFS 使用 EBS 存储,因此以美国东部俄亥俄2023年1月6日 S3 Standard 和 EBS 为例),价格对比如下(数据来源:Amazon S3 价格Amazon EC2 实例价格Amazon EBS 定价 ):

 

(1)存储
S3 每月前 50TB 每 GB 0.023 USD
每月随后的 450 TB 每 GB 0.022 USD
每月超出 500TB 的部分 每 GB 0.021 USD
EBS 通用型 SSD (gp3) 每月每 GB 的价格:0.08 USD
通用型 SSD (gp2) 每月每 GB 预置存储的价格:0.10 USD
快照 (标准) 0.05 USD/GB/月
快照 (归档) 0.0125 USD/GB/月

本实验采用S3 Standard 、通用型SSD (gp2) 和一张普通快照,S3 每 GB 存储价格仅为 gp2 的 1/7~1/6。即使数据量增大,使得运行环境占用存储忽略不计,在不考虑快照的情况下,S3 Standard 数据存储价格仅为 gp2 的1/4~1/3。

 

(2)数据传输
S3

(以数据自 Amazon S3 传出至互联网为例)

 

HDFS

(以弹性IP为例)

每月前 10 TB 每 GB 0.09 USD
每月随后的 40TB 每 GB 0.085 USD
每月随后的 100TB 每 GB 0.07 USD
每月超出 150TB 的部分 每 GB 0.05 USD

AWS两者公网流出流量价格一致,公网流入流量均免费。

 

(3)服务器成本

服务器成本请参考 Amazon EC2 实例价格,S3 并无此项成本,而 EC2 成本成本很高,以本实验存储系统用到的实例为例(美国东部俄亥俄2023年1月6日 r5a.large 价格)。

实例名称 按需每小时速率 vCPU 内存
r5a.large 0.113 USD 2 16G

 

 

阿里云

以2023年1月12日华北1(青岛)区域的 OSS 标准型存储和块存储 (EBS) 为例(数据来源:对象存储OSS 定价详情块存储定价详情)。

(1)存储
OSS 数据存储(本地冗余存储) 0.12元/GB/月
数据存储(同城冗余存储) 0.15元/GB/月
EBS ESSD云盘PL0 0.5 元/GB/月
ESSD云盘PL1 1.0 元/GB/月
ESSD云盘PL2 2.0 元/GB/月
ESSD云盘PL3 0.5 元/GB/月
普通快照 0.12 元/GB/月

本实验采用 OSS 标准存储(本地冗余)、ESSD 云盘 PL0 和一个普通快照,可见在 Alluxio 缓存读性能相近情况下,OSS 每 GB 存储价格仅为 EBS 的 1/6~1/5。

 

(2)数据传输
OSS 外网流出流量 00:00-08:00:0.25元/GB

08:00-24:00:0.50元/GB

CDN回源流出流量 0.15元/GB
弹性IP 配置费用 0.02元/小时
公网流量费用 0.72元/GB

本实验采用按量付费带宽。可见 OSS 带宽成本比 HDFS 带宽成本要低一些。倘若OSS开启CDN加速,理论上可进一步提升带宽速度并降低带宽成本。

 

(3)服务器成本

服务器成本请参考 云服务器 ECS,OSS 并无此项成本,而 ECS 成本成本很高,以本实验存储系统用到的实例为例(华北1青岛2023年1月12日 ecs.r6.large 价格)。

实例名称 按需每小时速率 vCPU 内存
ecs.r6.large 0.680 元 2 16G

 

总结

综合亚马逊云、阿里云的存储、数据传输和服务器成本,使用对象存储系统的开销要比HDFS低很多,而使用 Alluxio 可十分方便地接入各种存储系统,这无疑意味着可大大降低企业运营成本。

 

辉羲智能 x Alluxio 应用案例

辉羲智能致力打造创新车载智能计算平台,提供高阶智能驾驶芯片、易用开放工具链及全栈自动驾驶解决方案,助力车企实现优质高效的自动驾驶量产交付,构建低成本、大规模和自动化迭代能力,引领数据驱动时代的高阶智慧出行。

望石智慧 x Alluxio 应用案例

望石智慧(StoneWise),成立于2018年,是一家使用人工智能技术驱动新药研发的科技公司,旨在用技术与创新力为医药行业带来新视角,打造世界领先的小分子创新药研发平台。

【济南超算】超算互联网统一存储平台技术研究

国家超级计算济南中心(简称“济南超算”)由国家科技部批准成立,创建于2011年,是从事智能计算和信息处理技术研究及计算服务的综合性研究中心,也是我国首台完全采用自主处理器研制千万亿次超级计算机“神威蓝光”的诞生地。