010-82449668

EN 中文

Alluxio 与阿里云正式达成技术合作

 

近日,开源云数据编排软件开发商 Alluxio 与阿里云达成技术合作,其核心产品 Alluxio 数据编排平台将与阿里云云原生数据仓库 AnalyticDB 集成,有效解决存储计算分离场景下从异构数据源读取数据带来的性能损耗。

 

Alluxio

相较存储和计算耦合的架构,Alluxio 数据编排技术产品基于存储计算分离架构。存储计算分离可以带来诸多好处,例如允许独立扩展计算和存储、提高资源的利用率、提高业务的灵活性等。特别是借助云上的基础设施,存储可以选择更为便宜的对象存储 OSS 以及其它混合存储,计算资源可以按需付费和弹性扩缩容,这些都使得存储计算分离架构更好的发挥云计算的成本优势和灵活性。但是,在存储计算分离的场景下,通过网络从远端存储读取数据仍然是一个代价较大的操作,往往会带来性能的损耗。

阿里云

阿里云云原生数据仓库 AnalyticDB ,采取计算与存储完全分离的架构,通过跟 Alluxio 的技术合作,实现存储分层服务化,减少从远端读取数据带来的延时和 IO 限制,实现更小的查询延时和更高的吞吐,有效支持对用户存储在 OSS、HDFS 等介质上的各种文件格式进行 Adhoc 查询、BI 分析、轻量级 ETL 等数据分析工作。经 TPC-H 1TB 数据测试,查询性能普遍提升1倍以上。
阿里云数据库产品事业部 OLAP 产品部负责人占超群表示“云原生数据仓库 AnalyticDB 一直致力于提供云原生和离在线一体化的数据分析服务,助力企业实现数据驱动业务发展。很高兴 AnalyticDB 与 Alluxio 的技术合作,这次合作将提供高性价比的扩展数据分析能力,助力用户实现更全域、更高效的数据价值探索。”
 
Alluxio 业务拓展副总裁孙玮表示“此次,Alluxio与阿里云云原生数据仓库 AnalyticDB 产品的深度集成,将帮助更多业务上云的企业,能够更加快速、便捷地访问数据,获取可用于决策的分析结果,同时,还能获得更可靠的SLA和更低的数据成本,我们很高兴能够与阿里云达成技术合作,共同推动企业在数据计算与分析领域的效率提升。”
 

携手展望

在数据上云的大背景下,随着网络和存储硬件能力的提升,存储计算分离逐渐成为了大数据处理的重要趋势。阿里云将与 Alluxio 携手为客户构建高效的大数据技术平台以及离在线一体化的数据分析服务,同时实现降本增效。未来阿里云将携手更多生态伙伴,助力企业更高效的挖掘商机。

Alluxio Enterprise AI 3.5 发布:通过创新缓存模式、分布式缓存管理以及Python深度集成,全面提升AI模型训练性能

近日,Alluxio发布Alluxio Enterprise AI 3.5 版本。该版本凭借仅缓存写入模式(Cache Only Write Mode)、高级缓存管理策略以及Python的深度集成等创新功能,大幅加速AI模型训练并简化基础设施运维,助力企业高效处理海量数据集、优化AI工作负载性能。
AI驱动的工作负载常因海量的数据管理复杂度高导致效率瓶颈以及训练周期延长。

Alluxio 联手 Solidigm 推出针对 AI 工作负载的高级缓存解决方案

“Solidigm 和 Alluxio 联合推出了高效的分布式 AI 缓存方案。通过将 Solidigm 的 D5-P5336 用作读缓存,D7-PS1010 用于 checkpoint 写入,并搭配 Alluxio 的低操作开销解决方案,我们帮助客户实现了大规模 AI 场景下成本和性能的最佳平衡。优化后的方案充分利用了Solidigm D7-PS1010 Gen5 TLC SSD 的写入带宽和 D5-P5336 Gen4 QLC SSD 的读取带宽,同时将 TLC 和 QLC SSD 的写放大系数保持在 1.02。

MLPerf基准测试冲出黑马,Alluxio新范式引爆AI存储

为了较好地展示 Alluxio 的缓存性能,我们采用了全球首个且唯一的 AI/ML 存储基准测试——MLPerf® Storage 进行验证。MLPerf™ 是影响力最广的国际 AI 性能基准评测,由图灵奖得主大卫•帕特森(David Patterson)联合顶尖学术机构发起成立,并于2023年推出 MLPerf™ Storage 基准性能测试,旨在以架构中立、具有代表性和可重复的方式衡量 AI 工作负载的存储系统性能。