010-82449668

EN 中文

Alluxio 与金山云达成合作,携手优化存算分离与湖仓一体架构

 

近日,全球首创的超大规模分布式数据编排软件开发商 Alluxio 与金山云达成合作,双方将共同探索数据编排技术在存算分离与湖仓一体等大数据应用趋势下的产品集成方案和实践场景,助力企业客户开展更为灵活及高效的大数据业务,以实现数据收益最大化。

Alluxio

在大数据生态系统中,Alluxio 数据编排技术产品基于存储、计算分离架构,通过提供新的数据抽象层,将上层大数据计算框架 (如 Presto、Spark、TensorFlow )与各种底层存储系统(如对象存储、HDFS、Ceph)连接起来,可支持金山云中湖仓数据的访问,从而使得所有上层数据应用的性能得到极大提升。Alluxio 的核心功能主要包括:分布式缓存(用来将数据本地化)、主流 API 兼容(能够兼容大数据分析和 AI/ML 框架)、全局命名空间(实现统一数据孤岛),支持金山云中湖仓数据的访问,从而使得所有上层数据应用的性能得到极大提升。

 

金山云

当前企业的数据分散在湖和仓中,而湖仓一体方案可以打通湖与仓,尤其是在需要融合数据湖中的数据与数据仓库中的数据进行分析的场景中,进而提升数据流动能力。金山云湖仓一体产品解决方案,提供数据湖底座、湖仓统一元数据管理、流批一体低代码开发、湖仓统一查询分析等全方面的湖仓开发管控服务,支持云原生、存算分离、 DataOps 等先进的技术特性,具有统一、可靠、高效、开放等产品优势,结合 Alluxio 的数据编排平台,将能更好地帮助客户实现数据湖、离线数仓、实时数仓、一站式数据开发等湖仓一体细分场景。

 

金山云高级副总裁刘涛先生表示“很高兴看到 Alluxio 与金山云大数据领域进行的深度技术合作和探索,Alluxio 与金山云在湖仓一体、存算分离等技术领域的共同解决方案具备行业前瞻性。此次 Alluxio 与金山云的合作,将共同帮助企业能够更为灵活、高效、经济地访问在各种存储系统中被孤立的数据,从而让数据业务释放更多价值。希望双方在将来相应的细分场景,例如:金融、医疗、政府、泛互联网等领域中,携手共进,持续打造行业标杆案例。”
 
Alluxio 业务拓展副总裁孙玮先生表示“进入大数据时代,Alluxio 作为全球首创且备受青睐的云原生数据编排平台,一直致力于为企业构建数据与计算之间的快速通道,让数据资源得到更加充分和高效的利用。很高兴 Alluxio 能与金山云携手,结合双方在数据编排和湖仓一体等领域的技术创新与落地方案,共同助力企业充分释放其在数据分析、人工智能/机器学习等业务上的潜能,为加速数字化转型,获得市场领先保驾护航。”
 

携手展望

存算分离、湖仓一体等技术已成为大数据市场关注度较高并且开始逐步采用的热点技术。Alluxio 将携手金山云将各自的产品和技术特点,进行优势互补,持续探索在创新架构下,如何统一编排 HDFS、对象存储等湖仓存储系统中的数据,如何提升离线计算、流计算、统一查询分析、数据挖掘等应用场景的数据访问性能。目前我们已经在一些行业展开深度合作,并逐步应用到湖仓一体和存算分离的实际场景中。

Alluxio在数据索引和模型分发中的核心价值与应用

在当前的技术环境下,搜索、推荐、广告、大模型、自动驾驶等领域的业务依赖于海量数据的处理和复杂模型的训练。这些任务通常涉及从用户行为数据和社交网络数据中提取大量信息,进行模型训练和推理。这一过程需要强大的数据分发能力,尤其是在多个服务器同时拉取同一份数据时,更是考验基础设施的性能。

南方科技大学分享:大数据技术如何赋能大模型训练及开发

南方科技大学是深圳在中国高等教育改革发展的时代背景下创建的一所高起点、高定位的公办新型研究型大学。2022年2月14日,教育部等三部委公布第二轮“双一流”建设高校及建设学科名单,南方科技大学及数学学科入选“双一流”建设高校及建设学科名单。