Alluxio数据平台
AI/ML场景
数据分析场景
Alluxio Enterprise AI 3.8 企业版免费试用
选择Alluxio Enterprise AI，用于AI/ML工作负载，如计算机视觉、自然语言处理和大语言模型；支持K8s环境部署。
提供针对AI的I/O模式的智能缓存，加速数据加载，优化GPU利用率。包含企业安全和支持。
申请流程
填写申请表
顾问与您电话沟通
确认场景后发送软件并指导部署
填写申请表
顾问与您电话沟通
确认场景后发送软件并指导部署
Alluxio Enterprise Al 3.7 企业版免费试用
该企业版适用于 AI/ML 场景，基于实际场景需求提供试用天数
Alluxio Enterprise Data 3.2 企业版免费试用
选择 Alluxio Enterprise Data，用于分析工作负载。
提供企业功能，如透明的Hive metastore集成、安全性和基于策略的数据管理。
申请流程
填写申请表
顾问与您电话沟通
确认场景后发送软件并指导部署
填写申请表
顾问与您电话沟通
确认场景后发送软件并指导部署
Alluxio Enterprise Data 3.2 企业版免费试用
社区版
Alluxio平台组件
Alluxio Edge
填写申请表
顾问与您电话沟通
确认场景后发送软件并指导部署
Alluxio Enterprise Al 3.7 企业版免费试用
安装说明
Docker 安装指令：
# 启动 Alluxio master
$ docker run -d \
-p 19999:19999 \
--net=alluxio_nw \
--name=alluxio-master \
-v ufs:/opt/alluxio/underFSStorage \
alluxio/alluxio master
# 启动 Alluxio worker
$ docker run -d \
--net=alluxio_nw \
--name=alluxio-worker \
--shm-size=1G \
-v ufs:/opt/alluxio/underFSStorage \
-e ALLUXIO_JAVA_OPTS="-Dalluxio.worker.memory.size=1G -Dalluxio.master.hostname=alluxio-master" \
alluxio/alluxio worker
详细教程 –> 全文
Maven 安装指令：
<dependency> |
<groupId>org.alluxio</groupId> |
<artifactId>alluxio-core-client-fs</artifactId> |
<version>2.0.0</version> |
</dependency> |
SBT 安装指令：
libraryDependencies += "org.alluxio" % "alluxio-core-client-fs" % "2.0.0" |
查看全文
Go 安装指令：
$ go get -d github.com/Alluxio/alluxio-go |
查看全文
客户评价
我们利用GPU本身的SSD硬盘来搭建Alluxio集群，并且通过Alluxio的多副本特性来解决跨机器、跨AZ拉取文件的问题，不仅能够对带宽带来极大的减少，还能降低对文件存储的Burst流量，让直接文件读取效率提升了85%。
我们已在双集群的百节点部署了Alluxio，整体可用性达到99.95%，缓存命中超过95%+，支持着PB级百亿海量文件的的千卡训练集群规模，为鉴智机器人的大规模AI视觉训练提供了高性能、高可靠、低成本的加速方案，成为自动驾驶技术迭代的“数据引擎”。
Alluxio的缓存机制通过内存级数据加速，大幅降低了我们数据访问延迟，提升了训练效率，并充分发挥了GPU算力价值，利用率提升超过10%，训练任务端到端用时减少了20-30%。
Alluxio 无论是在多机还是单节点的训练和推理上，完全都可以通过分布式的缓存高效加载我们需要的数据，并且alluxio worker 节点非常容易扩容。目前我们底层的存储如HDFS，Ceph和SeaweedFS都是通过Alluxio进行访问。
Alluxio作为我们基础模型训练架构中的数据加速层,不仅显著提升了训练效率,也为我们的商业化落地提供了坚实的支撑。基础模型训练速度提升高达35%。"这一提升直接转化为更快的产品迭代和更低的研发成本。
“在引入 Alluxio 之前，我们每周都要花费数小时来手动管理模型分发 pipeline 和冷启动时间。借助 Alluxio 的分布式缓存，我们彻底消除了冷启动延迟，原本需要数小时的任务现在只需几分钟即可完成。该解决方案能无缝适应我们的业务增长，让工程团队得以专注于功能开发，而无需耗费大量精力维护基础设施。”
“借助 Alluxio，我们成功为机器学习交易模型打造了必要的低延迟特征存储。它将我们离线特征存储的多表连接查询延迟降低至两位数毫秒级，让我们得以在15分钟的交易窗口内处理超过10万个模型。”
