人工智能、机器和深度学习 适用于 AI 和机器学习等 I/O 密集型工作负载的高性能、低延迟存储。 用于加速 DataOps 的变革性解决方案框架 WEKA 是一个解决方案生态系统,旨在解决 Accelerated DataOps 挑战,与领先的 AI 解决方案合作伙伴一起提供参考架构和软件开发套件。它提供了一个生产就绪的存储解决方案,其中整个数据管道工作流程——摄取数据、批量特征提取、超参数优化,最后到推理和版本控制——可以在同一平台上运行,无论是在本地运行还是在公共云中。直接访问用于训练和推理的数据消除了计算层和存储孤岛的数据分段,从而缩短了 Epoch 和 Wall Clock 时间。 “我们建立了一个 GPU 农场,我们需要一个高速数据管道来为它提供数据。我们评估了开源解决方案、HDFS 和公共云。我们之所以选择 Weka,是因为它能够为我们的 GPU 提供具有成本效益的高带宽 I/O、产品成熟度、客户参考以及一流的按需支持。” ——Paul Liu,工程运营主管 DataOps 工作流程和相关的存储挑战 AI 数据管道中的不同阶段对海量摄取带宽有不同的存储要求,需要混合读、写处理和超低延迟,通常会导致每个阶段的存储孤岛。这意味着业务和 IT 领导者必须重新考虑他们如何构建存储堆栈并为这些新工作负载做出购买决策。 为首席数据官、首席分析官和数据科学家解决存储挑战 减少 Epoch 时间,同时提供最短的推理时间 使用快照的可解释性和再现性 业界最佳的 GPUDirect 性能,单个 DGX-2 为 113GB/秒,单个 DGX-A100 为 162GB/秒 动态和静态加密提供数据合规性和治理 启用用于测试和生产的混合工作流程 在存储服务器上运行时更经济的存储解决方案 解决基础架构工程师的存储挑战 利用 NVMe 提高性能并利用 HDD 提高容量的最佳 TCO 整个数据管道的单一存储平台 跨边缘、核心和云的最佳数据管理敏捷性 最佳可扩展性,单个目录中高达 EB 的存储空间和数十亿个文件 通过直观的 GUI 轻松设置和管理,或与其他第三方监控工具集成