You are currently viewing WekaFS将destiny 公司的工作负载提高了5倍

WekaFS将destiny 公司的工作负载提高了5倍

  • Post author:
  • Post category:WekaIO
  • Post comments:0评论

SAS分析软件简介

SAS分析软件是部署最广泛的商业智能工具之一,在《财富》全球1000强客户中,94%的客户使用SAS应用为他们的业务提供支持。通过创新的软件和服务,SAS授权并激励世界各地的客户将数据转化为情报。随着企业希望为金融服务行业(FSI)、风险管理、医疗保健和物联网用例提供预测性和认知分析,使用SAS 分析的人工智能(Al)和机器学习(ML)中的数据驱动应用的数量和复杂性正在增加。

挑战

而SAS Grid Manager 和现在的 SAS Viya的架构是为了满足现代业务的需求分析和利用现代多核cpu的最佳优势,它们的性能和规模是最终的受限于对大量数据的访问和存储IO响应。即使是今天领先的公司云存储解决方案无法跟上现代cpu和服务器的能力,作为一个结果在等待数据的过程中,当跨大数据集操作时,SAS Grid Manager和 SAS Viya应用程序服务器的利用率可能仍然非常低。

为了对这些大量随机和顺序读写混合工作负裁进行预测和认知分析,底层基础设施需要通过超传输来加速作业完成时间和数据管道低延迟和大量的接收带宽。

使用现代化SAA、R和Python应用程序克服挑战

IT组织在对其操作进行现代化时面临着挑战,因为他们需要维护遗留系统应用程序和处理无文档,由于低效的应用程序逻辑和性能限制长时间运行的作业、进程和管道。数字转型正在推动新的用例、商业模式、以及迎合AI、ML 和物联网的应用架构。SAS用户也越来越多地使用开放源码SAS的前端,比如R和Python。

首席数据官(CDOs)和首席行政官(CAOs)面临的大问题包括提高SAS用户工作效率和改进长时间运行不符合服务水平协议(SLAs)的作业。对于因资源而崩溃的应用服务器,必须有更好的利用率、可伸缩性和稳定性,IT团队必须跟上不断增长的数据量和存储容量和同一数据的多个副本的需求。此外,降低 SAS 的许可成本和SAS 的总体成本基础设施(包括服务器、存储、备份、灾难恢复和维护)是对首席数据官和首席行政官的另外一个挑战。

生产环境中的WekaFS和SAS Analytics

加速SAS基础、SAS Grid Manager和 sas Viya工作负载

WekalO与 SAS咨询公司Destiny 公司密切合作,设计了一种参考设计,用于对长时间运行的SAS作业进行显著的运行时和挂载时钟改进,同时提供最佳的经济效益。该设计包括配置了SAS Foundation、SAS Grid Manager或 SAS Viya软件的SAS应用程序服务器。这些服务器通过InfiniBand或100Gbit以太网连接到运行的wekaFS存储系统。共享存储系统从带有NVMe SSDs的8个节点开始,根据吞吐量需求,可以扩展到数百个节点。此外,WekaFS无缝集成对象存储,在多拍字节数据集上获得最佳经济效益。上图提供了使用SAS的WekaFS的典型实现的概述。

参考设计经过调优,确保在运行IO密集型 SAS测试套件时,每个 SAS核心的带宽超过300MB/秒。这是Destiny 公司基于其35年的SAS应用程序经验设计的。该测试套件涉及使用数据加载和多线程SAS基本过程读写超过1000万个SAS表。该套件代表了常见的SAS 功能——汇总计算、统计数据、汇总报告和数据转换、大小文件随机和顺序访问,以及60%写和40%读I/O模式的混合。

在参考设计上,WekaFS演示了这个具有挑战性的测试套件的线性扩展,从1个运行32个并发会话的SAS客户机扩展到8个运行256个并发会话的客户机。该解决方案可实现高达106GB/秒的混合读写带宽,而只需要320个SAS内核就可以达到这一性能。此外,cpu时间与实时比率保持在接近1的水平,这表明核心得到了充分利用,没有在数据I/O上浪费周期。这个参考设计既可以部署在本地,也可以部署在公共云中,或者部署在混合模型中,以获得类似的结果。WekaFS与 SAS Grid Manager 计算环境的并行性相匹配,以支持最高的数据加载和 ETL(提取、转换和加载)处理,同时为SAS工作负载提供企业数据管理功能。

WekaFS的性能扩展

企业准备使用加速的数据操作

除了加速 SAS工作负载之外,参考设计还利用对象存储数据湖扩展文件命名空间,通过利用闪存和HDD媒体提供最佳经济效益。该解决方案还为SAS Grid Manager和SAS Viya部署提供检查点以及使用文件名称空间快照进行备份和恢复的数据生命周期管理。

发表回复