SQream 的云端性能与 TPCx-BB 30TB 基准测试 Post author:admin Post published:2022年7月11日 Post category:SQream Post comments:0评论 SQream 的数据加速平台如何在成本、性能和总洞察时间分析 30TB 数据方面击败 Snowflake、Google BigQuery 和 AWS Redshift TPC Express Big Bench(或 TPCx-BB)是为客观比较大数据分析系统 (BDAS) 解决方案而开发的基准。SQream 的大数据分析师于 2021 年 9 月对 TPCx-BB 进行了内部现场测试,以了解其与领先的云分析解决方案(如亚马逊和谷歌)相比的性能。 分析的平台 SQream(目前仅在私有云上运行)、Google BigQuery、Amazon Redshift、Snowflake。 比例因子 我们以 30,000 的比例因子运行基准测试,创建了约 30TB 的数据集,因为 SQream 旨在处理大型数据集。 使用的硬件 为每个竞争供应商定制硬件堆栈的主要考虑因素是成本和性能之间的适当平衡。显然,我们根据所选数据集的大小 (30TB) 考虑了每个供应商的建议,并为所有参与者保持相同数量的节点。 运行现场测试 在为现场测试配置所选的云环境并生成 30TB 数据集后,我们就可以开始了。在 TPCx-BB 中包含的 30 个查询中,我们仅测试了 18 个用例,以反映截至 2021 年 9 月 SQream 平台支持的功能。这些查询是 5、6、7、9、11-17、 20-26。当我们运行不同的用例时,我们专注于两个指标进行比较: 表现: 摄取– 将数据从其源传输到 DB / DWH 的过程中经过的时间。查询– 执行 18 个查询的过程中经过的时间(使用并发流,也称为“吞吐量测试”)。总洞察时间 (TTTI) – 摄取 + 查询。 成本: 存储– 将压缩数据存储在相关云供应商服务上的成本 ($/TB)。 计算– 用于从其来源获取原始数据并完成 18 个查询的资源成本($/小时)。 结果 下图显示了每个平台在给定工作负载下的整体性能,以 TPCx-BB 现场测试中摄取和查询的总时间计: TPCx-BB 30TB 基准测试 – 性能 HH:MM(越低越好) 结果揭示了竞争产品之间的几个性能差异。总体而言,在这两种云环境中,SQream 都呈现出最好的 TTTI,速度在 X1.5 到 X9.5 之间。至于 18 个查询的平均执行时间,SQream 的结果速度提高了 1.7 到 4.6 倍(AWS 为 212 秒,GCP 为 197 秒)。即使将结果细分为更具体的用例或数据类型,SQream 仍保持其优势: 查询时间性能 (MM:SS) – 每个数据类型(越低越好) 查询时间性能 (MM:SS) – 每个用例(越低越好) 尽管带有 GPU 的机器(即 SQream 的情况)的计算成本通常要高得多,但 SQream 在现场测试阶段的出色表现表明它是最具成本效益的选择: TPCx-BB 30TB 基准 – 成本(越低越好) 使用Redis企业版数据库为MySQL增添魅力! 石油天然气行业CFD高性能计算解决方案 数字卫星图像领域的HPC调度解决方案 为什么BI仪表板的共享功能对企业如此重要? 北德超级计算联盟使用Moab HPC套件支持并行计算 盘点世界杯有趣小知识!带你感受体育赛事数据可视化的快乐! 你可能也喜欢 使用SQream数据库和tableau进行快速、细粒度的分析 2022年7月19日 用于欺诈检测的最佳机器学习算法 2022年9月21日 如何提高SQL性能 2022年9月22日 发表回复CommentEnter your name or username to comment Enter your email address to comment Enter your website URL (optional)