SQream 的数据加速平台如何在成本、性能和总洞察时间分析 30TB 数据方面击败 Snowflake、Google BigQuery 和 AWS Redshift
TPC Express Big Bench（或 TPCx-BB）是为客观比较大数据分析系统 (BDAS) 解决方案而开发的基准。SQream 的大数据分析师于 2021 年 9 月对 TPCx-BB 进行了内部现场测试，以了解其与领先的云分析解决方案（如亚马逊和谷歌）相比的性能。
分析的平台
SQream（目前仅在私有云上运行）、Google BigQuery、Amazon Redshift、Snowflake。
比例因子
我们以 30,000 的比例因子运行基准测试，创建了约 30TB 的数据集，因为 SQream 旨在处理大型数据集。
使用的硬件
为每个竞争供应商定制硬件堆栈的主要考虑因素是成本和性能之间的适当平衡。显然，我们根据所选数据集的大小 (30TB) 考虑了每个供应商的建议，并为所有参与者保持相同数量的节点。
运行现场测试
在为现场测试配置所选的云环境并生成 30TB 数据集后，我们就可以开始了。在 TPCx-BB 中包含的 30 个查询中，我们仅测试了 18 个用例，以反映截至 2021 年 9 月 SQream 平台支持的功能。这些查询是 5、6、7、9、11-17、 20-26。当我们运行不同的用例时，我们专注于两个指标进行比较：
表现：
- 摄取– 将数据从其源传输到 DB / DWH 的过程中经过的时间。
- 查询– 执行 18 个查询的过程中经过的时间（使用并发流，也称为“吞吐量测试”）。
- 总洞察时间 (TTTI) – 摄取 + 查询。
成本：
- 存储– 将压缩数据存储在相关云供应商服务上的成本 ($/TB)。
- 计算– 用于从其来源获取原始数据并完成 18 个查询的资源成本（$/小时）。
结果
下图显示了每个平台在给定工作负载下的整体性能，以 TPCx-BB 现场测试中摄取和查询的总时间计：
TPCx-BB 30TB 基准测试 – 性能 HH:MM（越低越好）
结果揭示了竞争产品之间的几个性能差异。总体而言，在这两种云环境中，SQream 都呈现出最好的 TTTI，速度在 X1.5 到 X9.5 之间。至于 18 个查询的平均执行时间，SQream 的结果速度提高了 1.7 到 4.6 倍（AWS 为 212 秒，GCP 为 197 秒）。即使将结果细分为更具体的用例或数据类型，SQream 仍保持其优势：
查询时间性能 (MM:SS) – 每个数据类型（越低越好）
查询时间性能 (MM:SS) – 每个用例（越低越好）
尽管带有 GPU 的机器（即 SQream 的情况）的计算成本通常要高得多，但 SQream 在现场测试阶段的出色表现表明它是最具成本效益的选择：
TPCx-BB 30TB 基准 – 成本（越低越好）
The point of view of your article has taught me a lot, and I already know how to improve the paper on gate.oi, thank you. https://www.gate.io/ja/signup/XwNAU
Reading your article has greatly helped me, and I agree with you. But I still have some questions. Can you help me? I will pay attention to your answer. thank you.