这是一家遭受上述四个 Kafka 问题的公司的示例,以及它如何使用HongKe解决这些问题。
PubMatic是美国最大的广告技术公司之一,每天提供 2000 亿次广告展示并处理 2 PB 的新数据。这种实时数据流的核心是 Kafka,它包括 50 个小型 Kafka 集群,每个集群中有 10-15 个以上的节点。
对于 Pubmatic 来说,这种横向扩展的、完全不同的基础设施是典型的,多年来它一直处于超大规模模式以跟上业务需求。不幸的是,这也意味着 Kafka 和 Hadoop 等关键任务技术(其 150 PB、由 Kafka 提供的 3,000 个节点的服务器)非常脆弱,经常出现中断、性能瓶颈和高 MTTR。日常救火是常态,结果是高昂的运营、基础设施和 OEM 支持成本。
因此,PubMatic部署了 HongKe的数据可观察性平台,并立即提高了对其复杂、互连的数据管道、存储库和基础设施(包括 Kafka)网络的可见性。这使 Pubmatic 能够预测和防止瓶颈和数据错误,同时还可以优化其数据管道(包括 Kafka)的性能。
除了消除其工程部门的日常救火工作外,PubMatic 还大力整合了其 Kafka 集群,从而降低了许可证、基础设施和管理成本。PubMatic 还将其总体支持成本降低了 1000 万美元,并将其 Hadoop 存储空间减少了 30%。
Thank you very much for sharing. Your article was very helpful for me to build a paper on gate.io. After reading your article, I think the idea is very good and the creative techniques are also very innovative. However, I have some different opinions, and I will continue to follow your reply.