PubMatic介绍
- 美国最大的广告技术公司之一
- 是一家提供专业的云基础设施平台的数字广告技术公司
- 目前拥有500-1000名员工
- 位于加利福尼亚州红木城
自2006年以来，PubMatic已经创建了一个高效的全球基础设施，拥有八个全球数据中心。该公司是程序化广告创新方面的行业领导者之一。
截至2020年12月，PubMatic提供了1710亿的广告印象，处理了一万亿的广告商出价，并每天处理超过3.3PB的新数据。
基础设施/环境
PubMatic正处于超大规模模式。他们目前的环境包括3000多个节点，150多个Petabyes和65个HDP（Horton Dataworks 平台）集群，并且正在迅速扩大。此外，PubMatic使用Yarn、Kafka（50多个小型Kafka集群，每个集群有10-15个节点）、Spark、HBase和开源的HDP（Hortonworks数据平台）。
状况
由于其大规模的环境，PubMatic一直经历着高MTTR（平均解决时间）指标，频繁的中断和性能瓶颈。
许多问题来自于大量的节点。系统的不稳定性导致了耗时的操作问题和不断的日常消防工作。此外，PubMatic正在寻找方法来减少其基础设施和OEM支持成本。
商业冲击
当PubMatic的数据系统性能无法跟上其快速扩张的业务需求时，该公司决定实施一个数据观察平台，以提高数据操作的可靠性、可扩展性和投资回报。
无法对基础设施、数据层和管道中的事件进行关联，意味着PubMatic无法实质性地改善其 “每广告印象成本 “指标，这是他们最关键的性能指标之一。
此外，该公司的快速扩张导致了不必要的软件许可，他们认为可以更好地根据实际需要调整这些许可。最后，工程部不断参与解决运营系统的问题，分散了他们对扩展数据系统以支持快速增长的业务需求这一真正目标的注意力。
解决方案
PubMatic在2020年中期开始使用HK-Pulse产品。在数据计算层，HK-Pulse立即为PubMatic的数据应用的内部工作提供了更好的可见性，并为复杂的、相互连接的数据系统提供了全面的可观测性。
HK-Pulse最重要的好处之一是它能够预测、预防和优化PubMatic的数据系统性能，而今天的数字广告市场需要这种大规模的数据系统。
在PubMatic的环境中，HK-Pulse隔离了瓶颈并自动改善性能。该产品区分了必须的和不必要的数据，以确保规模增长能够可靠地支持所有关键的企业和面向客户的分析要求。
最终结果
HK-Pulse已经帮助PubMatic：
- 降低 “每个广告印象成本”，这是一个关键的性能指标
- 提高数据管道的可靠性
- 消除日常工程的参与和对中断和性能下降问题的消防工作
- 减少OEM支持成本
- 优化HDFS，减少30%的数据块占用面积
- 整合Kafka集群，节省基础设施成本
- 节省了数百万美元的不必要的软件许可费
