FAQ

最常见的问题和答案
  • 术语“数据可观测性”是对来自 DevOps 世界的可观测性概念的改编,但在数据、数据管道和数据平台的背景下。它将数据问题视为工程问题,并努力使数据工程师能够在预期的时间范围内向消费者和应用程序提供准确可靠的数据。这使 IT 和业务领导者能够在一定程度上控制数据使用和容量规划。
  • 数据可观测性使用自动化来识别数据质量问题,防止下游数据问题,并增强性能管理、容量规划和生产管理。支持数据可观测性的最重要的底层特性是“信号集合”,以使用数据剖析、数据监控和异常检测、活动元数据和数据沿袭来驱动相关性和关系分析。
  • 数据可观测性提供了一种机制来理解现代数据架构中的数据管道(例如具有多个专有和开源组件的数据结构/数据网格,如编排、转换、监控和元数据工具)以及参与应用程序的复杂组合和多个参与的角色。传统的数据监控和数据质量工具需要手动步骤,并且仅限于根据一组标准预期(“已知已知”场景)监控数据环境。
  • 新兴的数据可观测性解决方案提供端到端监控并利用机器学习来预测未知数据问题并评估故障的影响和根本原因。数据可观测性的目的是通过提高观察变化的能力来提高数据管道的可靠性,并涵盖问题和潜在原因也可能未知的场景。

在监控提醒团队注意潜在问题的同时,可观察性帮助团队检测并解决问题的根本原因

监控和可观测性是推动更高软件交付和组织绩效的一组功能之一。

  1. 观察数据(独立于任何其他数据依赖项)——数据问题可能比一般数据质量问题更广泛,后者着眼于准确性和完整性,解决方案的目标是测试和监控各种指标、异常和异常值的数据,也采用无监督算法。解决方案监控数据和相关元数据;任何历史模式的变化都可能触发警报。这可以自上而下(上下文驱动)和自下而上(数据模式/数据指纹和数据值推断)完成。
  2. 观察数据管道——观察与数据管道相关的指标和元数据,以识别与数据交互的转换、事件、应用程序/代码中的问题。数据管道指标和元数据的任何变化,如卷/行为/频率等,来自预期或预测的行为都可以识别异常并根据变化检测触发警报。
  3. 观察数据基础设施——一些解决方案还试图将来自数据基础设施层的信号和指标结合起来,作为广泛数据生命周期的依赖项之一。解决方案可以捕获有关资源消耗的日志和指标,例如计算、性能、资源的供应不足和过度供应,这些资源可以针对 FinOps、云治理等成本优化概念。解决方案监控和分析查询日志中的处理层日志和操作元数据。
  4. 观察数据用户——数据可观察性服务于高级角色,如数据工程师、数据科学家和分析工程师。上述问题与数据交付(也称为 SLA)和管道设计有关。数据可观察性侧重于通过分析可用的附加元数据(分析和激活)在这些问题发生之前进行预测和预防。这些问题超出了业务用户、数据质量分析师或业务管家的理解;它们是更上游的问题,如果它们到达生产系统,已经造成了很多损害到目前为止,交互作用还表明数据可观察性 工具更适合流式传输和实时数据需求,传统的数据质量监控工具非常有限,甚至无法分析和理解数据特征。这表明显然需要能够快速观察并帮助识别流数据需求的问题的解决方案。

HK-Acceldata将跨数据、处理和管道的事件关联起来,以改变组织观察、操作和优化企业数据系统的方式。

HK-Torch使用先进的机器学习和人工智能,为企业数据系统实现数据质量和可靠性的自动化,无论其规模、来源数量以及数据类型和结构的复杂性如何。