可观测性如何解决系统的盲点问题

一、什么是可观测性

在探索现代软件系统和云计算中的关键技术时，我们会经常遇到 “可观测性” 这个术语。那么，什么是可观测性呢？状态监控、性能测量和理解应用行为——这些都涵盖在可观测性的定义之中。如果说得更具体一些，可观测性其实就是通过检查应用程序或系统的输出、日志、性能指标等反馈信息，来理解并评估系统的状态和性能。可观测性不仅是应用系统的一种内在属性，而且也是一项关键任务，其贯穿于软件开发和系统构建的整个过程中.

1. 可观测性定义

   可观测性这一概念源于控制理论，具体来说，如果我们能够仅通过观察系统的外部输出，就能推断出系统内部的状态，那么，我们就可以说这个系统是可以观测的。在软件和云服务领域，可观测性引入了与此类似的思想：我们期望通过收集和分析系统或应用程序产生的各种信息（例如，系统日志、性能指标、错误消息等），以理解和评估系统的健康状况。简言之，可观测性就是通过收集和分析数据，来理解、改进和维护系统的能力。

2. 可观测性的重要性

   可观测性在保证系统的可靠性、性能和安全性方面发挥着关键作用。借助于可观测性，我们能够了解系统在不同时间、不同状态下的行为，从而更有效地诊断问题、分析性能瓶颈，及时掌握应用程序的状态，并能迅速定位并解决问题。在微服务和云原生应用的场景中，这种能力尤为重要，因为这些应用通常涉及大量的分布式组件，且运行状态复杂难以理解。因此，实现和维护良好的可观测性不仅关乎应用的稳定运行，也直接影响到用户体验和业务成果。

二、可观测性的核心组成部分

可观测性是现代软件系统和云计算维持其稳定性和可靠性的关键。从控制论的角度出发，要控制一个系统，首先我们需要具备对其的可观测性。而这种可观测性主要通过三大支柱：Metrics（指标）、Logs（日志）、Traces（追踪）来实现。

1. Metrics、logs、traces的概念

1. Metrics（指标）：它们是量化的度量，用来反映一个系统或程序在某个特定时间点的状态。例如，CPU占用率、内存使用量等。
2. Logs（日志）：它们是系统或程序运行时产生的事件记录，有助于分析和追踪系统运行过程中的特定事件。
3. Traces（追踪）：它们是为了理解事务或请求途径通过系统各个部分的详细信息。例如，在微服务环境中，追踪可以帮助我们理解请求是如何在各个服务之间流转的。

2. 可观测性数据的特点

可观测性数据通常具有高度维度、结构化和能反映系统内部状态的特点。以下是详细的对应解析：

三、可观测性如何解决系统的盲点问题

随着业务系统日益复杂，传统的应用性能监控（APM）方法已经无法完全满足我们的需求。在这个背景下，可观测性成为了一个新的研究热点，其核心是通过收集和分析系统的机器数据，以获得系统的内部状态和行为，从而解决系统的盲点问题。这种方式的最大特点是可以实现实时的、全局的、深入的系统观察，以便更快、更精确地定位并解决问题。

可观测性在问题定位中的作用

首先，可观测性对于问题定位有着巨大的帮助。它主要包括三个方面：

1. 日志：系统的运行日志是最直接、最真实的反映系统状况的数据，是定位问题的重要依据。
2. 指标：通过实时收集系统的关键指标数据，如CPU、内存、磁盘、网络等使用情况，可以发现系统的异常行为。
3. 链路：通过观察系统的调用链路，可以发现系统间的依赖关系，也可以找到性能瓶颈和故障原因。

可观测性在性能优化中的应用

实现了对系统内部的全方位观察后，我们就可以对系统的性能进行优化了。这包括：

1. 疑难杂症定位：例如，快速定位K8s CNI 端口冲突问题，这是因为PaaS 平台凭借eBPF 数据与现有的可观测数据整合，提供了**开箱即用的应用可观测性，全栈无盲点。
2. 系统瓶颈发现：通过辨别系统运行过程中的瓶颈部分，可以找到系统性能提升的切入点。
3. 效率提升：在了解了系统的运行状况后，可以合理调配资源，减少无效工作，提升系统的效率。

四、可观测性与监控的区别

1. 监控的定义及功能

监控是一种为了保持系统正常运行而进行的预定义指标和日志的收集活动。某种程度上，监控可以被看作是可观测性的一个子集，它关注的主要是系统的失败因素，以此来定义系统的失败模型，其核心是运维。监控设施更像站在局外人的位置，透过一定的标准和指标，例如故障管理，来了解系统运行状态，回答“何时何地正在发送什么”这个问题。

2. 可观测性与监控的比较和实践

与监控相比，可观测性是一个较为全面和深入的概念。它不仅包括监控的功能，还关注问题发生的根本原因。因此，可观测性在确定问题的根因时至关重要。在实践中，企业往往已经建设了许多监控工具，但在面对复杂问题的时候，仍然会感到力不从心。这时就需要利用可观测性工具进行深入的调试和问题排查。

性能上，监控和可观测性之间的区别可以从以下四个方面进行区分：

• 监控关注于系统的失败因素，但可观测性注重的是问题的根本原因。
• 监控工具主要是用于捕获预定义的指标和日志，而可观测性工具则能捕获更全面的数据。
• 监控在问题发生后，帮助我们了解问题的现象，而可观测性则能帮助我们了解发生问题的过程。
• 监控更多的是被动等待，期待通过设定的指标来发现问题，而可观测性则更加主动，能主动寻找可能存在的问题点。

因此，结合使用监控和可观测性，将有助于我们更好地了解和处理系统的各种问题。

什么是可观测性？

概念理解：可观测性是指在软件系统中，通过度量、监控和分析系统的各个组件行为，以便于了解系统的状态、性能和问题的能力。具体而言，它是一种系统的设计和实现方法，旨在提高对分布式系统中组件交互、状态变化和事件流的可见性和理解。

• 深度解读：可观测性主要包含三大块：Traces（链路追踪）、Logs（日志）、Metrics（指标），在这三块能力的基础上，有的系统还加上了Events（事件）的监控。
• 实际应用：可观测性在IT系统中起到的作用就好比一盏明灯，引导开发和维护人员迅速定位、分析和解决问题。

可观测性解决的是什么问题？

问题识别：可观测性主要是用来解决在复杂的系统环境中，如何有效地监控、管理和调试应用程序的问题。

• 价值体现：可观测性能帮助开发人员和运维人员了解到系统的实时运行状态，快速定位并解决系统的性能瓶颈，避免或缩小因系统问题引发的业务损失。
• 应用实例：例如阿里的可观测性数据引擎，它通过整合各种监控数据，增强了对内部系统状态和行为的理解，提升了解决业务和技术问题的效率。

可观测性和监控有什么区别？

区别分析：监控和可观测性都是了解系统状态和性能的手段，但他们关注的角度和原理不同。监控是通过对预先设定的一组数据进行实时跟踪，以便在系统状态改变或者出现问题时触发警报；而可观测性则是从系统内部出发，基于白盒化的思路，通过收集指标、日志和链路等数据，对系统整体进行理解和分析。

• 理论对比：监控更侧重于故障检测和警告，可观测性则侧重于故障分析和诊断。
• 实践应用：例如在性能瓶颈定位上，传统的监控更多的是告诉我们系统在哪个时间点出现了问题，而可观测性则可以告诉我们为什么系统会出现问题以及如何解决问题。

如何实现可观测性？

实现方法：系统要实现可观测性，首先要做好数据的采集和分析，主要包括指标、日志和链路等信息的采集；然后是数据的存储和检索，确保数据可以被有效地分析和利用；最后是可视化展示，通过图表等形式将数据直观展现出来，方便进行故障定位和性能优化。

• 操作指南：如可用OpenTelemetry这样成熟的开源可观测性框架进行数据的收集和分析；数据存储可以使用日志存储服务如ElasticSearch，或时序数据库InfluxDB等；数据展示则可以借助Kibana、Grafana等开源的数据可视化工具。
• 案例分享：微博增值团队可观测性探索与实践就是