2）立体化监控体系设计
完整的监控体系，对提升系统SLA有非常重要的作用。一方面监控系统具有提前业务事件预警能力。最有效的监控体系能在业务发生故障前有效预警，从而知会SRE提前介入处置，防止事件扩大成故障，从而降低高故障数量。另一方面在发生故障后，能够评估故障影响程度、有效追踪异常点，引导技术人员介入处置，提升系统故障恢复SLA。
3）系统压力测试、混沌工程、应急预案等多方面检验
随着业务系统逐渐趋于成熟，要保障常规运行过程中的稳定性， 需要周期性保持对系统的应急演练工作。一方面通过压力测试、破怀性测试来检验系统的承受能力。另一方面通过这些演练来检验运维人员团队在面对业务事件时的响应质量、处置预案是否成熟与合规。
3 可观测体系
可观测能力做为基础技术能力，在健康码运维中是不可缺少的一部分。优秀的可观测体系能够帮助业务及时、准确地发现故障，亦能在故障诊断过程中追根溯源，及时协助问题定位、从而加速故障恢复。
健康码产品基于PAAS产品构建，系统的可观测点一般可基于以下能力构建：首先，采用了腾讯云waf/ 腾讯智能网关/腾讯云tke等做为基础组件。这些组件都能够输出标准化日志，我们对日志进行清洗、汇聚，从而可获得各种可观测的metrics。其次，前端埋点。有助于监控前端用户体验，发现资源加载慢、API接口超时、成功率低等问题。最后，组件自身的监控系统，采用公有云API、 telegraf input、 prometheus exporter等方式对组件自身的健康情况做好监控。
1）基础组件可观测
对于基础组件来说，我们需要知道各组件的运行状态、容量性能情况等。基础组件可观测选型较多，相对私有云来说，公有云具有较好的可观测生态。以腾讯云为例，公有云除了提供较好的 dashboard 与告警能力外， 基于API V3构建的开源生态亦比较丰富，可使用grafana plugin 和prometheus qcloud exporter进行观测，方便与 prometheus/grafana 进行集成对接。
需要特别说明的是由于原生监控指标较少，服务器数量较多时，监控原生api可能无法满足高额拉取频率要求，我们可以采用开源手段进行监控，比如自行部署 node exporter， 由prometheus 自行抓取与监控。
2）业务指标可观测
根据业务指标的重要程度，我们会针对关键指标如亮码、核酸、疫苗接口相关业务指标进行观测。对各种接口监控好，我们就可以有效保障系统整体质量，监控的指标包括各接口业务量、成功率、平均耗时、95分位耗时等。
