Grafana Alert은 상당히 직관적이고 편리하지만 가끔가다 Metric수집이 안됐을 경우 No Data Alert이 다량 발생할 수 있다.
모니터링에서 이러한 작은 No Data 이슈는 큰 문제가 아니며(수집이 timeout이나 네트웍에 잠깐 문제가 있을수도 있기 때문이다)
곧 정상으로 돌아왔다면 굳이 이러한 패턴에 모두 No Data Alert을 걸어둘 필요는 없다고 본다.
Grafana Alert을 셋팅할때 No Data and Error Handling에서 "If no data or all values are null" 항목의 state를 No Data로 해두면 이 경향이 더 심한데, 이유는 No Data로 했을 경우 Pending 상태(For 항목에서 지정한 period)를 무시하고 곧바로 Alert을 보내기 때문이다.
https://grafana.com/docs/grafana/latest/alerting/rules/
이럴 경우 No Data로 두지말고 그냥 Alerting으로 두면 For 기능이 적용되서, 만약 Metric이 일시적으로 안보이다가 다시 정상으로 돌아오는 상황에서 불필요한 Alert을 피할 수 있다.
Alerting Engine and Rules Guide
Alerting Engine and Rules Guide Alerting is only available in Grafana v4.0 and above. Introduction Alerting in Grafana allows you to attach rules to your dashboard panels. When you save the dashboard Grafana will extract the alert rules into a separate ale
grafana.com
'Monitoring' 카테고리의 다른 글
| Prometheus Query(PromQL) 기본 이해하기 (11) | 2021.04.08 |
|---|---|
| Thanos Tips (2) | 2020.02.11 |
| GPFS Client side monitoring on k8s (0) | 2019.12.10 |
| Kubernetes 에서 Monitoring System(Prometheus) 운영경험기 (9) | 2019.11.27 |
| Grafana API Call Flow 분석 (0) | 2019.01.17 |