[Grafana] Grafana에서 Slack 보내기

  # 배경  

Grafana에서 모니터링 중 값이 일정 값을 넘어가거나 낮아지면 알림을 받고 싶다.

 

  # Grafana Alert 사용하기  

출처 : Grafana 공식 문서(Overview)

 

  # Contanct points 생성하기  

알림을 보내기 위한 수신 채널을 생성한다.

Slack에서 webhook URL을 복사하여 작성하고 Slack Setting의 경우 메시지를 어떻게 보낼지에 따라 설정을 다르게 해서 작성한다.

Notification settings에서 Disable resolved message를 선택하면 alert에 발송된 문제가 해결된 뒤에 메시지를 받지 않도록 설정하는데 문제가 해결되었는지 확인을 하기 위해서 이 부분은 선택을 하지 않았다.

 

 

Test 버튼을 눌러서 성공하면 Slack에 다음과 같이 메시지가 발송된다.

 

 

  # Notification policies 생성하기  

alert rule이 만들어질 폴더를 지정해서 폴더에서 Slack으로 가도록 설정을 한다.

 

 

  # Alert rule 생성하기  

1. 모니터링하고자 하는 리소스를 선택하여 쿼리문을 생성한다.

 

 

2. alert를 보낼 상황에 대한 condition에 대한 설정을 만들어준다.

 

 

3. 몇 초 또는 몇 분에 한 번씩 체크할지 설정

 

 

4. alert 시에 보낼 메시지 작성

 

 

5. 어떤 notification을 사용할지 라벨을 통해 설정