도메인이 만료돼서 장애

이전 직장에서 인생에서 가장 황당한 장애를 만난 적이 있다.
바로 도메인이 만료돼서 생긴 장애였다.

그 당시를 회상해 보면 11시에 갑자기 서비스가 안된다고 연락이 왔다.
GCP 콘솔에 들어가서 혹시 내려간 인스턴스가 있는지 확인했다.
모든 인스턴스가 정상적으로 떠있고, 로그상에도 에러는 없었다.

그런데 서버로 들어오는 요청이 점점 줄어들고 있었다.
로드벨런서 문제인가? 하고 로드 벨런서 설정이랑 상태를 확인했는데도 문제가 없었다.

어… GCP에 있는 모든 리소스를 검토하고 또 검토했지만 문제를 찾을 수 없었다.

설마 하는 생각으로 cmd에서 서버 도메인을 검색하니 없는 도메인이라고 뜨는 것이다.!? 바로 도메인을 구매한 사이트에 들어가보니 만료되었다는 메시지가 있었다…

빠르게 도메인을 재구매하고, 1시간쯤 기다리니 다시 서비스가 정상동작하였다 ㅋㅋㅋㅋㅋ

하… 지금 생각해도 어이 없는 장애였는데, 그후 찾아보니 이메일에 도메인 만료된다고 한참 전부터 공지하고 있었다.
그 이메일이 아무도 안쓰는 이메일이라는 것이 문제였지만 말이다.
결론 이메일 잘 확인하자.

끝.