개요

공통 프로젝트로 진행했던 SPOPARTY 서비스가 SSAFY에서 제공해주는 서버 기간 만료로 인해 다운되었었는데, 중간중간 서비스를 개발하면서 팀원들과 함께 게시판을 잘 이용했었다.

그래서 도메인 구매하여 서비스를 다시 올려놨었는데…

장애 발생

파일 업로드가 불가능한 현상 + 파일 삭제가 불가능한 현상 두가지가 함께 터져서 로그를 보면서 추적 해봤다.

파일 업로드 불가능 현상

파일 업로드의 경우 제보자가 보내준 내용 그대로였다.

nginx는 client_max_body_size가 1MB가 기본으로 설정되어 있었는데, 기존 서버에는 openvidu 컨테이너 내부 nginx에서 설정되어 있었던 것으로 보인다.

따라서 현재 서버의 nginx 설정에 아래의 옵션을 추가한 후 정상적으로 업로드가 가능해졌다.

client_max_body_size 10M;

파일 삭제 불가능 현상

파일 삭제의 경우 로그 확인 결과 S3 권한 문제였다.

레포지토리 내의 키값이 노출되면서 AWS 측에서 메일이 왔었는데, 확인을 못했다.

노출로 인한 피해를 막고자 aws 측에서 일부 기능을 막았다고 한다.

이 부분은 새로운 Spring Application에서 s3로 접근하는 access key와 secret key를 새로 발급받아서 해결했다.

장애 대응 완료

약 한시간 30분의 장애 대응을 해보면서 또 지식을 얻어갈 수 있었다.

늦은 시간까지 테스트를 함께 해준 팀원들 모두 감사합니다!!

AWS 에서 이런 메일도 왔다.. ㅋㅋㅋㅋ