s3 비용 이상증가 이슈 확인

 

 

 

 

aws 콘솔에서 비용이 갑자기 증가하면 알림이 오게 설정해뒀는데 

4월부터 갑자기 s3비용 증가 알림이 매일같이 오기 시작했다 

 

 

 

 

확인해보니 트래픽 관련 비용들이 갑자기 증가를 하였다. 

 

 

 

 

 

우선 사용자가 갑자기 늘었거나 s3 버킷 사이즈가 늘었나 확인을 하였다. 

그런데 사용자 수가 버킷 사이즈는 큰 변화가 없었다. 

 

 

chatgpt에  상황에 대해서 물어보고 하나씩 참고해보았다. 

 

 

Q: s3 APN2-DataTransfer-Out-Bytes  비용이 갑자기 많이 나오고 있는데 원인이 뭐고 어떻게 이슈를 확인해야할까?

s3 APN2-DataTransfer-Out-Bytes의 비용이 갑자기 많이 나온다는 것은 AWS에서 데이터 전송에 대한 비용이 많이 발생하고 있다는 의미입니다. 이러한 경우에는 다음과 같은 방법을 통해 이슈를 파악하고 대응할 수 있습니다.

AWS 콘솔에서 CloudWatch Metrics 확인
AWS 콘솔에서 해당 S3 버킷의 CloudWatch Metrics를 확인하여 데이터 전송량의 변화 추이를 파악할 수 있습니다. 이를 통해 트래픽 증가 혹은 이벤트 발생 여부 등을 파악할 수 있습니다.

AWS 콘솔에서 S3 Access Logs 분석
S3 Access Logs는 S3 버킷에 대한 액세스 로그를 기록한 파일입니다. 해당 로그 파일을 분석하여 트래픽이 많은 시간대나 이상한 접속 등을 파악할 수 있습니다.

AWS 콘솔에서 S3 Bucket Policy 확인
S3 Bucket Policy를 확인하여 다른 AWS 계정으로의 액세스 권한이 있는지 확인합니다. 또한, 특정 IP나 User-Agent에서의 액세스가 많은 경우, 이에 대한 제어를 설정하여 이슈를 예방할 수 있습니다. AWS 콘솔에서 AWS Trusted Advisor 확인 AWS Trusted Advisor는 AWS의 아키텍처, 비용, 보안 등 다양한 측면에서 권장 사항을 제공하는 서비스입니다. 해당 서비스에서 S3 관련 권장 사항을 확인하여 이를 적용할 수 있습니다.

 

 

AWS 콘솔에서 CloudWatch Metrics 확인

 

 

버킷별 사이즈 외에 다른 지표들이 수집이 안되고 있는 것 같았다. 

버킷별 사이즈는 저번 달과 큰 차이가 없는 것을 확인할 수 있다. 

 

검색해보니 버킷에서 요청 지표를 설정 안하면 

구체적인 지표를 볼 수 없는 것 같아서 일단 설정했는데 이 기능은 유료이다. 

당분간 비용 모니터링을 해야겠다. 

 

 

 

시간이 좀 지나서 확인해보니 cloudwatch s3 대시보드에서 지표들이 하나씩 보이고 있다. 

 

 

그런데 통계 지표만 확인 가능한 거고

특이 지표를 만드는 상황들에 대해서는 확인이 안 되는 것 같다. 

 

 

 

참고 : https://docs.aws.amazon.com/ko_kr/AmazonS3/latest/userguide/monitoring-automated-manual.html

 

 

 

AWS 콘솔에서 S3 Access Logs 분석

 

 

버킷중에서 서버 엑세스 로그 설정해 둔 버킷이 있어서 로그들을 분석하려고보니 

이것은 방법이 더 복잡하다. 

 

대신 좀 디테일하게 내용을 확인할 수 있을 것 같은데

내용을 좀 더 확인해봐야겠다. 

 

 

https://docs.aws.amazon.com/ko_kr/AmazonS3/latest/userguide/using-s3-access-logs-to-identify-requests.html

 

 

Q: aws 에서 웹사이트를 운영하고 있는데 갑자기 s3 비용이 올랐음. 어디서 크롤링을 시도하는지 확인하고 싶은데 방법 알려줘. 그리고 크롤링말고 비용이 올라간 이유가 있을까?

S3 비용이 갑자기 올랐다는 것은 누군가가 해당 버킷에 대한 요청을 많이 보내고 있다는 것을 의미할 수 있습니다. 이를 확인하기 위해 AWS CloudTrail을 사용할 수 있습니다.

AWS Management Console에 로그인합니다.CloudTrail 서비스로 이동합니다.이전에 만든 Trail 중에서 로그를 저장하는 S3 버킷과 연결된 Trail을 선택합니다.이벤트 검색을 사용하여 S3 버킷에서 수신된 모든 요청을 필터링합니다.요청이 들어온 IP 주소, 시간대, 사용자 에이전트 등과 같은 추가 정보를 확인하여 크롤링과 같은 이상한 활동이 있는지 확인할 수 있습니다.

비용이 올라간 이유는 여러 가지 요인이 있을 수 있습니다. 예를 들어, 어떤 데이터가 많이 다운로드되었거나 업로드되었거나, 파일에 대한 액세스 패턴이 변경되었거나, 트래픽이 증가했거나, 사용자 수가 늘어났을 수 있습니다. CloudTrail을 통해 수행된 모든 AWS API 작업의 로그를 보고 요청을 살펴보면 어떤 작업이 비용 증가의 주 원인인지 알 수 있습니다.

 

 

 

별 거 확인 안 한 것 같은데 일요일이 다 지나갔다 ㅠㅠ

 

고객 센터에도 혹시 모르니 문의를 해두는 것이 좋을 것 같다.