채점을 위해 AWS의 Spot Instance를 사용하고 있는데, 최근 들어 Spot Instance를 자주 종료시켜 채점 중, 채점 준비 중이 끝나지 않는 문제가 있었습니다. 하루 평균 0.025% 정도의 제출에서 이런 문제가 발생했습니다.

이런 제출은 24-48시간 내에 모아서 다시 채점을 진행합니다.

Spot Instance가 종료되기 2분 전에 CloudWatch 알림을 보낸다는 점을 이용해서, 채점 서버가 해당 알림을 받으면 현재 진행 중인 채점이 종료된 후에 채점 프로그램을 종료하게 업데이트 했습니다.

알림을 받고 2분 내에 채점이 종료되지 않으면 기존과 같이 채점 중, 채점 준비 중 상태로 머무르겠지만, 대부분의 채점이 그렇게 오래걸리지 않기 때문에, 이런 문제가 많이 해결될 것으로 보입니다.

다음에는 24-48시간을 10분 정도 내외로 줄여 보겠습니다.