AI 해설을 믿고 쓰실 수 있도록 고친 것들

수학과 국어 문항의 해설을 AI로 만들어 드리는 기능을 운영하면서, 저희가 제일 많이 받은 이야기는 해설이 어렵다는 것이 아니었습니다. "분명 잘 끝났는데 다시 보니 실패로 되어 있다", "만드는 중에서 며칠째 안 내려온다" 같은 것들이었습니다. 해설이 얼마나 좋은지는 그다음 문제였습니다.

끝난 해설이 실패로 바뀌던 이유

결과가 마음에 들지 않아 다시 돌리시는 경우가 있습니다. 이때 앞서 돌던 작업이 멈추지 않고 뒤늦게 끝나면서, 방금 새로 만든 멀쩡한 해설을 덮어쓰고 있었습니다. 화면에는 잘 끝난 해설이 난데없이 실패로 표시됐습니다.

이런 일이 한 번이라도 있으면 다음부터는 결과를 그대로 믿기 어려워집니다. 해설이 얼마나 자세한지보다, 화면에 뜬 상태가 사실과 같은지가 먼저라고 판단했습니다.

지금은 결과를 저장하기 전에 "이 작업이 지금 화면의 최신 작업이 맞는지"를 확인합니다. 시작할 때 한 번, 중간에 한 번, 저장 직전에 한 번, 이렇게 세 지점에서 확인하기 때문에 뒤늦게 끝난 옛 작업은 마지막 관문에서 걸러집니다.

만드는 중에서 멈춰 있던 문항

며칠이 지나도 만드는 중에서 내려오지 않는 문항이 있었습니다. 원인은 재시도가 필요한 상태를 저희 자료에 기록하려 할 때, 그 값이 허용 목록에 빠져 있어 기록이 조용히 거절되고 있었던 것입니다. 눈에 띄는 오류 없이 그냥 기록만 안 됐고, 그래서 재시도가 영원히 시작되지 않았습니다.

이 부분을 고치면서 옆에 딸린 문제들도 함께 정리했습니다. 일부 경로에서 마무리 처리가 빠져 진행 개수가 맞지 않던 것, 자동 점검이 개수를 엉뚱하게 되돌리던 것까지 손봤습니다.

해설 내용에 대한 기준

해설의 내용에도 기준을 뒀습니다. AI는 종종 더 근사한 풀이를 위해 해당 단원 밖의 개념을 끌어옵니다. 풀이로는 맞더라도 수업에서 쓰기 어려운 해설입니다. 그래서 해당 단원과 교육과정 범위를 벗어난 해설은 걸러냅니다.

정답도 마찬가지입니다. 해설을 다시 만들어야 할 때는 정답을 고정한 채로 따로 두 번 확인하고, 두 결과가 같은 답으로 모일 때만 씁니다. 결과가 갈리면 채우지 않고 비워둡니다. 그럴듯한 오답을 자신 있게 내놓는 것보다 낫다고 봤습니다. 문항이 여러 개일 때 일부만 실패하는 경우도 전체를 실패로 처리하지 않고, 실패한 문항에만 다시 시도 버튼을 답니다.

앞으로

해설의 정확도 자체를 올리는 일은 계속 진행 중입니다. 문항 유형에 따라 잘 맞는 방식이 달라서, 유형별로 나눠 점검하는 장치를 늘려가고 있습니다. 결과가 흔들리는 구간을 저희가 먼저 찾아내는 것이 목표입니다.