당신의 서비스가 외부 모델에게 판정을 맡긴다고 하자. 블로그 댓글이 스팸인지, 고객 문의가 환불 요청인지, 대화가 위험 신호를 담고 있는지. 그리고 그 호출은 언젠가 실패한다 — 시간 초과, 제공사 장애, 크레딧 소진, 빈 응답. 그때 코드는 대개 이렇게 쓰여 있다. "실패하면 안전한 쪽 값을 넣고 넘어간다."
외부 판정이 실패하면 무엇을 저장해야 하나
판정이 실패하면 판정 값을 지어내 저장하지 않는다. "실패했다"를 그 자체로 저장하거나, 저장하지 않고 재시도 오류를 돌려준다. 지어낸 값은 진짜 판정과 같은 칸에 같은 모양으로 들어가므로, 그 순간부터 실패는 기록에서 사라진다. 사라진 실패는 세어지지 않고, 세어지지 않는 실패는 고쳐지지 않는다.
지어낸 기본값은 어떻게 문제를 숨기나
실제로 한 대화 서비스에서 세 번, 같은 모양으로 겪었다.
- 느리고 밋밋한 결과만 남았다. 대화를 마무리하는 요약 호출이 16초씩 걸리고 늘 같은 고정 문장을 냈다. 확장 사고를 켠 호출은 사고 토큰을 최대 길이(
max_tokens) 안에서 쓰는데(공식 문서), 상한이 700 으로 작아 모델이 생각만 하다 끝났고 구조화된 출력이 비었다. 빈 출력은 코드가 준비해 둔 고정 문장으로 덮였다. 오류는 한 번도 뜨지 않았다. 같은 설정을 쓰던 백그라운드 요약도 같이 비어 있었다. - 안전한 쪽 값이 서비스 전체를 멈출 뻔했다. 위험 신호를 판정하는 분류기가 실패하면 가장 보수적인 등급을 넣게 해 두었다. 안전해 보이지만, 그 등급이 대화 흐름을 바꾸는 구조였다. 제공사 장애나 크레딧 소진 한 번이면 모든 사용자의 대화가 매 턴 경고로 멈춘다. 게다가 그 보수 등급이 결제 화면 면제 같은 다른 동작의 조건이기도 해서, 장애가 곧 면제 발동이 됐다.
- 값의 뜻이 바뀌자 안전 보장이 조용히 사라졌다. 나중에 "주의" 등급에서는 상담 안내를 띄우지 않기로 정책을 바꿨다. 분류기 실패 때 지어 넣던 값이 바로 그 "주의"였다. 실패한 판정들이 하룻밤 새 "안내 없음"이 됐고, 코드 리뷰에서야 드러났다.
왜 기본값이 "안전한 쪽"이어도 안 되나
기본값의 문제는 값이 아니라 구분이 사라지는 것이다. 오늘 "안전한 쪽"인 값도 내일 그 값의 화면 동작이나 다른 기능의 조건이 바뀌면 다른 뜻이 된다. 그때 실패한 판정들은 진짜 판정과 섞여 있어서 골라낼 수 없다. 지어낸 값은 지금의 정책을 데이터에 굳히는 일이고, 정책은 반드시 바뀐다.
실패는 어떻게 남기나
- 실패를 값의 한 종류가 아니라 따로 표시한다. 판정 칸에
error같은 별도 상태를 두거나, 판정 칸은 비우고judged_at대신failed_at과 실패 종류(시간 초과·빈 응답·잔액)를 적는다. - 저장할 수 없으면 저장하지 않는다. 사용자에게 "잠시 뒤 다시 시도"를 돌려주는 편이 지어낸 값을 영원히 남기는 것보다 싸다.
- 입력만으로 확실한 경우는 예외로 둔다. 금지 키워드가 그대로 들어 있는 것처럼 모델 없이도 결정되는 경우만 코드가 판정한다. 그 판정에는 출처를
rule로 적는다. - 실패 비율을 지표로 센다. 빈 출력·대체 문장 사용 횟수를 하루 단위로 센다. 비율이 0 이 아니면 그 아래 설정(최대 길이, 타임아웃, 잔액)을 본다.
- 실패 상태가 다른 동작을 일으키지 않게 한다. 면제·차단·알림의 조건에서 실패 상태는 명시적으로 뺀다. 보수적으로 다시 확인한다면 그 횟수에 상한을 둔다.
- 정책을 바꿀 때 묻는다. "이 값은 실패 처리로도 만들어지는가?" 한 줄을 변경 점검 목록에 넣는다.
에이전트에게 어떤 지침을 주나
코드를 쓰는 에이전트에게 다음을 그대로 준다.
외부 호출(모델·분류기·API)의 결과를 저장하는 코드를 쓸 때:
- 실패·빈 응답을 기본값이나 고정 문장으로 덮어 저장하지 않는다.
- 실패는 별도 상태(error + 종류)로 저장하거나, 저장하지 않고 재시도 오류를 돌려준다.
- 입력만으로 결정되는 경우만 예외이며, 그 결과에는 출처(rule)를 적는다.
- 실패 상태를 다른 기능의 조건(면제·차단·알림)으로 쓰지 않는다.
- 대체 경로가 쓰인 횟수를 세는 지표를 같이 만든다.
블로그 댓글 예로 옮기면
스팸 판정 모델이 실패하면 "스팸 아님"을 넣고 댓글을 공개하는 블로그가 있다고 하자. 장애가 난 한 시간 동안 들어온 스팸은 영원히 "스팸 아님"으로 판정된 댓글이 된다. 나중에 판정 기록으로 모델을 평가하면 정확도가 실제보다 낮게 나오고, 다시 거르려 해도 어느 것이 진짜 판정이었는지 알 수 없다. 실패를 pending 으로 남겼다면 그 댓글들만 골라 다시 판정하면 끝난다.