수치가 이상하면, 고장을 찾기 전에 그 수치가 언제 굳는지부터 묻는다

당신의 에이전트가 아침마다 쇼핑몰 지표를 본다고 하자. 어느 날 보고가 이렇게 온다. "어제 유입 경로를 알 수 없는 방문이 크게 늘고, 참여율이 평소의 절반 아래로 떨어졌다. 추적 태그가 깨졌을 수 있다. 배포 기록과 분석 도구의 변경 이력을 보려면 권한이 더 필요하다." 성실한 보고다. 그런데 이틀 뒤 같은 날짜를 다시 열면 이상했던 수치가 저절로 제자리에 와 있다. 고장은 처음부터 없었다.

수치가 이상할 때 에이전트가 먼저 물어야 할 것은 무엇인가

최근 수치는 고장의 증거가 아니라 아직 굳지 않은 초안이다. 에이전트는 고장을 찾으러 가기 전에 그 수치가 언제 굳는지부터 물어야 한다. 많은 측정 도구는 데이터를 받은 순간 확정하지 않는다. 늦게 들어온 이벤트를 붙이고, 출처를 다시 귀속하고, 중복을 걸러 낸 뒤에야 값이 멈춘다. 그 전에 본 값은 틀린 게 아니라 덜 된 것이다.

왜 "덜 된 수치"는 고장처럼 보이나

굳기 전 수치가 틀리는 모양은 고장이 남기는 모양과 똑같기 때문이다.

• 출처가 비어 보인다. 귀속이 아직 안 된 방문은 "(not set)"이나 "알 수 없음"으로 잡힌다. 태그가 깨졌을 때와 같은 모습이다.
• 비율이 무너진다. 분모(방문)는 먼저 들어오고 분자(참여·전환)는 나중에 채워지면 비율이 일시적으로 바닥을 친다.
• 어제가 그제보다 늘 나빠 보인다. 가장 최근 날짜가 가장 덜 굳었기 때문이다. 매일 보는 보고서에서 "어제 하락"은 거의 매일 나온다.

구글 애널리틱스(Google Analytics)는 데이터 최신성 문서에서 처리가 끝나기까지 시간이 걸리고 그 사이 보고서 값이 바뀔 수 있다고 밝힌다. 분석 도구만 그런 것도 아니다. 광고의 전환 귀속, 결제의 환불·취소, 검색 노출 보고서도 늦게 굳는다. 얼마나 늦는지는 도구마다 다르니 각 도구의 문서에서 확인한다.

이걸 모르면 에이전트는 어디로 가나

엉뚱한 곳으로 성실하게 간다. 고장을 가정하면 다음 질문은 "무엇이 바뀌었나"다. 그래서 배포 기록, 설정 변경 이력, 실제 페이지의 태그를 보러 가고, 거기 닿지 못하면 권한이 모자라서 막혔다고 적는다.

실제로 이런 일이 있었다. 우리 운영 에이전트가 두 번 연달아 당일 수치를 태그·배포 고장으로 읽고 변경 이력과 배포 기록을 보러 갔다가 막혀 "도구가 없다"고 기록했다. 권한이 열린 뒤 끝까지 따라가 보니 그 사이 배포도 설정 변경도 없었고, 이상했던 날짜 셋(두 서비스) 모두 하루 이틀 뒤 다시 보니 "(not set)" 몫이 제 출처로 돌아가 있었다. 막힌 것은 도구가 아니라 "이 수치는 언제 굳나"라는 지식 하나였다. 도구를 더 줬어도 답은 거기 없었다.

이 실수의 비용은 두 겹이다. 하나는 헛걸음이다. 다른 하나가 더 크다 — 잘못 진단한 막힘이 권한 요청으로 이어진다. 지식이 없어서 생긴 문제를 접근 권한으로 풀려 들면 권한만 넓어지고 문제는 다음 날 그대로 나온다.

에이전트 지침에 무엇을 넣으면 되나

지표를 읽는 에이전트의 지침에 아래를 넣는다. 붙여 쓰면 된다.

최근 수치에 이상이 보이면 고장을 찾기 전에:
1. 그 데이터가 언제 굳는지 확인한다(도구 문서 또는 이 문서의 표).
2. 굳기 전 날짜의 이상은 "잠정"으로 표시해 보고하고, 굳는 날짜에 다시 본다.
3. 굳은 뒤에도 이상이 남을 때만 배포·설정·태그를 조사한다.
4. 굳기 전 수치 때문에 막혔다면 "권한 부족"이 아니라 "기다릴 일"로 적는다.

그리고 지침 옆에 굳는 시간 표를 하나 둔다. 에이전트가 매번 찾게 하지 말고 한 번 적어 두는 것이 싸다.

• 웹 분석: 며칠 전 날짜부터 확정으로 본다
• 광고 전환: 귀속 기간이 끝난 뒤
• 매출: 환불·취소 기간이 지난 뒤
• 검색 노출: 도구가 "최종"이라고 표시한 날짜까지

진짜 고장과는 어떻게 가르나

기다리는 동안 손 놓으라는 뜻은 아니다. 다음 셋 중 하나면 굳기를 기다리지 않고 바로 본다.

1. 이상이 굳은 날짜에도 있다. 사흘 전, 일주일 전 수치도 이상하면 지연이 아니다.
2. 0이다. 덜 굳은 수치는 줄어 보이지 사라지지 않는다. 방문이 통째로 0이면 수집이 멈춘 것이다.
3. 같은 시각에 바뀐 것이 있다. 배포·설정 변경 시각과 이상이 시작된 시각이 겹치면 지연보다 그쪽이 먼저다.

셋 다 아니면, 그 이상은 이틀 뒤에도 남아 있을 때 다시 꺼내도 늦지 않다.