검색 유입에는 A/B 테스트가 안 됩니다, 대신 쓰는 전후 비교법

광고를 해 본 사장님일수록 검색에서도 같은 걸 하고 싶어 합니다. "제목 두 개 만들어서 뭐가 나은지 테스트해 봅시다." 광고에서는 맞는 방법인데, 검색에서는 성립 자체가 안 됩니다.

왜 검색에서는 A/B 테스트가 성립하지 않나요

이유는 간단합니다. A/B 테스트는 같은 기간에 두 버전을 절반씩 보여줘야 성립합니다. 광고 시스템은 그걸 해 줍니다. 그런데 검색 결과에서 한 페이지는 한 순간에 한 버전만 존재합니다. 버전을 바꾸면 "동시에 비교"가 아니라 "다른 시기에 다른 버전"이 되고, 그 사이에 계절도 순위도 경쟁자도 같이 움직입니다. 비교가 그렇게 오염됩니다.

반영 시점도 우리가 정하지 못합니다. 언제 다시 읽어 갔는지는 크롤링 통계 보고서에서 주기로만 확인됩니다.

그래서 검색에서는 전후 비교를 씁니다. 대충 하면 착각만 낳는 방법이라, 규칙이 3가지 필요합니다.

규칙 1. 한 번에 하나만 바꿉니다

제목과 본문과 이미지를 같이 고치면, 뭐가 효과였는지 영영 알 수 없습니다. 제목만 바꿔 클릭이 2배가 된 사례가 깔끔하게 판정된 것도 바꾼 게 제목 하나였기 때문입니다.

규칙 2. 앞뒤를 같은 길이로 놓습니다

바꾼 날 앞뒤로 2주씩(가능하면 4주씩) 같은 길이의 기간을 놓고 봅니다. 하루하루 순위는 원래 오르내리는 게 정상이라, 짧은 기간 비교는 그 잔 흔들림을 효과로 착각하게 만듭니다.

기간을 자를 때 요일 구성도 맞춥니다. 한쪽에만 주말이 하루 더 들어가면 결론이 뒤집히기도 합니다.

규칙 3. 바깥 변수를 같이 적어 둡니다

비교 기간에 성수기가 시작됐는지, 구글 업데이트가 있었는지, 광고를 켰는지. 이걸 안 적으면 계절 효과를 실력으로 착각하는 반대 방향 실수를 하게 됩니다. 전후 비교표 옆에 "이 기간에 있었던 일" 한 줄이면 됩니다.

적어 둘 항목은 매번 같습니다. 광고 집행, 경쟁사 진입, 사이트 작업, 연휴, 외부 노출. 다섯 칸이면 기록에 1분도 안 걸립니다.

실무에서는 어떤 순서로 하나요

서치콘솔 실적 보고서에서 해당 페이지만 필터로 잡고, 날짜 비교 기능으로 변경일 앞뒤를 놓습니다. 볼 숫자는 노출·클릭률·평균 순위 3개. 노출이 비슷한데 클릭률이 올랐으면 제목·설명 개선이 일한 것이고, 노출 자체가 변했으면 순위나 계절이 움직인 것이라 해석을 달리해야 합니다.

그리고 실험은 한 페이지씩 순서대로. 10개 페이지를 다 고치고 "전체적으로 좋아졌나"를 보는 건 실험이 아니라 기분입니다. 한 페이지에서 통한 개선을 확인하고 다음 페이지에 적용하는 쪽이, 느려 보여도 한 달 뒤에 아는 것이 훨씬 많습니다.

숫자 3개를 어떻게 읽나요

노출과 클릭률이 움직인 방향을 함께 보면 무엇이 일했는지가 갈립니다.

평균 순위는 마지막에 봅니다. 노출된 검색어 구성이 바뀌면 평균값도 따라 움직입니다.

전후 비교로도 판정이 안 되는 경우는 언제인가요

애초에 비교가 성립하지 않는 조건이 있습니다. 여기 해당하면 결론을 내리지 말고 기다리는 편이 낫습니다.

이 방법으로 알 수 없는 것

전후 비교는 원인을 증명하지 못합니다. 앞뒤 숫자와 그 이유 사이에는 늘 틈이 남고, 그 틈을 메우는 것은 반복입니다. 같은 개선을 여러 페이지에서 되풀이해 같은 방향이 나올 때 우리 사이트의 규칙이 됩니다.

다만 한 번의 비교로 확신을 얻으려는 시도는 여기까지가 한계입니다. 한 페이지의 결과만으로는 충분하지 않고, 기록이 쌓이기 전까지는 결론을 유보하는 편이 안전합니다.