색인이 안 되는 이유는 다섯 갈래입니다, 확인 순서가 정해져 있습니다

색인 누락은 하나의 증상이지 하나의 원인이 아닙니다. 색인된 페이지 수가 검색 유입을 정한다는 건 앞 글에서 다뤘고, 이 글은 그 다음 질문을 다룹니다. 안 된 쪽을 열었을 때 무엇부터 봐야 하는가입니다.

구글 서치콘솔은 색인 안 된 페이지를 사유별로 묶어 줍니다. 사유가 다르면 처방도 다른데, 대부분 이걸 안 나누고 "색인 요청"만 반복합니다. 요청은 대기열에 넣는 일이지 사유를 없애는 일이 아닙니다. 그래서 같은 사유로 다시 빠집니다.

사유는 어떤 순서로 봐야 하나요

전부 볼 필요는 없습니다. 페이지 수가 많은 사유 위에서 세 개만 보면 대개 80%가 설명됩니다.

아래 둘은 고칠 게 없습니다. 이 둘이 많다고 놀랄 일은 아닙니다. 캐노니컬을 제대로 걸어 놓으면 오히려 여기 쌓이는 게 정상입니다. 실제로 많은 분이 이 숫자를 보고 문제가 있다고 판단하는데, 반대입니다.

화면에 처음 보는 사유 이름이 떴다면 구글의 색인 생성 보고서 문서에서 그 이름을 찾아 뜻부터 확인하세요. 사유 이름은 화면 문구가 바뀌는 일이 있어, 뜻을 짐작하고 손대면 엉뚱한 조치가 나갑니다.

크롤링됨인데 색인이 안 되는 건 무슨 뜻인가요

크롤러가 페이지를 끝까지 읽었습니다. 읽고 나서 색인할 만한 게 없다고 판단한 겁니다. 기술 문제가 아니라는 뜻이라, robots.txt 를 고치거나 사이트맵을 다시 내도 안 바뀝니다.

여기 쌓이는 페이지에는 공통점이 있습니다.

• 목록만 있고 본문이 없는 페이지 (태그 목록, 페이지네이션 2쪽 이후)
• 다른 페이지와 본문이 80% 이상 겹치는 페이지
• 지역명·모델명만 바꿔 찍은 페이지
• 본문이 200자 안 되는 페이지

지역 페이지 40개를 만들었는데 지역명 말고는 같은 글이라면, 전부 여기 들어갑니다. 이때 캐노니컬을 걸어도 소용없습니다. 중복 문제로 잡힌 게 아니라 가치 부족으로 잡힌 거니까요. 40개를 4개로 줄이고 각 지역의 실제 시공 사례·가격대·규제 차이를 넣는 쪽이 답입니다.

발견됨은 왜 생기나요

주소는 알고 있는데 방문을 안 한 상태입니다. 크롤러가 "지금은 안 가겠다"고 판단한 겁니다. 이유는 셋 중 하나입니다.

첫째, 사이트 규모에 비해 크롤링 자원이 적습니다. 새 도메인이면 당연합니다. 신뢰가 쌓이기 전에는 하루에 도는 양이 적습니다.

둘째, 서버 응답이 느립니다. 크롤러는 응답이 느려지면 스스로 속도를 줄입니다. 사이트를 보호하려는 동작이라 서버 사양을 올리면 풀립니다.

셋째, 이미 읽은 페이지 중에 가치가 낮은 게 많습니다. 크롤러가 "이 사이트는 가 봐야 별거 없다"고 학습한 상태입니다. 이게 앞 사유와 이어지는 지점이고, 크롤링됨 항목을 정리하면 발견됨도 같이 줄어듭니다.

셋 중 뭔지 구분하려면 서치콘솔 설정 → 크롤링 통계를 보세요. 하루 크롤링 요청 수와 평균 응답 시간이 나옵니다. 응답 시간이 1초를 넘게 유지되면 둘째, 요청 수 자체가 하루 수십 건이면 첫째입니다.

주소가 수만 개인 사이트라면 이 배분 자체가 따로 다뤄야 할 주제가 됩니다. 어떤 요소가 크롤링 양을 늘리고 줄이는지는 구글의 크롤링 예산 관리 문서에 정리돼 있습니다. 페이지가 수백 개 규모라면 여기까지 볼 필요는 없습니다.

중복은 어떻게 고치나요

같은 내용이 여러 주소에 있는데 어느 쪽이 원본인지 표시가 없는 상태입니다. 검색 엔진이 알아서 하나를 고르는데, 고른 쪽이 우리가 원하던 페이지가 아닐 수 있습니다.

가장 흔한 형태는 이렇습니다.

마지막 둘은 자주 놓칩니다. 확장자 붙은 주소와 안 붙은 주소가 둘 다 200 으로 열리면 그것만으로 중복입니다. 한쪽을 301 로 넘겨 살아 있는 주소를 하나로 만드세요. 이 사이트도 만들면서 같은 문제를 겪었고, 지금은 .html 로 들어오면 확장자 없는 주소로 301 을 냅니다.

확인 순서

1. 서치콘솔 → 페이지 → 색인 생성되지 않음
2. 사유를 페이지 수 많은 순으로 정렬
3. 위 세 개만 골라 각각 주소 목록을 열어 봄
4. 크롤링됨 → 합치거나 지웁니다
5. 발견됨 → 크롤링 통계로 원인 구분, 서버 또는 4번 선행
6. 중복 → 캐노니컬 지정, 또는 301 로 주소 하나로
7. 조치한 주소 5~10개만 URL 검사에서 색인 요청
8. 4주 뒤 같은 화면을 다시 열어 숫자를 비교

7번에서 전부 요청하지 마세요. 조치가 맞았는지 확인하는 게 목적이라 표본이면 충분합니다. 틀렸을 때 되돌리기도 쉽고요.

사유를 다 없애도 남는 문제

여기까지는 검색에 존재하게 만드는 일입니다. 색인이 됐다고 노출이 생기지는 않습니다. 색인 → 노출 → 클릭은 각각 다른 관문이고, 어디서 막혔는지는 서치콘솔에서 매달 봐야 할 숫자 세 개를 나란히 놓고 봐야 알 수 있습니다.

그리고 사이트맵을 제출했으니 색인이 될 거라고 생각하셨다면, 그 오해는 사이트맵을 넣었는데 색인이 안 될 때에서 따로 다뤘습니다.

정리

색인 누락은 사유별로 성격이 다릅니다. 크롤링됨은 콘텐츠, 발견됨은 자원, 중복은 구조 문제입니다. 화면에 뜬 사유를 먼저 읽고 처방을 고르세요. 사유를 안 보고 색인 요청만 반복하는 게 가장 흔한 시간 낭비입니다.

마지막으로 하나만 꼽자면, 서치콘솔 페이지 보고서 하단의 사유 목록에서 가장 페이지가 많은 사유 이름 하나를 적어 두세요. 그게 이번 달에 손댈 곳입니다.

• 구글 서치콘솔 도움말, 페이지 색인 생성 보고서
• 크롤링 통계 보고서 (구글 도움말)
• 구글 검색 센터, 중복 URL 통합·표준 URL 지정