AI 크롤러를 막아야 할까요, 사업 형태에 따라 다릅니다
GPTBot 같은 AI 로봇을 차단하는 사이트가 늘고 있습니다. 언론사에는 맞는 선택이 소상공인에게는 손해일 수 있습니다. 사업 형태별로 판단 기준을 정리했습니다.
뉴스 기사를 읽다 보면 "OO사, AI 크롤러 차단"이라는 제목이 자주 보입니다. 그걸 보고 "우리도 막아야 하나요?"라는 질문이 옵니다. 답은 사업 형태에 따라 정반대입니다. AI 크롤러란 답변에 쓸 자료를 모으려고 웹 문서를 읽어 가는 로봇 프로그램을 말합니다.
막는 게 맞는 쪽은 어디인가요
콘텐츠 자체가 상품인 사업입니다. 언론사, 유료 강의, 데이터 판매업. 이들에게 콘텐츠는 파는 물건이라, AI 가 요약해서 무료로 나눠주면 매출이 직접 깎입니다. 기사를 AI 가 다 요약해 주면 구독할 이유가 없어지니까요. 이들이 차단하거나 AI 회사와 사용료 계약을 맺는 건 합리적인 장사입니다.
기준을 하나 더 얹으면 판단이 쉬워집니다. 그 글을 읽으려고 돈을 내는 사람이 있는가. 있으면 그 글은 상품이고, 없으면 그 글은 안내문입니다.
여는 게 맞는 쪽은 어디인가요
콘텐츠가 손님을 데려오는 수단인 사업입니다. 시공, 병원, 학원, 음식점, 그리고 거의 모든 소상공인. 이들의 글은 파는 물건이 아니라 가게 앞 간판입니다. AI 가 그 글을 읽고 답변에서 상호를 언급해 주면, 그게 바로 챗GPT 답변에 이름이 나오게 만드는 경로 그 자체입니다.
이 경우 차단은 "이 가게를 손님에게 소개하지 마세요"라고 말하는 것과 같습니다. 언론사 뉴스를 보고 따라 막았다가, AI 답변에서 경쟁사만 나오는 결과를 사는 겁니다.
사업 형태별로 판단이 어떻게 갈립니까
| 사업 형태 | 콘텐츠의 역할 | 기본 판단 |
|---|---|---|
| 언론사, 유료 강의, 데이터 판매 | 파는 물건 자체 | 막거나 사용료 계약을 맺습니다 |
| 시공, 병원, 학원, 음식점 | 손님이 찾아오는 길 | 엽니다 |
| 광고 수익형 블로그·매체 | 절반은 상품, 절반은 통로 | 로봇별로 나눕니다 |
| 회원 전용 자료가 섞인 사이트 | 공개분과 유료분이 공존 | 유료 구역만 따로 막습니다 |
표의 판단은 출발점이고, 같은 업종이라도 매출이 어디서 나오는지에 따라 달라집니다. 병원이라도 유료 강의를 파는 곳이라면 그 구역만은 첫 줄에 해당합니다.
지금 막고 있는지 어떻게 확인하나요
문제는 스스로 정한 적이 없는데 막혀 있는 경우입니다. 일부 호스팅, 보안 서비스(방화벽), 워드프레스 플러그인이 AI 로봇을 기본 차단해 두는 일이 있습니다. 주소 뒤에 /robots.txt 를 붙여 GPTBot 이 Disallow 인지 보고, 서버 방문 기록에 AI 로봇이 오는지도 확인해 보세요. 글은 열심히 쓰는데 문이 잠겨 있었던 사이트가 실제로 종종 나옵니다.
| 확인 순서 | 보는 곳 | 막혀 있다는 신호 |
|---|---|---|
| 1. 파일 존재 확인 | 주소 뒤 /robots.txt | 파일이 열리고 지시가 적혀 있음 |
| 2. 로봇 이름 확인 | User-agent 줄 | GPTBot 등 이름 아래 Disallow: / |
| 3. 전체 차단 확인 | User-agent: * 줄 | Disallow: / 한 줄이 모두에게 적용됨 |
| 4. 실제 방문 확인 | 서버 접속 기록, 크롤링 통계 보고서 | 특정 로봇의 방문이 아예 없음 |
4가지 중 3번이 가장 위험합니다. 개발 기간에 걸어 둔 전체 차단이 그대로 남아 있으면 AI 로봇과 검색 로봇이 함께 막히고, 그 사이에 쌓아 둔 글은 어느 쪽에도 닿지 못합니다. 이 경우는 AI 판단 이전의 사고라 먼저 풀어야 합니다.
판단이 애매한 중간 지대는 어떻게 하나요
블로그로 광고 수익을 얻는 경우처럼 콘텐츠가 절반쯤 상품인 사업도 있습니다. 이때는 로봇별로 나누는 절충이 가능합니다. 답변에 출처 링크를 잘 붙여서 방문을 돌려주는 로봇은 열고, 가져가기만 하는 학습 전용 로봇은 막는 식으로요. robots.txt 는 로봇 이름마다 다른 지시를 적을 수 있으니 전부 아니면 전무로 정할 필요가 없습니다.
로봇 이름은 어떻게 나눠 적나요
robots.txt 는 User-agent 로 로봇 이름을 적고 그 아래에 지시를 붙이는 구조입니다. 이름을 적은 묶음이 있으면 그 로봇은 자기 묶음만 읽고, 자기 이름이 없으면 전체 묶음을 따릅니다. 그래서 순서보다 이름 표기가 중요합니다.
- 이름은 각 회사가 공개한 표기를 그대로 옮깁니다. 비슷하게 적으면 적용되지 않습니다
- 한 로봇 이름을 두 묶음에 나눠 적으면 어느 쪽이 적용될지 헷갈립니다. 한 묶음으로 모읍니다
- 전체 차단 묶음과 개별 허용 묶음을 함께 두면, 이름이 적힌 로봇은 개별 묶음을 따릅니다
- 고친 뒤에는 파일을 다시 열어 저장된 내용을 눈으로 확인합니다
정하고 나면 무엇을 함께 챙깁니까
막기로 정했다면 검색 로봇까지 함께 막히지 않았는지 확인하는 일이 먼저입니다. 차단은 크롤링을 막는 설정이지 검색 결과에서 지우는 설정이 아니라는 점도 함께 알아 두어야 하고요. 열기로 정했다면 문을 여는 것으로 끝나지 않습니다. 읽어 갈 만한 형태로 정리돼 있어야 인용이 붙습니다. 정의 문장, 조건별 비교표, 절차 목록이 그 형태입니다.
robots.txt 로 해결되지 않는 것은 무엇인가요
robots.txt 는 규칙을 지키는 로봇에게만 통하는 안내문입니다. 무시하고 들어오는 수집기까지 막는 힘은 없고, 그 일은 서버나 방화벽이 맡습니다. 이미 가져간 자료를 되돌리는 수단 또한 아닙니다.
한 가지 더. 문을 막아도 다른 사이트에 인용된 우리 이야기는 그대로 남습니다. AI 답변에 무엇이 실릴지는 우리 사이트 설정만으로 정해지지 않고, 그 점은 차단으로도 개방으로도 완전히 통제되지 않습니다.
기준을 한 문장으로 줄이면 이렇게 됩니다. AI 가 내 글을 요약하면 손님을 잃는 사업인가, 손님을 얻는 사업인가. 잃으면 막고, 얻으면 여는 겁니다.
사장님들께 가장 자주 받는 질문부터 다룹니다. 답이 갈리는 자리는 추측으로 넘기지 않고, 직접 확인한 만큼만 적습니다.