"보안 강화한다고 다 막아놨더니…"

작년에 한 카페 사장님이 그러셨어요. 홈페이지에 이상한 트래픽이 들어와서 "보안 업체에 부탁해 봇은 다 막아달라" 했더니, AI 봇까지 막혔어요.

ChatGPT에 그 카페 이름 쳐도 안 나와요. 당연하죠. AI가 우리 홈페이지를 못 봤거든요.

한 줄로 확인할 수 있어요

브라우저 주소창에 입력하세요:

https://우리홈페이지.com/robots.txt

여기에 다음 줄들이 있으면 → AI 봇 차단됨:

User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /

또는 Disallow: / 가 User-agent: * 아래에 있으면 → 전체 차단 (가장 위험).

왜 막혀 있을 수도 있나요

세 가지 경우 중 하나일 거예요:

1. 호스팅 업체가 기본값으로 막아둠 (특히 가비아·카페24)
2. 워드프레스 플러그인 (예: All in One SEO) 에서 AI 봇 차단 옵션을 켜둠
3. 개발자가 "트래픽 줄이려고" 봇을 차단

세 번째가 가장 흔해요. 의도는 좋은데 효과는 정반대였던 거죠.

5분 안에 푸는 법

워드프레스 사용 중이면

플러그인 설정에서 "Crawl Settings" 또는 "Bots" 메뉴 → GPTBot·ClaudeBot·PerplexityBot 허용 토글.

플러그인 안 쓰시면 SFTP나 호스팅 관리자 페이지에서 robots.txt 파일 열고 이렇게 바꾸세요:

# AI 봇 허용 (이 부분이 핵심!)
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /
일반 봇도 허용
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /wp-admin/
Sitemap: https://우리홈페이지.com/sitemap.xml

복사해서 그대로 쓰셔도 됩니다.

Next.js·React 같은 직접 만든 홈페이지면

개발자한테 robots.txt를 위 내용으로 바꿔달라고 하면 5분이에요.

확인하는 법

작업 후 다시 https://우리홈페이지.com/robots.txt 들어가서 위 내용이 보이면 끝.

24시간 안에 ChatGPT가 우리 홈페이지를 다시 읽어갑니다. 라이트하우즈의 "기술 인덱싱" 점수가 자동으로 오를 거예요.

보너스 — llms.txt도 만들면 좋아요

루트에 /llms.txt 파일을 두면 AI한테 사이트 안내를 더 명확히 줄 수 있어요. 예시:

# 우리브랜드
> 한 줄 설명: 한국 친환경 화장품 브랜드. 비건 인증 + EWG 그린 등급.
핵심 페이지
홈: https://example.com
제품: https://example.com/products
FAQ: https://example.com/faq
About: https://example.com/about

15분이면 끝나는 작업이고, 효과는 1주일 안에 옵니다.

지금 우리 robots.txt 한 번 확인해보세요. 무료 진단에서 "기술 인덱싱" 점수가 낮으면 이게 원인일 가능성 70% 이상이에요.