검색엔진·AI 로봇에게 사이트의 어느 부분을 수집해도 되는지 알려 주는 안내 파일입니다. 도메인 맨 위(https://내도메인/robots.txt)에 두며, 관리자·장바구니처럼 검색에 나올 필요 없는 경로를 막고 사이트맵 위치를 알려 줄 때 씁니다.
AI 답변(ChatGPT 검색, Perplexity 등)에 내 사이트가 소개되길 원한다면 AI 검색용 로봇(OAI-SearchBot, Claude-SearchBot, PerplexityBot 등)은 허용하는 것이 좋습니다. 콘텐츠가 AI 학습에 쓰이는 것만 원하지 않는다면 ‘AI 학습만 막기’를 고르세요. 학습용 로봇(GPTBot, ClaudeBot, Google-Extended 등)을 막아도 구글·네이버 검색 노출에는 영향이 없습니다.
네이버는 Yeti, 다음은 Daumoa, 구글은 Googlebot, 빙은 Bingbot이라는 이름을 씁니다. 이 로봇들을 막으면 해당 검색 결과에서 사이트가 빠질 수 있으니 주의하세요.
구글이 공개한 규칙처럼 해당 로봇 이름의 규칙을 먼저 찾고, 없으면 ‘*’ 규칙을 씁니다. 여러 규칙이 맞으면 가장 길게 일치하는 규칙을, 길이가 같으면 Allow를 따릅니다. *와 $ 표시도 지원합니다.
이 도구 다음에 함께 쓰면 좋은 도구예요