회원가입 없이 바로 쓰는 무료 마케팅 도구 · 파일은 내 PC에서만 처리돼요공지사항자주하는질문고객센터파트너 신청
홈 › 마케팅 도구 › robots.txt 생성기

robots.txt 생성기 (AI 크롤러 설정)

검색엔진과 AI 크롤러를 골라 허용·차단하는 robots.txt를 만드세요.

검색엔진
AI 검색·답변 (막으면 AI 답변에 덜 나와요)
AI 학습용 수집 (막아도 검색 노출에는 영향 없음)
이 도구가 다른 이유
· 네이버 Yeti·다음까지 국내 검색 로봇 포함
· ChatGPT·Claude·Perplexity·Gemini AI 크롤러를 검색용·학습용으로 나눠 설정
· 만든 규칙으로 주소가 막히는지 바로 테스트
robots.txt
주소 테스트
완성한 파일은 도메인 맨 위(https://내도메인/robots.txt)에 올려야 해요. robots.txt는 로봇에게 보내는 안내라 지키지 않는 로봇도 있고, 이미 검색에 나온 페이지를 지우려면 noindex나 검색엔진 도구(서치어드바이저·서치 콘솔)를 써야 해요.

자주 묻는 질문

robots.txt는 무엇인가요?

검색엔진·AI 로봇에게 사이트의 어느 부분을 수집해도 되는지 알려 주는 안내 파일입니다. 도메인 맨 위(https://내도메인/robots.txt)에 두며, 관리자·장바구니처럼 검색에 나올 필요 없는 경로를 막고 사이트맵 위치를 알려 줄 때 씁니다.

AI 크롤러를 막아야 하나요?

AI 답변(ChatGPT 검색, Perplexity 등)에 내 사이트가 소개되길 원한다면 AI 검색용 로봇(OAI-SearchBot, Claude-SearchBot, PerplexityBot 등)은 허용하는 것이 좋습니다. 콘텐츠가 AI 학습에 쓰이는 것만 원하지 않는다면 ‘AI 학습만 막기’를 고르세요. 학습용 로봇(GPTBot, ClaudeBot, Google-Extended 등)을 막아도 구글·네이버 검색 노출에는 영향이 없습니다.

네이버 검색 로봇 이름은 무엇인가요?

네이버는 Yeti, 다음은 Daumoa, 구글은 Googlebot, 빙은 Bingbot이라는 이름을 씁니다. 이 로봇들을 막으면 해당 검색 결과에서 사이트가 빠질 수 있으니 주의하세요.

주소 테스트는 어떻게 판단하나요?

구글이 공개한 규칙처럼 해당 로봇 이름의 규칙을 먼저 찾고, 없으면 ‘*’ 규칙을 씁니다. 여러 규칙이 맞으면 가장 길게 일치하는 규칙을, 길이가 같으면 Allow를 따릅니다. *와 $ 표시도 지원합니다.

다음 할 일

이 도구 다음에 함께 쓰면 좋은 도구예요