robots.txt 생성기란?

검색엔진 크롤러가 우리 사이트의 어떤 부분을 읽어도 되고 어떤 부분은 읽지 말아야 하는지 알려 주는 robots.txt 파일을 클릭 몇 번으로 만들어 주는 도구입니다. 구글·네이버·빙·야후·바이두 같은 검색봇별로 허용/차단을 고르고, 크롤링 간격, 사이트맵 주소, 색인에서 빼고 싶은 폴더를 지정하면 규칙 텍스트가 바로 생성됩니다.

robots.txt는 사이트 최상위 주소 바로 아래(예: example.com/robots.txt)에 두는 작은 텍스트 파일입니다. 크롤러는 사이트를 훑기 전에 이 파일을 먼저 확인하고 지시를 따릅니다. 관리자 페이지나 임시 폴더처럼 검색 결과에 나오면 곤란한 경로를 막을 때, 그리고 사이트맵 위치를 알려 색인을 도울 때 씁니다.

사용 방법

1. 전체 기본값(모든 봇 허용/차단)을 먼저 고릅니다.
2. 구글·네이버 등 검색봇별로 허용 또는 차단을 개별 지정합니다.
3. 필요하면 크롤 지연 시간과 사이트맵 주소를 입력합니다.
4. 색인에서 빼고 싶은 폴더 경로를 쉼표로 나눠 적고 생성 버튼을 누릅니다.
5. 나온 텍스트를 복사해 robots.txt 파일로 저장한 뒤 사이트 최상위에 올립니다.

주요 지시어 뜻

자주 묻는 질문

네이버 봇도 막거나 허용할 수 있나요?

네. 네이버 검색 크롤러는 naverbot과 yeti라는 이름을 씁니다. 이 생성기에서 네이버 항목을 허용/차단으로 고르면 두 이름에 같은 규칙이 적용됩니다. 국내 검색 유입이 중요하다면 네이버는 허용으로 두는 편이 일반적입니다.

robots.txt로 막으면 검색 결과에서 완전히 사라지나요?

반드시 그렇지는 않습니다. robots.txt는 크롤러에게 '읽지 말라'고 요청하는 것일 뿐, 강제 차단 장치는 아닙니다. 검색 결과에서 확실히 빼려면 페이지에 noindex 태그를 쓰거나 서버 접근 제어를 함께 걸어야 합니다. 민감한 경로는 robots.txt에 적는 것 자체가 위치를 드러내는 셈이라 주의해야 합니다.

사이트맵 주소는 꼭 넣어야 하나요?

필수는 아니지만 넣어 두면 크롤러가 페이지 목록을 빠르게 파악해 색인에 도움이 됩니다. 주소는 example.com/sitemap.xml처럼 전체 경로로 적습니다. 서버 관련 설정은 .htaccess 리다이렉트 생성기도 함께 참고하세요.

안내: robots.txt는 사이트 최상위 경로에 위치해야 크롤러가 인식합니다. · 마지막 검토: 2026년 7월 11일.