robots.txt 응답 코드와 형식
- 확인 방법
curl -I https://<도메인>/robots.txt응답이 200이고 Content-Type이 text/plain인지 확인합니다. 리디렉션이 5회 이내인지, 배포·재시작 중에 5xx가 나지 않는지도 함께 봅니다.
- 왜 보나요
- 네이버 서치어드바이저는 robots.txt 응답이 4xx면 모두 허용, 5xx면 모두 불허로 해석하고, HTML로 반환되면 규칙이 없는 것으로 해석될 수 있다고 안내합니다. Google은 AI 기능 권장 사항으로 robots.txt와 CDN·호스팅에서 크롤링을 허용할 것을 듭니다.