크롤러 지연 20초

크롤러 지연 20초

 

요청 사이에 20초의 지연 시간을 두고 크롤링하도록 지시되는 Bing 크롤러(bingbot)를 제외한 모든 검색 엔진 크롤러에 대해 /guestbook, /m/guestbook, /manage, /owner, /admin, /search 및 /m/search와 같은 특정 경로의 크롤링 및 인덱싱을 허용하지 않으려는 경우 제공되는 robots.txt 콘텐츠는 적절해 보입니다.

 

이러한 동작이 웹사이트의 의도된 동작인 경우 수정할 필요가 없습니다. 그러나 특정 경로에 대한 액세스를 허용하거나 빙봇의 크롤링 지연을 조정하는 등 변경이 필요한 경우 그에 따라 robots.txt 파일을 업데이트할 수 있습니다.

 

검색 엔진 크롤러가 제대로 인식할 수 있도록 업데이트된 robots.txt 파일을 웹사이트의 루트에 배치하는 것을 잊지 마세요. 라이브 웹사이트에 배포하기 전에 항상 robots.txt 파일을 확인하고 테스트하여 예상대로 작동하는지 확인하세요.