[해결 방법] 페이지 색인을 생성할 수 없음: robots.txt에 의해 차단됨

블로그/구글 SEO

아라비안왕자 2022. 12. 30. 15:55

티스토리 포스팅을 마친 후 구글 서치 콘솔을 이용해서 '색인 요청'을 진행하게 됩니다. 어느 날 색인 요청을 했는데, '페이지 색인을 생성할 수 없음: robots.txt에 의해 차단됨'이라는 메시지가 나올때가 있는데요.

그러면서 색인 생성 거절이 되는 문제를 해결하는 방법에 대해 알아보겠습니다.

오류 : 페이지 색인을 생성할 수 없음: robots.txt에 의해 차단됨

오류 메시지가 뜨면서 아래와 같은 화면을 확인할 수 있습니다. 크롤링 허부 여부 robots.txt에 의해 차단됨. 색인 생성 여부 또한 차단된 모습을 확인할 수 있습니다.

왜 차단이 되었을까요?

문제는 아주 간단했습니다.

구글 서치 콘솔에서 색인 요청을 할 때는 포스팅 주소를 복사해서 붙여 넣어야 하는데요. 문제는 티스토리 관리자 페이지에서 주소를 그대로 복사해서 넣었던 것이었습니다.

주소 자체가 '/manage/staticstice/entry'라는 부분이 들어가 있습니다. 이 부분은 관리자 전용이라 다른 사람이 접근을 하려고 하면 차단됩니다.

그래서 봇에 의해 크롤링과 색인 자체가 거부됐던 것입니다.

티스토리 포스팅 주소를 일반 주소로 바꿔서, 구글 서치 콘솔에 '색인 요청' 해보시면 정상적으로 색인 요청이 진행되는 모습을 확인할 수 있습니다.

중간에 '/manage/staticstice/entry' 부분이 빠진 게 보이시죠?

참 간단한 문제였는데, 좀 고민했네요 ㅎ

심채경 천문학박사 알쓸인잡 뉴페이스 프로필 나무위키는?

알쓸인잡을 보시는 분들이 많으실 텐데요. 심채경 천문학박사라는 이름을 가지고 패널로 참여하신 미모의 여인이 눈에 띕니다. 말도 조곤조곤 잘하시고 상당한 미모를 소유하고 있는 여성입니

arabiannight.tistory.com

전참시 야놀자 언니 최윤영

전참시 야놀자 언니로 최윤영이 핫합니다. 전지적 참견시점 엄현경 편에 베스트 프랜드들과 술을 마시는 엄현경 라이프가 공개됐는데요. 야나두를 이야기한다는 게 야놀자를 이야기해서 엄청

arabiannight.tistory.com

카카오톡 계정 관리 (계정 찾기 및 비밀번호 변경)

카카오톡을 쓰다 보면 내가 어떤 계정을 사용했는지 까먹고 비밀번호도 잊어버리는 경우가 생기는데요. 카카오톡 계정 관리를 통해 카카오톡 계정 찾기 및 비밀번호 변경을 하는 방법에 대해

arabiannight.tistory.com