색인 생성요청 제출 중 문제 발생 '나중에 다시 시도해 주세요'

지난주부터 현재까지 티스토리에 글을 올리고 구글 서치콘솔을 통하여 색인 생성 요청을 할 때마다 '색인 생성 요청을 제출하는 중에 문제가 발생했습니다. 나중에 다시 시도해 주세요'라는 안내 팝업창이 생성되고 있을 뿐 색인생성 요청이 안되고 있다.

 

안내대로 몇일을 기다린 후 색인을 다시 시도해보았지만 현재까지도 똑같은 문제가 발생되므로 이유가 무엇 때문인지 궁금해졌다. 색인생성 요청 제출하는 과정에서 발생되는 문제 해결방법을 모색하기 위하여 서치콘솔 고객센터를 방문하여 관련 내용을 정리하였다.

 

'색인 생성 요청을 제출하는 중에 문제가 발생 했습니다. 나중에 다시 시도해주세요'

 

반응형

 

크롤링 통계 보고서를 열어보았더니 호스트 상태가 '지난주 호스트 문제 있었음'으로 되어 있음을 알 수 있었다. 호스트 상태에는 지난 90일 동안의 일반적인 가용성 상태가 요약되어 표시되며 지난 90일 동안  또는 지난주에 사이트에 영향을 미치는 가용성 문제가 발생하면 경고가 표시된다고 안내하고 있다.

 

지난주 호스트에 문제 있었음이란 구글에서 콘텐츠에 액세스 하지 못한 문제가 있는 것이다. 호스트 문제 해결점을 찾기 위해서는 robots.txt 가져오기, DNS확인, 서버 연결 문제를 살펴 모두 해결되었는지 확인을 하라고 주문하고 있다.

나의 경우 호스트상태를 확인해 보니 2023년도는 2월 중반부터 지속적으로 서버 연결에 문제가 있는 것으로 나타났음을 알 수 있었다.

 

서버 연결문제는 서버가 응답하지 않거나 크롤링 중에 URL에 대한 전체 응답이 전송되지 않으면 그래프에 표시되는 것이며, 서버오류는 가용성 경고를 발생시키므로 가능한 한 수정하라고 하는 것이다.

 

썸내일 차트(그래프)에서 오류가 언제 발생했는지 정확한 시간을 체크한 후 이러한 문제가 일시적인 문제 인지, 아니면 사이트에서 더 많은 가용성 오류가 발생했는지 살펴서 구글에서 내 사이트를 너무 자주 크롤링하는 경우 크롤링속도를 낮춰달라고 요청할 수 있으며, 중대한 가용성 문제가 표시되는 경우 크롤링 급증에 관해서 알아볼 것을 안내하고 있다.

 

크롤링 속도 낮추기

크롤링 급증

 

나의 경우는 구글에서 내 사이트를 너무 자주 클로링하지도 크롤링이 급증한 바도 없어 보이므로 이에 대해서는 문제가 없어 보인다.

 

문제해결을 위해서는 서버 오류에 대해서 명확한 개념 숙지가 필요해 보인다.

 

 

서버 오류

 

서버 오류는 구글 봇이 URL에 액세스 할 수 없거나 요청시간이 초과되었거나 사이트가 사용 중이라는 의미이며 이에 따라 구글봇의 요청이 강제로 취소된 것이다.

크롤링 통계보고서에서 사이트에 관한 호스트상태 판정을 검토하여 구글이 보고하고 있는 사이트 가용성문제가 확인 및 수정 가능한 것인지 확인하라고 요구하고 있다.

 

1. 서버 연결 테스트

URL검사 도구를 사용하여 페이지 색인 생성 보고서에서 신고된 서버오류가 재현 가능한지 확인을 한다.

서버오류는 일시적일 수 있으므로 서버 오류로 인하여 구글이 크롤링이 실패했는데 실시간 테스트는 성공할 수도 있다.

 

2. 서버연결 오류 수정

⑴ 크롤링 통계 보고서에서 최근 호스트 가용성을 확인하여 사이트에 지속적이거나 대 규모적인 문제가 있는지 확인을 한다.

 

⑵ 동적페이지 요청에 대한 과도한 페이지 로드를 줄인다. 여러 URL에 동일한 콘텐츠를 게재하는 사이트는 콘텐츠를 동적으로 게재하는 것으로 간주한다.

콘텐츠 동적 게재의 문제는 응답시간이 너무 길어져 시간초과 문제 발생하거나, 서버 과부하 상태를 반환하여 구글봇에 사이트 크롤링 속도를 줄이도록 요청하는 경우가 발생된다. 일반적으로 매개변수 목록을 짧게 유지하고 가능한 적게 사용하는 것이 좋다고 하고 있다.

 

⑶ 호스팅 서버가 다운 또는 오버로드되거나 잘못 구성되지 않도록 한다. 연결시간 초과 또는 응답문제가 지속되면 웹 호스팅업체에 문의하고 사이트 트래픽처리 능력을 높이는 것을 고려하라고 하고 있다.

 

⑷ 실수로 구글을 차단하지 않았는지 확인을 한다. DNS구성문제, 잘못구성된 방화벽, DOS방지시스템이나 콘텐츠관리시스템구성등 시스템 차원의 문제로 구글이 차단될 수 있으며, 방지시스템은 안정적인 호스팅에 중요한 부분으로 주로 비정상적인 높은 수준의 서버 요청을 자동으로 차단하도록 설정되는데 구글 봇은 일반 사용자보다 서버요청을 더 많이 하는 경향이 있어서 이러한 방지 시스템이 트리거 되어 구글봇을 차단하고, 웹사이트를 크롤링하지 못하게 할 수 있다고 한다.

 

이문제를 해결하려면 웹사이트의 어떤 인프라가 구글봇을 차단하는지 확인하고 차단을 해제해야 한다고 하고 있다. 방화벽을 직접 제어할 수 없다면 호스팅 업체에 문의하라고 하고 있다.

 

⑸ 검색엔진 사이트의 크롤링과 색인생성을 현명하게 제어한다. 일부 웹마스터가 방화벽을 사용하여 의도적으로 구글봇이 웹사이트에 도달하지 못하게 한다고 하며 이런 경우 구글봇을 완전히 차단하려는 목적이 아니라 사이트가 크롤링되고 색인 생성되는 방식을 제어하기 위한 경우가 많으므로 다음을 확인하라고 한다.

• 구글봇의 콘텐츠 크롤링을 제어하려면 robots.txt 파일을 사용한다.
• 구글봇 사용자 에이전트를 사용하는 해로운 크롤러일가 염려되는 경우 크롤러가 구글봇이 맞는지 확인한다
• 구글봇이 사이트를 클로링하는 빈도를 변경하고 싶으면 구글 봇의 클로링 속도 변경을 요청한다. 호스팅업체는 IP주소의 소유권을 확인하여 기능을 사용 할 수 있다.

참조: 서버오류 문제해결[https://support.google.com/webmasters/answer/7440203?sjid=17074819810092492278-AP#fixing_server_errors&zippy=%2C%EC%84%9C%EB%B2%84-%EC%98%A4%EB%A5%98]

 

 

결론적으로 색인생성 요청 오류문제 발생에 대한 서버오류 해결방법은 사용자가 할 수 있는 조치사항은 거의 없는 것으로 판단이 된다. 서치콘솔에서 안내하고 있는 위 내용들을 종합해 볼 때 색인생성 요청 오류가 크롤링속도와 맞물려 있는 것이 아닌가 추정하고 현재 내 사이트에 대한 크롤링 속도를 현재보다 늦춰지도록 하고 결과가 해결되는지 기다려 보겠다. 글쓰기도 어렵지만 이러한 문제를 해결한 능력이 없는 일반인으로서는 스트레스만 쌓인다.