호스트 서버 연결 실패 원인 해결 방법은?

크롤링 통계 호스트 상태에 '지난주에 호스트 문제 있었음'이 지속되고 있다. 상세 정보를 보면 서버 연결에 있어 '지난주 실패율이 높았습니다'라고 한다. 호스트 문제로 서버 연결에 실패율이 높게 나오는 이유는 무엇일까? 원인과 해결 방법을 서치 콘솔을 통하여 알아본다

 

호스트 상태는 초록색이어야 하며, 빨간색이면 클릭하여 robot.txt 가용성, DNS 변환 및 호스트 연결에 대한 세부 정보를 확인한다.

 

서버 연결은 구글이 사이트를 크롤링할 때 연결 오류율이 당일 기준값을 초과하는 경우에 문제로 간주하여 실패율을 보여 주는 것이라고 하고 있다.

서버가 응답하지 않거나, 크롤링 중에 Url에 대한 전체 응답이 전송되지 않으면 그래프에 표시된다는 것이다.

 

이 오류를 해결하기 위해서는 서버 오류를 참조하라고 하고 있다. 서버 오류란 Url에 연결할 수 없거나 요청 시간이 초과되었거나 사이트가 사용 중이라는 의미로서 구글 봇 요청이 강제 취소된 것이라고 한다.

 

이 서버 오류 문제에 대하여 크로링통계 보고서에서 사이트 호스트 상태 판정을 검토 사이트 가용성 문제가 확인 수정 가능한 것 인지 판단을 하라고 한다.

 

먼저 서버 연결 테스트를 해본다.

 

Url검사도구를 활용하여 색인 생성 범위 보고서에서 신고된 서버 오류가 재현 가능한지 확인할 수 있고, 크롤링 통계보고서에서 호스트 가용성을 확인할 수 있다.

 

 서버 연결 오류 수정하는 방법이다.

 

첫째, 동적 페이지에 요청에 대한 과도한 페이지 로드를 줄인다. 응답 시간이 너무 길어져 시간 초과 문제 발생, 서비스에서 과부하를 반환하여 구글 봇에 사이트 크로 롤링 속도를 늦추도록 요청하는 경우이다.

 

매개변수 목록을 짧게 유지하고 가능한 한 적게 사용하는 것이 좋다.

 

둘째, 호스팅 서버가 다운 또는 오버 로드가 되거나 잘못 구성되지 않도록 한다.

연결 시간 초과 응답 문제가 지속되면 웹 호스팅 업체에 문의하고 사이트 트래픽 처리 능력을 높이는 것을 고려하라

 

셋째, 실수로 구글을 차단하지 않았는지 확인을 한다.

웹사이트의 어떤 인프라가 구글 봇을 차단하는지 확인하고 차단을 해제하여야 한다.

방화벽을 직접 제어할 수 없다면 호스팅 업체에 문의하라고 한다.

 

넷째, 검색엔진 사이트의 크롤링과 색인 생성을 현명하게 제어한다.

방화벽이 구글 크롤링을 완전하게 차단하는 목적이 아닌 크롤링되고 색인 생성 방식을 제거하는 경우이다.

4가지 경우를 확인하라고 하고 있다.

 

[참조] https://support.google.com/webmasters/answer/7440203#fixing_server_errors&zippy=%2C%EC%84%9C%EB%B2%84-%EC%98%A4%EB%A5%98

 

풀 뜯는 양5마리가 평화롭다

 

나의 경우에 콘텐츠에 구글 봇이 액세스 하지 못한 호스트 문제는 DNS나 robot.txt 가져오기 문제가 아니라 서버 연결의 문제로서 연결 실패율이 높은 것이었다. 하루빨리 개선되어 빨간 표시에서 초록색 표시로 변경되기를 바라는 마음으로 서치 콘솔 도움말을 정리해 보았으나 확답은 얻지 못하겠다. 이유를 현상태로는 알지 못하겠다는 것이다.