'4xx 문제로 차단됨' 이유와 조치 방법

구글 서치콘솔 색인 생성에서 '4xx 문제로 차단됨' 항목에 'https://xxxx.abcd.com/reaction' 오류 보고가 나타나는 이유와 조치 방법을 알아보겠다.

 

블로그 운영은 생각보다 쉽지 않다. 글을 열심히 쓰는 것 못지않게 중요한 것은 관리이다. 지난 9월부터 유입에 변화 징조가 보이더니 요즘은 콘텐츠 확산이 답보상태에 있거나 많이 줄었다. 구글 서치콘솔 페이지 색인 보고서에는 오류들이 쌓여만가고 해서 흥미를 잃지 않기 위해 노력 중이다.

 

'4xx 문제로 차단됨' 이유와 조치 방법

 

 

 

1. 4xx 문제란?

4xx 오류는 클라이언트 요청의 문제로 인해 서버가 요청을 처리하지 못했음을 나타낸다고 하고 있다. 다음은 대표적인 4xx 오류의 유형이다.

1. 404 Not Found: URL이 존재하지 않음.
2. 403 Forbidden: 접근 권한이 없음.
3. 401 Unauthorized: 인증이 필요함.
4. 410 Gone: 페이지가 영구적으로 삭제됨.

주로 404 나 403 오류가 보고 되지만 언제 부터인가 4xx오류 보고가 생겼다.

 

2. 'https://xxxx.abcd.com/reaction' 의 4xx원인 확인

이 오류 4xx 보고서에 대한 원인은 무엇인지 확인을 위해서는 다음과 같은 과정으로 접근을 할 수 있다.

 

가. 오류 상세 정보 확인

Search Console > 색인 > 페이지 색인 생성 항목에서 해당 URL을 클릭하여 세부 정보를 확인한다.

 

☞ 어떤 4xx 상태인지 정확히 확인(예: 404, 403, 410 등)을 한다.

 

나. URL 직접 점검

브라우저에서 해당 URL을 직접 입력하여 페이지를 확인해 본다.

 

☞ 정상적으로 로드되는지, 오류 메시지가 나타나는지 점검하기 위함이다.

 

다. 서버 로그 확인

서버 로그를 확인하여 Googlebot이 해당 URL에 접근했을 때 어떤 상태 코드가 반환되었는지 확인을 한다.

 

3. 조치 방법

 

가. 404 오류(찾을 수 없음)

 

404오류 원인은 해당 URL이 삭제되었거나 존재하지 않음을 의미한다.

조치

1. URL이 필요하다면 복구: URL을 다시 생성하고 관련 콘텐츠를 추가한다.
2. URL이 불필요하다면 삭제 상태 유지: Search Console의 URL 제거(삭제) 도구에서 임시 제거 요청을 한다.
3. 301 리디렉션 설정: 삭제된 URL을 유사한 페이지로 리디렉션 설정하면 Google이 올바른 대체 페이지를 색인할 수 있다.

나의 경우 삭제 요청을 몇 번 했지만 아직 해결이 안 되고 있다.

 

나. 403 오류(접근 금지)

430 오류 원인은 Googlebot 또는 사용자에게 접근 권한이 제한됨을 의미한다.

조치

1. 서버 설정 확인: htaccess 파일이나 서버 방화벽 설정에서 Googlebot의 접근을 허용한다.
2. 크롤링 권한 허용: Googlebot은 User-Agent인 Googlebot으로 요청을 보내는데 이를 허용하도록 설정을 변경한다.

봇이 관리자 페이지까지 접근하여 크롤링하는 경우가 있다. 나는 접근 금지시켰으므로 이오류는 그대로 방치하고 있다.

 

다. 410 오류(영구 삭제됨)

410 오류는 URL이 영구적으로 삭제되었음을 의미한다.

조치

1. 콘텐츠 복구가 필요 없다면 그대로 두어도 괜찮다.
2. 하지만 URL을 잘못 삭제했다면 복원 후 Google에 색인 요청을 다시 제출하여야 한다.

 

라. 기타 4xx 오류

기타 4xx 오류 원인은 401 Unauthorized, 405 Method Not Allowed 등 특정 설정 문제에 기인한다.

조치

1. 401 Unauthorized: 인증 요구를 제거하거나, Googlebot의 인증을 허용한다.
2. 405 Method Not Allowed: 서버가 특정 HTTP 메서드(예: POST)를 허용하지 않는 것이다. ☞ 이는 HTTP 요청 방식 문제를 해결해야 한다.

 

4. 왜 이 URL이 4xx 문제로 보고될까?

특히 'https://xxxx.abcd.com/reactio' URL은 시스템적으로 생성된 페이지(예: 댓글, 리액션 등) 일 가능성이 높다. 다음의 문제를 점검해 본다.

 

1. 불필요한 URL 여부

이 URL이 사이트에 중요한 콘텐츠를 제공하지 않는다면, 검색엔진이 색인하지 않도록 설정해도 괜찮다.

 

2. robots.txt 확인

해당 URL이 robots.txt 파일로 차단되지 않았는지 점검한다.

 

3. Sitemap에서 제거

Sitemap 파일에 이 URL이 포함되어 있으면 삭제한다.

 

5. 조치를 하지 않으면 발생할 문제

 

4xx URL이 많아지면 Google이 사이트를 비효율적으로 크롤링할 가능성이 있다. 특히 잘못된 URL로 인해 크롤링 예산(Crawl Budget)을 낭비하면 중요한 페이지가 크롤링되지 않을 위험이 있다고 한다.

 

6. 간단한 해결 가이드

1. URL 검토

해당 URL이 유효한 콘텐츠를 포함하는지 확인한다.

 

2. 리디렉션 설정

불필요한 URL은 301 리디렉션으로 처리한다.

 

3. Sitemap 및 내부 링크 정리

문제 URL이 Sitemap이나 내부 링크에 포함되어 있다면 제거한다.

 

4. robots.txt로 차단

검색엔진에서 이 URL을 크롤링하지 않도록 설정한다.

 

장미 by니해피

 

나의 경우 현재까지 그대로 방치하고 있다. 언젠가 의욕이 생기면 오류 시정 조치를 해야 하겠지만 지금은 아니다. 많은 유저들이 사이트를 방문하여 응원의 댓글을 달고 있다. 손수 글을 다는 것인지 제3의 힘을 빌린 것인지 알 수 없지만 말이다.

 

 

 

의미 없는 멘트 비밀 댓글 이런 것은 모두 스팸처리를 하기 때문에 의미가 없으므로 사라지면 좋겠다. 의미 없는 광고성 멘트보다는 응원의 하트면 충분하다.

그냥 콘텐츠가 맘에 들어 콘텐츠를 만든 이에게 응원을 하고 싶다면 ♡♡♡ 어떨까???? 여기까지 읽어주신 모든 분에게 장미를 보낸다.