구글 애드센스 크롤러 호스팅 서버에 연결할 수 없음 문제 발생

목차

 

크롤러 문제발생 확인

티스토리 블로그 운영시 구글 애드센스로 광고를 송출해 수입을 얻고 있는데 갑자기 광고 게재 제한됨 현상이 발생했습니다. 크롤러: 호스팅 서버에 연결할 수 없음이라는 문제가 발생하면서 광고 게재가 제한된 현상이 발생했는데 구글에서 문제를 찾아봤지만 정확한 해결방법이 나오지 않아 직접 찾아보게 되었습니다.  구글 애드센스 로그인 후 정책 센터에 가보면 광고 요청 2.3천 회가 제한됨을 확인할 수 있습니다.  3월 15일 최초로 발생해 가만히 내버려 두면 되겠지 하고 생각했던 게 3월 21일 현재까지 해결이 되고 있지 않고 있습니다..

 

 

문제발생확인

 

크롤러란 무엇인가?

문제를 해결하기 앞서 크롤러가 무엇인지부터 알아야 해결하기 수월 할 것 같아서 크롤러에 대해서 알아봤습니다. 크롤러는 웹 콘텐츠를 색인화하고 분류하는 데 사용됩니다.  즉 구글에서 크롤링이 되지 않는다는 것은 사용자가 구글에 검색해도 구글 검색에 노출되지 않는다는 것을 뜻합니다. 크롤러의 작동방식은 하나의 웹 페이지에서 다른 웹페이지로 연결되는 링크를 따라가면서 각 페이지를 스캔하고 데이터베이스의 정보를 저장하는 방식으로 작동합니다. 이런 방식으로 색인을 구축하게 되고 사용자가 구글에 검색하면 구글 엔진은 색인을 사용하여 입력된 키워드를 기반으로 가장 관련성 높은 페이지를 찾게 됩니다. 이런 원리로 광고 크롤러 또한 페이지의 키워드를 확인하고 페이지에 알맞은 광고를 송출해 주게 되는 것입니다.  전반적으로 크롤러는 구글과 같은 검색엔진에서 중요한 역할을 합니다.  블로그에 글을 포스팅할 때 SEO형식에 맞춰야 된다는 말도 이런 원리 때문입니다. 검색 엔진에 최적화된 방식으로 글을 작성한다는 것은 크롤러를 위한다는 것과 같습니다.

 

 

 

해결을 위한 노력

ChatGPT 검색

ChatGPT에게 구글애드센스 광고 게재 제한됨 문제가 발생했고 이유는 크롤러:호스팅 서버에 연결할 수 없다는 문제라고 질문해 도움을 요청해 봤습니다. ChatGPT에 답변은 첫 번째로 호스팅 서버가 제대로 동작하고 있는지 확인하라고 답변이 왔는데 티스토리 블로그는 카카오에서 서버를 운영하기 때문에 저의 문제가 아니라 패스했습니다. 두 번째는 애드센스의 정책이나 가이드라인을 위반하지 않았는지 확인하라였는데 저는 자동광고를 하기 때문에 이문제도 아니라고 판단했습니다.  

 

구글 서치 콘솔(Google Search Console)  수동 색인 요청

혹시 구글이 내가 포스팅한 글을 아직 크롤링하지 않은 것인가? 하고 수동으로 색인 요청을 해봤습니다. 구글 서치 콘솔로 접속해 문제가 되는 URL검사를 통해 색인을 생성할 수 있는지 테스트하고 요청 제출 그래서 색인이 생성된 것까지 확인을 해봤지만 크롤러 오류는 해결되지 않았습니다...

 

구글 서치 콘솔 색인 생성

 

크롤러 액세스 권한 직접 부여하기

구글 검색결과 크롤러 액세스를 권한을 직접 부여하는 방법이 있다 해서 해보기로 했습니다. 문제 되는 부분이 크롤러가 호스팅 서버에 연결할 수 없다고 하니깐 무슨 문제가 있어서 연결이 되지 않을까? 하는 생각이어서 이 방법이 가장 신빙성이 있는 방법이라고 생각이 되었습니다. 

 

우선 계정-액세스 및 승인- 크롤러 액세스에 들어가 줍니다. 

 

로그인 추가

 

 

로그인 추가 버튼을 클릭하면 로그인 정보 창이 나오는데 아래 이미지처럼 입력하시면 됩니다.

로그인 정보 입력

 

 

로그인 정보를 입력하면  아래 이미지처럼 상태가 변하게 됩니다. 크롤링 중이라고 표시됩니다. 크롤링 안 함이라고 표시된 건 최근에 다시 실행을 시켜본 것인데 시간이 지나면 크롤링으로 변하는 것이 확인되었습니다. 

로그인 정보 추가 완료

 

가만히 있는것보다는 뭐라도 해봐야 해결이 더 빠를 것 같아서 ChatGPT와 구글검색으로 문제를 해결해 보려고 노력해 봤는데 잘되었으면 좋겠습니다.