크롤러: 호스팅 서버에 연결할 수 없음 오류 알아보기(결과첨부)

티스토리에 포스팅을 하면서 지내다 보면 종종 「크롤러:호스팅 서버에 연결할 수 없음」 이라는 문제를 겪게 됩니다. 자주는 아니지만 가끔 한번씩 이러한 상황이 발생하게 됩니다. 발생 시 애드센스 도움말을 보기도 하고 검색도 해서 찾아보고 해결하는데 한번씩 발생하다보니 또 해결방법을 잊어서 다시 검색하는 경우가 있습니다. 그래서 간단한 해결방법을 포스팅 해보도록 하겠습니다. 딱 3분만 보시면 됩니다.

 

 

     

크롤러:호스팅 서버에 연결할 수 없음

 

 

1. 크롤러:호스팅 서버에 연결할 수 없음이 발생하는 이유는?

크롤러는 스파이더 또는 봇이라고 합니다. 블로그에서 포스팅을 하면 웹페이지 콘텐츠를 처리하고 색인하기 위해서 구글에서 사용하는 소프트웨어인데요. Google Search console을 사용해서 URL을 제출하면 구글에서 제출된 사이트를 보면서 포스팅된 웹페이지가 잘 색인이 되어 노출될 수 있도록 크롤링 하는 것입니다. 그 관련 파일이 승인을 받기 위해 작업했던 robots.txt 파일이 바로 이것입니다. 우리가 블로그에 글을 쓰면 구글과 애드센스에서 나의 사이트에 방문하여 크롤링하게 됩니다. 둘러본다는 것이지요. 이렇게 우리의 글의 내용과 정보를 파악해서 어떠한 광고를 송출할 지 알아보는 것입니다. 그렇기 때문에 글의 수준, 작성 방법, 이미지 등 어느 하나 소홀히 할 수 없는 것입니다. 크롤링 문제는 3가지가 있습니다. 엑세스 문제, 사이트 문제, 호스팅 문제로 나뉩니다.  

 

 

2. 크롤러:호스팅 서버에 연결할 수 없음-해결방법은 없을까?

구글에 본 내용의 문제점을 검색해보면 수없이 많은 글들이 나오게 됩니다. 그러나 대부분의 글들을 보면 해결방법은 똑같은 내용들입니다. 크게 두 가지로 나뉘는데 구글 서치 콘솔을 이용하거나 애드센스 크롤러 엑세스를 이용하는 방법으로 소개가 되고 있습니다.

✔ 구글 서치 콘솔 활용법

구글 서치 콘솔은 승인을 받기 위한 하나의 과정으로 모두 알고 있는 것으로 URL 검사로 색인 요청을 다시 해보는 것입니다. 현재 색인이 등록이 되어 있는 경우가 많을 텐데 다시 한번 색인을 요청하는 것입니다. 내 포스트에 와서 둘어보았는데 다시 한번 둘러보러 오라고 봇에게 요청하는 것입니다. 구글 서치 콘솔과 애드센스의 크롤러는 별도로 작용하고 캐시를 공유한다고 설명되어 있는데 두 크롤러가 즉각적인 조치를 하지는 않는 것 같습니다. 그래도 한번은 해보시기 바랍니다.

-활용 후기: 저 역시도 제일 쉬운 구글 서치 콘솔을 이용해서 색인 요청을 했습니다. 수정 요청을 하고 기다려 보았습니다. 하지만 크롤러는 계속 호스팅 서버에 연결할 수 없다고 나왔습니다. 그래도 그나마 다행인것은 위에 사진에서 나와있는 것처럼 해결해야하는 문제는 0으로 나와있습니다. 하지만 광고게재 요청이 계속 들어오고 광고가 게재 제한 2%가 계속 눈에 거슬리며 이 %가 계속 늘어난다는 것입니다. 며칠을 기다려도 해결은 잘 되지 않았습니다. 최적화된 블로그의 경우에는 색인 요청을 하지 않아도 노출이 잘 되는 반면 트래픽도 낮고 상위 노출이 잘 안되는 그런 블로그의 경우엔 구글에 등록조차 않되는 것처럼요. 그래서 저는 두 가지 방법을 활용하지 않고 호스팅 문제로 해결을 해보려고 합니다.

 

 

✔ 호스팅 문제 활용법
시간을 두고 기다려도 크롤링 문제는 해결이 되지 않았습니다. 자동으로 해결되라고 색인 요청을 하고 기다렸는데 되지 않아서 수동으로 해결해 보고자 합니다. 먼저 애드센스에 들어가 계정-엑세스 및 승인-크롤러 엑세스로 들어갑니다. 그럼 로우측 상단의 로그인 추가를 클리합니다. 

 

 

3. 크롤러:호스팅 서버에 연결할 수 없음-제일 잘 해결되는 방법

크롤링 문제는 3가지가 있습니다. 엑세스 문제, 사이트 문제, 호스팅 문제로 나뉩니다. 저는 여기서 호스팅 문제로 해결해 보겠습니다.

 

✔ 호스팅 문제 활용법
시간을 두고 기다려도 크롤링 문제는 해결이 되지 않았습니다. 자동으로 해결되라고 색인 요청을 하고 기다렸는데 되지 않아서 수동으로 해결해 보고자 합니다. 먼저 애드센스에 들어가 계정-엑세스 및 승인-크롤러 엑세스로 들어갑니다. 그럼 로우측 상단의 로그인 추가를 클릭합니다. 

 

✔ 아래와 같이 작성하고 작성합니다. 오류가 발생한 페이지는 처음 크롤링 페이지에 나와있으니 복사해서 붙여 넣으시기 바랍니다. WWW는 입력하지 않습니다. https://도메인주소/오류난페이지이름(예.87), 그리고 티스토리 로그인 페이지도 마찬가지로 / 끝에 login을 붙여줍니다. 그리고 로그인방식은 POST로 클릭하시고 밑에는 티스토리 로그인 주소와 비번을 각각 반복하여 넣어준 후에 아래 로그인 추가 배너의 색이 바뀌면 눌러줍니다. 

✔ 위와 같이 작성하고 이렇게 하면 크롤링이 변경이 되면 시간이 흐르면 크롤링 안함에서 크롤링으로 바뀌게 됩니다. 

 

 

이제 2~3일이 지나면 위와 같이 초록색 점의 크롤링이 된다는 표시가 나타납니다. 이제 한결 마음이 놓입니다. 상단에 빨갛게 떠 있던 크롤링 오류도 보이지 않습니다. 광고 게재 제한도 없어졌습니다. 다음에 또 나타나면 이와 같은 방법으로 해결하시면 됩니다.

 

 

[7일 경과 후] 크롤러 오류가 사라진 것을 확인할 수 있었습니다. 위와 같이 한번 해보시고 기다려보시면 좋을 것 같습니다.