Googlebot: Afinal, o que ele tem a ver com meu site ?

Googlebot, A Internet e o Seu Site

Muita gente se pergunta: mas afinal como o Google consegue saber de todos os sites que existem na internet ? Todos os dias centenas de milhares de sites saem e entram no ar na Internet, como é possivel acompanhar isso tudo ? Como o Google obtem as informações do meu site para poder comparar com os outros sites e decidir qual é o melhor e que vai aparecer na frente ? A resposta para estas 3 peguntas é a mesma: Googlebot !!!

Antes de explicar o que é o Googlebot e o que ele faz, um conceito que deve ser entendido é o de Crawler ou Web Crawler. Crawlers são programas que são desenvolvidos basicamente para navegar na Internet automaticamente. Eles podem ter muitas funções desde ajudar as search engines entrando e testando os sites ( e consequentemente o trabalho de otimização de sites realizado ) até navegar pela rede para roubar informações. Nesse sentido, o Googlebot é que um programa que foi desenvolvido pela Google para rodar a internet seguindos os links entre os sites e lendo tudo o que ele encontra pela frente. Diariamente, milhões de cópias do Googlebot rodando em toneladas de hardware vasculhando a internet de cabo a rabo procurando por atualizações nos sites ( inclusive no seu site ou blog ! ). Sempre que você entra no Google e faz uma pesquisa são os resultados gerados através do trabalho do Googlebot que você vê.

O Funcionamento do Googlebot

O Googlebot basicamente atua vasculhando a internet em 3 fases:

• Fase I: Rastreamento: Nessa fase inicial o Googlebot inicia a sua jornada partindo de algum ponto aleatório da internet ( geralmente a partir dos registros de algum grande diretório de sites como o DMoz ) e ele vai navegando, seguindo os links, entrando e saindo sempre anotando cada vez que um site é encontrado. Pode ser que os sites encontrados já estejam registrados no índice do Google, nesse caso o Googlebot ao invés de cadastrar os dados do site no índice ele simplesmente dá uma vasculhada para ver se houveram alterações.
• Fase II: Indexação: Agora que o Googlebot já identificou os sites e recolheu as informações sobre eles, chegou a hora de ele processar estas informações. Na fase da indexação os sites anteriormente lidos são agora avaliados segundo uma série de critérios e testes que analizam o nível de SEO e o Googlebot decide então quais deles são os mais relevantes para cada keyword. É nessa fase que são decididos quais são os melhores sites e que eles são separados. Outra curiosidade interessante que é nessa fase também que o Googlebot realiza os testes de black hat no seu site. Se alguma irregularidade for encontrada no seu site ao invés de ele ser marcado como sendo um dos melhores ele é marcado com um site “ladrão” e é punido. Entre as punições podemos ter desde a perda de pontos que vão fazer o seu site cair no ranking até a desindexação onde o seu site é literalmente “expulso” do Google não aparecendo mais nos resultados de nenhuma pesquisa.
• Fase III: Publicação: Publicar é a terceira e ultima atribuição do Googlebot. Publicação nada mais é que a exibição dos resultados quando você faz alguma pesquisa. Sempre que você escreve alguma keyword na caixa de pesquisa e clica em “Pesquisa Google” ou aperta enter, o Googlebot então visita o indice dos melhores sites que ele montou na Fase II, busca os resultados e monta eles para você