Googlebot: Afinal, o que ele tem a ver com meu site ?

Por Vinicius Paes - 18 ago 2008

Todos os dias centenas de milhares de sites saem e entram no ar na Internet, como é possivel acompanhar isso tudo ? Como o Google obtem as informações do meu site para poder comparar com os outros sites e decidir qual é o melhor e que vai aparecer na frente ? A resposta para estas peguntas é a mesma: Googlebot !!!

Googlebot, A Internet e o Seu Site

Muita gente se pergunta: mas afinal como o Google consegue saber de todos os sites que existem na internet ? Todos os dias centenas de milhares de sites saem e entram no ar na Internet, como é possivel acompanhar isso tudo ? Como o Google obtem as informações do meu site para poder comparar com os outros sites e decidir qual é o melhor e que vai aparecer na frente ? A resposta para estas 3 peguntas é a mesma: Googlebot !!!

Googlebot: um exército de milhões de cópias vasculhando a internet todos os dias

Antes de explicar o que é o Googlebot e o que ele faz, um conceito que deve ser entendido é o de Crawler ou Web Crawler. Crawlers são programas que são desenvolvidos basicamente para navegar na Internet automaticamente. Eles podem ter muitas funções desde ajudar as search engines entrando e testando os sites ( e consequentemente o trabalho de otimização de sites realizado ) até navegar pela rede para roubar informações. Nesse sentido, o Googlebot é que um programa que foi desenvolvido pela Google para rodar a internet seguindos os links entre os sites e lendo tudo o que ele encontra pela frente. Diariamente, milhões de cópias do Googlebot rodando em toneladas de hardware vasculhando a internet de cabo a rabo procurando por atualizações nos sites ( inclusive no seu site ou blog ! ). Sempre que você entra no Google e faz uma pesquisa são os resultados gerados através do trabalho do Googlebot que você vê.

O Funcionamento do Googlebot

Googlebot: Crawleando, Rastreando, Indexando e Publicando, tudo ao mesmo tempo agora !!!

O Googlebot basicamente atua vasculhando a internet em 3 fases:

  • Fase I: Rastreamento: Nessa fase inicial o Googlebot inicia a sua jornada partindo de algum ponto aleatório da internet ( geralmente a partir dos registros de algum grande diretório de sites como o DMoz ) e ele vai navegando, seguindo os links, entrando e saindo sempre anotando cada vez que um site é encontrado. Pode ser que os sites encontrados já estejam registrados no índice do Google, nesse caso o Googlebot ao invés de cadastrar os dados do site no índice ele simplesmente dá uma vasculhada para ver se houveram alterações.
  • Fase II: Indexação: Agora que o Googlebot já identificou os sites e recolheu as informações sobre eles, chegou a hora de ele processar estas informações. Na fase da indexação os sites anteriormente lidos são agora avaliados segundo uma série de critérios e testes que analizam o nível de SEO e o Googlebot decide então quais deles são os mais relevantes para cada keyword. É nessa fase que são decididos quais são os melhores sites e que eles são separados. Outra curiosidade interessante que é nessa fase também que o Googlebot realiza os testes de black hat no seu site. Se alguma irregularidade for encontrada no seu site ao invés de ele ser marcado como sendo um dos melhores ele é marcado com um site “ladrão” e é punido. Entre as punições podemos ter desde a perda de pontos que vão fazer o seu site cair no ranking até a desindexação onde o seu site é literalmente “expulso” do Google não aparecendo mais nos resultados de nenhuma pesquisa.
  • Fase III: Publicação: Publicar é a terceira e ultima atribuição do Googlebot. Publicação nada mais é que a exibição dos resultados quando você faz alguma pesquisa. Sempre que você escreve alguma keyword na caixa de pesquisa e clica em “Pesquisa Google” ou aperta enter, o Googlebot então visita o indice dos melhores sites que ele montou na Fase II, busca os resultados e monta eles para você
Sobre o Autor:
Autor
Mestre em Ciência e Tecnologia da Computação pela Universidade Federal de Itajubá, e fascinado pelo desenvolvimento em diversas tecnologias web. É possível encontrá-lo pelo Twitter, Facebook e Google+.

8 Comentários

  1. hell disse:

    Muito interessante sua pesquisa, essa eu nem sabia.

  2. Oi Hell boa noite

    Realmente esses são detalhes que pouca gente conhece, mas que são bem interessantes. Entender como funciona o Googlebot é entender como funciona o Google.

  3. DUMDUMBOT disse:

    Ae HELL blz ?
    Estava eu em um forum e percebi q aparecia lá em baixo bem assim…
    GOOGLE BOT,MSN BOT e YAHOO BOT eu tentava clicar nele mais num dava não éra neutro num tinha link..
    Aí eu sábia mente fis um post no forum perguntando:

    BOT pra q serve ?

    Aí um modera do forum mi mando uma mp com o link daqui,aí eu descobri pra q serve os BOTS…
    AFFFFFFF mó trabalhera esses BOTS tem emmmmm ??
    E quéro saber tambem com eu faço pra eles visitarem meu forum..
    Tem com vc mi esplicar ou falar onde eu posso saber ??

    Atá meu nik tem BOT mais num faço q os guris aí fazem não emm….esse é meu nik de game na net…

  4. Muito legais estas informações…Não sei se é pedir muito mas de uma olhada no meu blog veja se esta tudo legal…Eu acho que sim pelo menos espero. As vezes eu vejo nos acessos da googlebot, 13 14 min. Porque?

  5. william lopes disse:

    Muito boa as informaçoes e assim que lucramos com coisas boas

  6. anA disse:

    Muito obrigada pelas suas explicações.
    Há meses que ando intrigada com esta visita do Googlebot. Ele entra no meu blog sem qualquer pesquisa.
    Ultimamente visita-me 4 a 5 vezes por dia. Hoje bateu o record. Viu 4 paginas durante 29 minutos.
    Decidi saber quem era o gooblebot e cheguei aqui.
    Desconhecia isto. Dou sempre os créditos quendo uso os textos dos outros. Não entendia porquê, mas ficava contente, quando para testar as pesquisas muitas das vezes apareço na 1ª ou 2º linha da pesquisa.
    Constacto que o google compensa os respeitadores
    Obrigado uma vez mais.

  7. Jederson disse:

    Muito bom estas explicações, eu já estava desconfiado destas visitas no meu blog, agora sei do que se trata!

  8. Alex disse:

    Muito boa as informaçoes, continue falando mais do assunto.

Deixe o seu comentário!