Sitelinks: Presentes do Google para o seu Site

Os sitelinks são aqueles links extras que aparecem para o primeiro site da primeira página do Google e que aumentam ( ainda mais ) o destaque do mesmo. São como se fossem um presente dado pelo Google, reconhecendo que o trabalho de otimização de sites está sendo bem feito e que o site está sendo bem administrado. Não é para qualquer um… Essa é uma das teorias ( a mais aceita ) mas o Google oficialmente nunca disse para que os sitelinks servem. Outra coisa que o Google não revela é o momento que eles são gerados e quais requisitos são necessários para eles aparecerem. É ai que entra a nossa equipe, nós vasculhamos os nossos projetos e procuramos identificar os sites que tem sitelinks e o que eles tem a mais que os outros…

Pré Requisitos para a Geração dos Sitelinks

Logo de cara, na nossa investigação, notamos algumas características marcantes que estão presentes em todos os sites que tem sitelinks administrados pela nossa equipe:

• Fator Pagerank: Em todos os sites administrados pela MundoSEO e que foram gerados sitelinks, o PageRank era sempre maior que 4. Um site com PageRank 4 indica basicamente que já não se trata de um site pequeno, para atingir o PR = 4 é necessário um tempo mínimo no ar e também uma boa e constante quantidade diária de visitantes. Possivelmente o PageRank é usado pelo Google para determinar se o site tem uma relevância mínima ( teste o PageRank do seu site no nosso Medidor de Pagerank ).
• Fator Visitantes: No entanto, só ter o PageRank 4 não é o suficiente, é necessário também ter um número mínimo de visitas. Alguns sites com PR = 4 não tinham sitelinks, enquanto outros tinham, examinando o Google Analytics, a diferença encontrada foi o número de visitantes. Todos os sites que tinham uma média diária de visitas igual ou superior a 500 receberam sitelinks.
• Fator Tamanho: Mas para nossa surpresa, indo ainda mais fundo em nossa pesquisa, notamos que nem todos os sites com mais de 500 visitantes/dia e PageRank 4 tinham sitelinks. Havia mais um fator, pesquisando e filtrando enfim descobrimos, também é necessário um tamanho mínimo !! Nenhum site ou blog com menos de 100 paginas tinha sitelinks.

Resumindo: para que sejam gerados sitelinks para o seu site você tem que perseguir as seguintes metas de Otimização de Sites:

1. Elevar o seu PageRank para pelo menos 4
2. Aumentar o Número de Visitantes por dia para no Mínimo 500
3. Produzir conteúdo suficiente para seu site atingir 100 páginas

Geração de Sitelinks: Conclusão

Basicamente os 3 fatores citados acima podem ser resumidos em uma única palavra: relevância. O Google só gera sitelinks para sites comprovadamente relevantes, sites que geram conteúdo original e sites que conquistam visitantes por serem interessantes. E não adianta usar Black Hat, mesmo que você force algum aspecto, produzindo 100 paginas de Spam por exemplo, o aspecto dos visitantes e principalmente o pré-requisito do PageRank é muito complicado de ser forjado ( exatamente por isso que existem vários fatores, para dificultar as fraudes ). Invista no seu site, faça ele crescer, mas produza conteúdo de qualidade, só tempo e investimento produzem um site campeão de audiência e visitação.

Ao fazer uma busca no google já observou que algumas páginas, aquelas na primeira posição apresentam abaixo de sua descrição alguns links relacionados? Então, estes são os famosos sitelinks, são compostos pelos links mais atrativos para a Search Engine, que compoem um menu interno da página ou sua nav bar (navigation bar). Como só aparecem para a primeira posição, digamos que seja um “presente” para a página mais relevante sobre a procura de determinada keyword (palavra-chave), há também possibilidade de retirar algum link que não seja de seu interesse, basta entrar no google webmaster tools e alterar as configurações.

Qual a finalidade dos Sitelinks ?

Basicamente tem a finalidade de auxiliar o usuário em acessar alguma parte de interesse do site em questão. Como uma parte do site destinada a blog, ou uma sessão de login. Desta maneira o usuário vai diretamente está a informação desejada.

Sitelinks: saiba seus benefícios

Primeiramente o destaque extra que seu site terá nos resultados de busca orgânica é um fator crucial, pois também demonstra maior credibilidade para o visitante. Temos também a usabilidade para o usuário, pois pode acessar páginas internas mais rapidamente, aumentando a experiência do mesmo com seu web site.

Outro ponto que devemos levar em consideração, é que geralmente os sitelinks são mais visíveis quando procuramos por uma marca em si, ou uma palavra chave muito direcionada a um web site, desta forma o usuário que realizou a pesquisa já pode ser um visitante antigo, e está familiarizado com o conteúdo, tendo um acesso rápido na área de seu interesse, esta que poderia ser uma sessão de “download” do site, por exemplo.

E Por que o Google gera Sitelinks ?

Com base em várias especulações nos fóruns de webmasters, temos aqui as principais especulações por trás do google sitelinks.

Base Teórica 1: Links orientados ao usuário

Os sitelinks são dados as páginas web quando estes tem maior aceitação pelos usuários que o buscam por determinado assunto.

Fundamentação da Teórica 1 (traduzida do Google):

“Nós só mostramos os sitelinks nos resultados quando pensamos que os mesmos serão úteis para o usuário”

Indo além, tal teoria explica outro aspecto interessante sobre os sitelinks, ele podem ter especificação por região (utilizando conceito de geo-targetting ). Com a atratividade sobre determinado país, o web site apresenta sitelinks, como sua relevância em outro não é tão satisfatória assim não apresenta sitelinks.

Base Teórica 2: Links orientados a autoridade do domínio

Quão mais significativo a força do domínio, comparado aos sites que compartilham o mesmo nicho de mercado, mais facilmente conseguirá sitelinks.

Fundamentação Teórica 2 (traduzida):

“Você provavelmente percebeu que  a maioria dos resultados de pesquisa não mostram sitelinks; os poucos que mostram geralmente são aqueles de maior porte ou bastante populares. Então a dica que posso dar a vocês é que devem trabalhar em cima da visibilidade de seu web site e na popularidade do mesmo.”

Base Teórica 3: Links com orientação SEO

Muitos webmasters perceberam que alguns artifícios de otimização de sites em determinada página, auxiliam na obtenção de sitelinks.

1. Links localizados na base do código fonte tem uma chance maior de se tornarem sitelinks.
2. Links localizados no menu de navegação: nav bar, nav menu.

Base Teórica 4: Links orientados a força da marca

Muitas pessoas tem grande convicção que o Google faz pesquisas sobre marcas específicas para considerar se o seu site/marca é merecedor de sitelinks.

Base Teórica 5: Links orientados a competição

Os sitelinks costumam aparecer também nos resultados dos mecanismos de busca quando a busca onde seu site tem pequena competição, ou nenhuma.

Espero que tenham gostado desta abordagem sobre os sitelinks, mais especificamente do Google Sitelinks, e nos vemos em meu próximo post. Não esqueçam de assinar nosso feed, e ficar por dentro em primeira mão dos próximos artigos. Caso tenham também alguma teoria sobre sitelinks, não deiem de comentar! Até a próxima!

Sitemaps são arquivos presentes no servidor do seu site e que servem para indicar antecipadamente para os crawlers quando eles chegarem, quais são as URLs das suas páginas, ajudando no SEO. Crawlers como o Googlebot por exemplo, tem um tempo determinado máximo para ficar no seu site e indexar o conteúdo, ele até procura pelas URLs se não houver um sitemap presente, mas isso não é nenhuma vantagem já que esse tempo buscando as URLs é descontado do tempo total que ele vai ficar. Então é sempre vantajoso deixar um sitemap preparado para adiantar o trabalho dele.

É interessante lembrar que quanto mais importante vai se tornando o seu site ( mais Pagerank, mais visitas e mais tempo no ar ) mais tempo o Googlebot vai dedicando a ele e mais regularmente ele vai passando, mas mesmo assim, em geral os sites mais significativos tendem sempre a crescer de tamanho, o que acaba compensando esse ganho de tempo dando mais trabalho para o crawler, resumindo: na prática o Googlebot nunca vai ter tempo de ler o seu site todo, convém sempre dar uma força !!

Modo com que o crawler enxerga o seu site quando ele encontra e lê um sitemap:

Modo com que o crawler enxerga o seu site quando ele não encontra um sitemap:

Informações Adicionais do Sitemap

Além de indicar para o crawler quais são e onde estão as suas páginas, os sitemaps ainda podem indicar algumas informações adicionais:

• Importância das Páginas: Outra função interessante do sitemap é também informar a eles, qual a importancia que cada página tem. Isso é interessante pois assim o Googlebot e os outros crawlers vão saber quais páginas devem priorizar se não tiverem tempo de ler todas, caso contrário poderia ocorrer de páginas secundárias serem indexadas e as páginas principais ficarem de fora. A prioridade dada a cada página varia de 0 a 1, no caso representando 0% e 100%.
• Frequência de Atualização: Indicando no sitemap a frequencia com que as suas páginas são atualizadas você ajuda os crawlers a entender melhor como você trabalha e atualiza o seu site. Entendendo como você atualiza fica mais facil pra eles montarem uma tabela de visitação eficiente.
• Ultima Modificação: Esta informação em conjunto com a frequencia de atualização é util para ajudar os crawlers a planejar o proximo dia que vão voltar.

A Estrutura de Contrução do Sitemap

A estrutura de construção do sitemap foi padronizada esse ano e todos os principais crawlers a compreendem da mesma maneira. Ela é construida da seguinte maneira:

<url>
<loc>http://www.seusite.com.br/</loc>
<lastmod>2005-01-01</lastmod>
<changefreq>monthly</changefreq>
<priority>0.8</priority>
</url>

Significado de cada tag no Sitemap:

• <url>: Tag que indica que iniciamos um novo registro no sitemap
• <loc>: Tag onde serão colocadas as URLs das páginas, sempre com o caminho completo, loc, no caso, vem de location ( localização ) .
• <lastmod>: Tag que indica a ultima vez que a pagina indicada acima foi modificada, lastmod, vem do termo last modification ( última modificação )
• <chancefreq>: Tag que tem como função indicar com que frequencia a dada página é alterada, podemos usar: daily, weekly e monthly, o nome da tag vem do termo change frequency ( frequência de atualização )
• <priority>: Tag que indica para o crawler a importância da página, o valor válido varia de 0 a 1. O valor de 0.8 do exemplo indica que a página, tem importância de 80%, uma importância alta no caso. Prority significa prioridade.

A Localização do Sitemap

Assim como os crawlers procuram pelas suas páginas se não encontram um sitemap, eles também procuram um pouco pelo sitemap se não acham ele logo de cara. O primeiro lugar onde os crawlers procuram e local padrão para deixar o seu sitemap é a raiz do site. Caso você por algum motivo planeje deixar seu sitemap em outro lugar, não esqueça de indicar esse local no robots.txt. A propósito, o robots.txt, ao contrário do sitemap e das URLs não é procurado pelos crawlers, se ele não estiver na raiz do site, os crawlers pressupõe que ele não existe, então não deixe de inserí-lo em seu site para aumentar o nível de adequação para Otimização de Sites. Por enquanto é isso aí, até a semana que vem, abraços !!

Acessando a Ferramenta de Geração do Robots.txt

Para acessar a tool de geração do Robots.txt do Google Webmaster tools basta acessar o menu principal, sessão Tools -> Generate robots.txt. Uma vez que esta opção for selecionada vai então ser iniciada a tela principal da ferramenta. Na tela principal temos 3 sessões:

• 1: Choose your default robot access: nesta sessão você escolhe qual vai ser a base do seu arquivo robots.txt, se você prefere que ele começe com o site inteiro bloqueado e você vai liberando as pastas (opção Block all robots ), ou o oposto, ele começa com o site inteiro livre e você bloqueia as pastas que forem convenientes ( opção Allow all robots ). A opção default ( e recomendada ) por ser mais comum e se aplicar a mais situações é a opção do site começar desbloqueado.
• 2: Specify any additional rules: Sessão da ferramenta que vai te ajudar a escrever as regras do robots.txt. Você pode usar essa sessão tanto para criar regras de bloqueio, quanto de desbloqueio. O crawler também pode ser escolhido aqui.
• 3: Save your robots.txt file: Nesta sessão vão sendo escritas as regras que você vai produzindo na sessão 2. Para salvar o seu robots.txt, você tem 2 opções: fazer o download dele ou então copiar e colar mesmo.

Gerando Regras para o seu Robots.txt ( passo a passo )

Gerar as regras do seu Robots.txt usando essa ferramente não tem segredo. O primeiro passo é selecionar a ação no combo box Action, você pode selecionar: “Allow” para habilitar páginas ou então “Block” para bloquea-las.

Após selecionar o tipo de regra, o proximo passo é selecionar para qual crawler ela vai ser aplicada, você pode escolher entre os que estão especificados no combo box ou então adicionar um crawler específico no contexto do seu robots.txt, selecionando a opção Other robot… neste box. Para inserir o novo crawler basta escrever o nome dele na caixa de texto que vai aparecer e escolher save.

Uma vez selecionado o crawler, basta agora indicar a pasta sobre a qual a ação de bloqueio ou desbloqueio será efetuada, escrevendo o caminho na sessão Files or Directories. Escrito o caminho, pronto, basta clicar em Add e a regra será adicionada ao seu Robots.

Não existe limite para a quantidade de regras que pode ser adicionada, uma vez terminada uma regra para adicionar a próxima basta clicar em Add rule e recomeçar o processo.

O robots.txt é um arquivo de configuração presente na raiz dos sites e que serve para guiar o comportamentos dos crawlers, dizendo para os mecanismos de busca o que eles podem e não podem indexar. O Robots.txt é a primeira coisa que os crawlers consultam quando chegam em um site, quando ele não está presente os bots então pressupõe que os site está usando a configuração padrão do Robots.txt que diz que o site todo está aberto para ser indexado. A principal função do Robots.txt como foi dito acima é dizer o que pode e o que não pode ser indexado dentro do seu site, mas o robots também pode ser usado para outros fins tais como ajudar a evitar conteúdo duplicado ( bloqueando pastas ou páginas do seu site que podem eventualmente gerar URLs duplicadas ) ou então para fins menos “nobres” tais como esconder alguma página black hat que não é para os crawlers não verem, mas como sempre repetimos aqui, nunca vale a pena usar nenhum artificio para black hat SEO para qualquer fim, no caso do uso do robots.txt para esconder o black hat por exemplo, se você bloquear a tal pagina, ela não está imune ao fato de alguém poder fazer um link para ela a partir de outro site e ela ser lida e indexada pelos mecanismos de busca do mesmo jeito.

Escrevendo o Robots.txt

A sintaxe ( modo de escrita ) do Robots.txt é padrão ( todos os crawlers em geral entendem o que você escreve do mesmo jeito ) e é bem simples também. Existem alguns comandos básicos:

• Disallow: É o comando principal e mais usado no contexto do robots. Ele diz para os crawlers o que eles não deve acessar. Você pode usar o disallow para impedir que uma página individualmente não seja indexada ou então para que uma pasta inteira do seu servidor fique de fora da indexação. Para especificar que uma página individualmente não deve ser indexada basta usar:

  Disallow: /diretorio/subpasta/pagina.html

  Para dizer que uma pasta não deve ser indexada basta usar:

  Disallow: /diretorio/subpasta/

  Uma observação importante é que se você bloquear uma pasta que contenha outras subpastas ( como a pasta diretorio do exemplo acima ) todas as subpastas e arquivos internos vão estar bloqueados também, por isso planeje bem o que vai bloquear para não acabar deixando de fora o que deveria ser indexado.

• User-agent: Comando usado para dizer para quais crawlers serão validas aquelas regras. Como o comportamento dos crawlers e as políticas das diferentes Search Engines tem pequenas diferenças, as vezes é interessante escrever trechos do robots.txt específicos para cada bot, um para o crawler Google, um para o do Yahoo!, etc… O comando User-agent é escrito da seguinte maneira:

  User-agent: <nome_do_crawler>

  Por exemplo usando o código abaixo:

  User-agent: googlebot

  Disallow: /diretorio/subpasta/

  A pasta ficará bloqueada somente para o Googlebot, sendo indexada normalmente por todos os outros. Nome dos crawlers da principais search engines ( para uso no User-agent ):

  • Google: googlebot
  • Yahoo!: slurp
  • MSN: msnbot
• Sitemap: Ao contrario dos dois comandos citados acima o sitemap é mais simples e serve para indicar explicitamente para os crawlers a localização do seu sitemap e evitar o risco de eles não acharem. Exemplo desse comando:

  Sitemap: http://www.mundoseo.com.br/blog/sitemap.xml

• Allow: Funciona exatamente do mesmo modo que o comando Disallow. Usando allow você diz claramente aos robots que determinadas páginas e pastas tem que ser visitadas. É um comando que só é utilizado em ocasiões muito específicas, já que é padrão para os crawlers encarar todas as pastas como permitidas. Um caso em que o Allow é util seria um caso em que o site inteiro está restrito e somente uma página ou pasta pode ser indexada, ai é interessante bloquear todas e depois liberar embaixo com allow o que pode ser encontrado.

Exemplo de um Arquivo Robots.txt Comentado

Abaixo um exemplo de um arquivo Robots.txt completo e a explicação para cada linha:

1. Sitemap: http://www.sitedeexemplo.com.br/sitemap.xml

2. User-agent: *

3. Disallow: /admin/

4. Disallow: /cgi-bin/

5. Disallow: /pictures/

6. Disallow: /tecnology/

7. Allow: /tecnology/computers

8. User-agent: googlebot

9. Disallow: /categories/

10: Disallow: /templates/

Explicação de cada comando:

Linha 1: utilização do comando sitemap para especificar a pasta onde se encontra o sitemap e o nome do arquivo.

Linha 2: este comando indica que as linhas abaixo ( linhas 3 a 7 ) serão lidas e seguidas por todos os crawlers de todas as search engines

Linhas 3 a 6: indicam quais pastas não serão indexadas para todos os crawlers

Linha 7: indica que apesar da pasta tecnology estar impedida de ser indexada, a subpasta computers poderá sim ser lida

Linha 8: indica que a partir dessa linha os comandos só vão valer para o Googlebot

Linhas 9 e 10: pastas que só o Googlebot ficou impedido de visitar

Por enquanto é isso, qualquer dúvida sobre Otimização de Sites é só perguntar deixando seu comentário, abraços !!

E agora, quanto está valendo meu esforço ?

Seja por curiosidade, ou mesmo interesse em fazer um bom negócio, queremos saber o valor de mercado para a venda de nosso site. Porém fica difícil ter idéia de tudo o que nós temos. Fazer uma planilha de gastos que tivemos para manutenção, divulgação, horas de trabalho, etc.

Temos alguns pontos técnicos que também devemos analisar:

• Estatísticas do site: qual o ganho que tenho com propagandas, qual o número médio de visitas, o número de inbound links, a popularidade, seu pagerank.
• Potencial do site: quais são as tendências do mercado, qual a expectativa de crescimento, qual é o público alvo.
• Seu site está equipado com as novas tecnologias e dentro dos padrões W3C?

Há alguns cálculos aproximados bem populares para ter estimativa de valor do site:

Tradicionalmente o preço de venda é calculado: 10 vezes o arrecadamento anual + custo dos recursos reais.

Outras fórmulas matemáticas que utilizam para o cáluclo do valor do seu site é multiplicar por 2 o valor do rendimento do mesmo no último ano, ou multiplicar por 5 na média dos rendimentos. Obviamente são técnicas muito infelizes para cálculo do valor. Acredito que cada perfil de site deva ter uma maneira diferente de se calcular o valor, pois as regras gerais não são tão válidas.

Ferramentas on-line de Cálculo de valor do seu site

SmartPageRank: uma ferramenta super completa, já citada aqui no blog do Mundo SEO. Entre outras funcionalidades, ela também gera o potencial de venda de seu site. Verifica o tempo de seu domínio, Google PageRank, o diretório do Yahoo e apresença dentro do Dmoz. Há também verificação nos seus backlinks, páginas indexadas ( no Google e Yahoo ), e o tráfego Alexa.

DNScoop: esta ferramenta estima o valor de seu website atráves de 6 características: número de links, tráfego Alexa, o tempo de vida de seu domínio, a popularidade das keywords no domínio, e o total de aparições do nome de domínio na web.

CubeStat: aparentemente esta ferramenta faz transparecer que avalia vários dados: visualizações por página diária, rendimento do ad-sense, ranking no Alexa/Quantcast/Compete, o PageRank do Google, os backlinks, o número de páginas indexadas pelo Google e pelo Yahoo, e a presença no diretório Dmoz.

Espero que tenham gostado do artigo! E veja quanto está valendo seu esforço! Lembre-se que na maioria dos testes, é muito relevante o tempo de vida de seu domínio, para ter base de dados para o cálculo das ferramentas! Faça você também o teste de valor do seu site! Até a próxima!

Técnica similar a Cloaking Page ( como vimos no tópico de black hat SEO ), porém é uma técnica mais usada para o White Hat, pois seu objetivo é exibir diferentes páginas dependendo de onde o usuário acessa. Em outras palavras, ela verifica em qual país/região geográfica que o visitante se encontra, e exibe conteúdo relavante ao mesmo. É muito usada para sites globais, que disponibilizam vários idiomas de acesso de seu conteúdo.

Quais as desvantagens de usar Geo-targetting?

Quando você utiliza Geo Targetting e aparece em outro país ( um site americano que exibe um conteúdo específico se você for brasileiro por exemplo ) as search engines não vão te classificar bem pois elas utilizam um mecanismo chamado IP Delivery que identifica a origem do seu site, e sites de um determinado país sempre recebem menos pontos quando são indexados em paises sem ser o seu país de origem. Desta forma, para otimização de sites que utilizam geo-targetting há algumas implicações, e o trabalho de SEO sofre algumas restrições por causa do IP Delivery.

Quais os benefícios do Geo-targetting?

Pensamos nas possibilidades da utilização da mesma, é possível focar em um público alvo específico. Em termos mundiais, podemos separar os IP´s por países, e mostrar conteúdo voltado em seu próprio idioma, com preços na moeda local. Há também grande vantagem nos países em que os IP´s são separados por estados e cidades, possibilitando diferenciação de produtos/serviços de forma local.

Na visão do empreendedor, seria possível focar em um nicho de mercado, oferecer pacotes de serviços mais completos em regiões de renda per capita maior, e pacotes personalizados em outras áreas, otimizando os lucros através da diferenciação.

Exemplo de Aplicação de Geo-Targetting:

Temos como exemplo o serviço de banda larga, na qual o preço da prestação de serviço varia para cada estado, assim como a velocidade de conexão.

Temos um exemplo simples, porém a empresa deixa os preços visíveis, podendo o usuário visualizá-los com apenas um clique. Assim o consumidor fica em vantagem, podendo negociar, ao ver preços referentes a outros estados, e tentar obter alguns descontos.

Isso poderia ser melhor organizado, e evitado com um o uso do geo-targetting. Mas sabemos que não seria viável pois o Brasil não apresenta uma organização exata de IP´s por região.

Canonização de URL pode ser definida como os endereços redundantes para a mesma página, um exemplo bem simples permite entender o significado:
Poderíamos ter acesso para o site do mundo SEO pelas seguintes maneiras:

www.mundoseo.com.br
http://mundoseo.com.br
www.mundoseo.com.br/index.html
http://mundoseo.com.br/index.php

Porém todas levam para a página principal do site. Assim os mecanismos de busca aos acessarem os links, terão acessos redundantes ao mesmo conteúdo, caracterizando conteúdo duplicado. Sendo o site penalizado, pois esta é uma técnica black hat.

Desta maneira é interessante editar o .htaccess do seu site, para encaminhar os mecanismos de busca para o endereço correto. Além de ser uma boa prática de SEO e otimização de sites , pois podemos definir o melhor endereço para o mesmo.

Como faço para evitar o conteúdo duplicado?

É necessário ter acesso de administrador ao conteúdo do site, podendo editar os arquivos de configuração, no caso, o arquivo de configuração do servidor apache: “.htaccess” .

A edição do mesmo é bem simples, basta abrir o bloco de notas para começar. Insira o código abaixo, substituindo o nome (meu_site), para o do seu site:

RewriteCond %{HTTP_HOST} ^(meu_site\.com\.br)(:80)? [NC]
RewriteRule ^(.*) http://www.meu_site.com.br/$1 [R=301,L]

Processo finalizado, seu site já está protegido contra conteúdo duplicado que poderia ser ocasionado pelo WWW contra no-WWW.