Otimizando orçamentos de rastreamento: o que há de novo

A documentação de “infraestrutura de rastreamento” recém-atualizada do Google inclui “Otimize seu orçamento de rastreamento”, uma seção com dicas sobre como os sites podem expor mais páginas aos bots do gigante das buscas. O tópico é importante, pois as páginas devem ser rastreadas para aparecer no índice e nos resultados de pesquisa do Google.

A documentação aborda a necessidade de um “orçamento” dado o grande número de URLs globais. Um site mal organizado provavelmente levará mais tempo para ser rastreado e, portanto, terá menos páginas indexadas.

Aqui estão as conclusões das novas diretrizes.

Diretrizes do Google

Cada novo site começa com um orçamento de rastreamento “conservador”. Ao lançar um site, comece com um número modesto de páginas para garantir que “o Google possa cobrir todo o conteúdo importante sem sobrecarregar seus servidores”.

Com o tempo, o orçamento de rastreamento aumenta com base no tamanho e nas atualizações do site. Atualizações regulares (especialmente se incluídas automaticamente em seus sitemaps XML) incentivam o Googlebot a retornar e provavelmente aumentam o orçamento de rastreamento ao longo do tempo.

Atualize seu estoque de produtos e seu blog regularmente e gradualmente. Por exemplo, em vez de lançar 100 produtos em um dia, considere três por dia durante um mês, aproximadamente.

Melhorar o tempo de carregamento do seu site pode aumentar o orçamento de rastreamento. Sabemos há muito tempo que sites mais rápidos são melhor rastreados. Monitore seu desempenho do sitee se esforçar para melhorar sua velocidade.

Páginas populares recebem rastreamentos mais frequentes. O Googlebot rastreia páginas com muitos links de entrada (externo e interno) com mais frequência.

Outras maneiras de melhorar a frequência e a velocidade do rastreamento:

• Use o proibir comando em robôs.txt para bloquear páginas que você não deseja indexar ou em SERPs. Exemplos podem ser páginas para logins privados, carrinhos de compras e aqueles gerados dinamicamente.

• Evite páginas soft 404 (páginas excluídas que retornam um código 200), pois o Googlebot continuará a rastreá-las. Retorne respostas 404 ou 410 se as páginas não existirem mais.

• Evite cadeias de redirecionamento (vários redirecionamentos para uma única página)

• Use o Search Console relatório de estatísticas de rastreamento (Configurações > Estatísticas de rastreamento) para monitorar a taxa de rastreamento e os problemas encontrados pelo Googlebot.

Cuidado com o ‘cache de URL’

O Google adicionou uma nova recomendação de “cache de URL” às diretrizes:

Suporta códigos de status HTTP 304 (não modificados). Se uma página não tiver sido alterada desde a última vez que o Google a rastreou, o retorno de um código 304 informa ao Google para reutilizar a versão em cache, economizando largura de banda e recursos do servidor.

Minha experiência é seguir esta recomendação apenas para páginas sem importância, como produtos expirados e páginas de políticas. Informar ao Google por meio de um código 304 que uma página está desatualizada pode afetar sua visibilidade nas SERPs ou até mesmo seu status de índice.