Os AI Bots não precisam de páginas Markdown

Markdown é uma linguagem leve, somente texto, facilmente legível por humanos e máquinas. Uma das mais novas táticas de visibilidade de pesquisa é fornecer uma versão Markdown de páginas da web para bots de IA generativos. O objetivo é auxiliar os bots na busca do conteúdo, reduzindo os recursos de rastreamento, incentivando-os a acessar a página.

Já vi testes isolados de otimizadores de pesquisa mostrando um aumento nas visitas de bots de IA após o Markdown, embora nenhum tenha se traduzido em melhor visibilidade. Algumas ferramentas prontas para uso, como Cloudflarefacilita a implementação do Markdown.

Servir versões separadas de uma página para pessoas e bots não é novidade. Chamado “camuflagem”, a tática é há muito considerada spam na Central de Pesquisa do Google diretrizes.

O cenário da IA ​​é diferente, entretanto, porque não é uma tentativa de manipular algoritmos, mas sim facilitar o acesso e a leitura de uma página pelos bots.

Eficaz?

Isso não torna a tática eficaz, no entanto. Pense bem antes de implementá-lo, pelos seguintes motivos.

• Funcionalidade. A versão Markdown de uma página pode não funcionar corretamente. Os botões, em particular, podem falhar.

• Arquitetura. As páginas Markdown podem perder elementos essenciais, como rodapé, cabeçalho, links internos (“produtos relacionados”) e avaliações geradas por usuários por meio de fornecedores terceirizados. O efeito é a remoção do contexto crítico, que serve como um sinal de confiança para grandes modelos de linguagem.

• Abuso. Se a tática Markdown se tornar popular, os sites inevitavelmente injetarão dados exclusivos de produtos, instruções ou outros elementos apenas para bots de IA.

Criação frequente de páginas exclusivas para bots dilui sinais essenciaiscomo autoridade do link e branding. Uma abordagem muito melhor sempre foi criar sites que sejam igualmente amigáveis ​​para humanos e bots.

Além disso, um objetivo dos agentes LLM é interagir com a web como os humanos fazem. Servir versões diferentes não serve para nada.

Representantes do Google e Bing ecoou esse sentimento algumas semanas atrás. John Mueller é analista de pesquisa sênior do Google:

Os LLMs treinaram – leram e analisaram – páginas normais da web desde o início, parece certo que eles não têm problemas em lidar com HTML. Por que eles iriam querer ver uma página que nenhum usuário vê?

Fabrice Canel é o principal gerente de produto do Bing:

… realmente deseja duplicar a carga de rastreamento? Rastrearemos de qualquer maneira para verificar a similaridade. Versões que não são de usuário (AJAX rastreáveis ​​e similares) são frequentemente negligenciadas e quebradas. Os olhos humanos ajudam a corrigir o conteúdo visualizado por pessoas e bots.