A resposta de uma IA é tão atualizada quanto a documentação que ela usa

No início deste ano, um comerciante que fazia pagamentos pessoalmente solicitou ao nosso Assistente de suporte de IA como aceitar rapidamente um pagamento com o leitor de cartão. Foi verificado nossa documentação e respondeu com confiança: “toque em ‘Pagamento Simples’”.

Mas não havia botão de Pagamento Simples. Nós o renomeamos para “Adicionar valor personalizado” meses antes, mas a documentação não foi atualizada. O comerciante não conseguiu encontrar o que a IA descreveu e acabou desistindo.

O suporte relatou o problema, atualizamos o guia de início rápido e a página do produto e a documentação foi corrigida. Mas esse incidente ficou comigo porque o assistente fez exatamente o que deveria fazer. Ele leu a documentação e compartilhou o que encontrou. O problema era que a documentação descrevia um produto que já havia mudado.

Este é o ponto principal que quero que você lembre: quando você pergunta a uma IA como fazer algo no WooCommerce – como alterar uma configuração, encontrar um recurso ou corrigir um erro – ela responde com base na documentação, não no conhecimento em tempo real do produto. O produto muda a cada lançamento, mas os documentos são escritos por pessoas. Qualquer lacuna entre eles pode levar a uma resposta errada que parece completamente confiante.

Então criamos algo para preencher essa lacuna.

É um plugin para WordPress, construído como um projeto interno da Automattic, e funciona como um redator de documentação que está sempre atento às mudanças.

Ele acompanha os lançamentos do WooCommerce e quaisquer solicitações recebidas para corrigir a documentação. Quando algo muda, como um botão renomeado, uma configuração movida ou um novo recurso, um modelo de IA elabora uma atualização. O rascunho deve então atender a certos padrões antes de ser publicado:

1. Pontuamos de 1 a 5 usando nossa rubrica de qualidade, que analisa precisão, voz e tom, estrutura, gramática e estilo, localização e recursos visuais.
2. Ele também precisa passar por verificações de segurança automatizadas. Se um rascunho excluir mais de 30% de uma página, quebrar a formatação da página, deixar um espaço reservado ou adicionar um novo link de imagem, ele será sinalizado para revisão humana.
3. Um redator de nossa equipe analisa o rascunho em uma prévia e o aprova antes de ser publicado em woocommerce.com.

Minha parte favorita da rubrica está na seção de localização: o primeiro parágrafo de cada documento deve funcionar como uma resposta independente que uma IA possa citar. Não estamos mais escrevendo documentação apenas para pessoas que navegam por uma página. Estamos criando o material de origem para cada resposta de IA sobre WooCommerce, e nossa rubrica reflete isso.

Não marcamos apenas novos rascunhos. Também pontuamos a documentação ativa usando a mesma rubrica.

No final de junho, 39 dos 117 documentos do WooCommerce que analisamos estavam abaixo dos nossos padrões de qualidade. É por isso que construímos este sistema. O WooCommerce é atualizado o tempo todo, e mesmo a melhor equipe de redatores não consegue reler todas as páginas após cada lançamento. Mas o plugin pode. Ele verifica as páginas como um escritor faria, com tempo ilimitado, e sinaliza aquelas que precisam de atenção.

Uma parte do pipeline aplica automaticamente nossa lista de terminologia para manter a consistência dos nomes dos produtos, como usar “WooCommerce” em vez de “woocommerce”. Isso é feito com uma localização e substituição direta.

Algumas entradas na lista foram escritas como conselhos de redação, em vez de trocas exatas de palavras. O sistema não percebeu a diferença, então colou os conselhos nas páginas ativas. Por um curto período, um documento publicado dizia aos leitores “(texto do link descritivo que descreve o destino)” onde deveria estar um link.

Percebi isso enquanto trabalhava em algo relacionado. Auditamos todos os 258 documentos do WooCommerce, encontramos 9 que foram afetados, corrigimos cada um, removemos as entradas problemáticas e adicionamos uma proteção para evitar que esse tipo de erro acontecesse novamente.

Estou compartilhando isso porque é a mesma lição de um ângulo diferente. A automação segue as regras exatamente como estão escritas, de forma rápida e sem julgamento. É isso que o torna útil e arriscado. Nosso sistema foi construído com isso em mente: verificações rigorosas que falham com segurança, um ser humano revisando qualquer coisa importante e auditorias das etapas automatizadas.

O que isso significa quando você está solucionando problemas

Se você fizer uma pergunta sobre WooCommerce a um assistente de IA e aceitar a resposta pelo valor nominal – e a maioria das pessoas faz, já que esse é o ponto – a qualidade da resposta foi definida antes mesmo de você digitar sua pergunta. Depende se a documentação corresponde ao produto que você está usando.

Nosso trabalho é manter a documentação precisa, e o sistema acima é a forma como fazemos isso. Há uma parte menor para você, mas ainda é importante:

• Se as instruções de uma IA não corresponderem ao que você vê na tela, a documentação pode estar desatualizada. Verifique o documento que ele está usando antes de pensar que cometeu um erro.
• Deixe-nos saber se você detectar um problema. Ao usar nosso assistente de IA, avalie uma resposta com o polegar para baixo ou toque em “Entre em contato com o suporte” para nos informar o que há de errado. Se você estiver em um documento que não parece atual, informe nossa equipe por meio da seção ‘Este guia foi útil?’ polegar na parte inferior da página.

O comerciante com o leitor de cartão não fez nada de errado. Nem a IA. A responsabilidade era nossa, e construir um sistema que fizesse correções rapidamente — e detectasse alterações antes que você percebesse — foi a melhor maneira de aprendermos com essa experiência.

David é um engenheiro de IA na Automattic especializado em envio de infraestrutura LLM de produção para suporte ao cliente e sistemas de documentação em WordPress.com e WooCommerce.