O Claude consegue acessar seu site? Um diagnóstico simples para empresas

A página da sua empresa abre normalmente no navegador. Isso, porém, não prova que um assistente de IA consegue buscar essa mesma página quando alguém pergunta sobre o seu serviço.

No caso do Claude, assistente da Anthropic, o acesso para busca envolve principalmente Claude-SearchBot e Claude-User e depende de como o seu site trata essas requisições. O ClaudeBot tem outra finalidade, ligada ao treinamento. O ponto de partida é conferir o Claude-SearchBot no robots.txt, junto com o Claude-User, e depois testar se firewall e servidor deixam essas requisições passar.

Esse diagnóstico cabe em uma conversa com a equipe técnica e não exige nenhum truque. Ele mostra se o acesso está liberado, e não se a empresa será citada.

Para verificar se o Claude pode acessar seu site, examine o robots.txt para Claude-User e Claude-SearchBot, teste páginas públicas e confirme se firewall, CDN ou servidor bloqueiam requisições legítimas. Claude-User atende acessos iniciados por perguntas de usuários, e Claude-SearchBot apoia a busca. A permissão de acesso é uma condição técnica, não garantia de citação.

Como o Claude usa a web ao responder uma pergunta?

Quando a busca na web está ativada, o Claude pode consultar páginas em tempo real e mostrar as fontes usadas na resposta. Sem a busca, ele responde com o que aprendeu no treinamento, sem visitar o seu site naquele momento.

A central de ajuda da Anthropic sobre busca na web explica que o Claude pesquisa quando o tema se beneficia de informação atual. O usuário também pode pedir a busca de forma explícita. As respostas com busca trazem citações e links para as fontes.

A mesma página informa que, em contas Team e Enterprise, um administrador precisa habilitar a busca para a organização antes que os usuários possam ativá-la em cada conversa.

Na leitura da Reap, isso muda o diagnóstico. Um site pode estar fora de uma resposta porque a busca não foi usada, porque outra fonte foi escolhida ou porque o robô não conseguiu acessar a página. Só o último caso depende diretamente da configuração técnica do site.

Para saber qual robô faz cada tipo de acesso, vale separar os três agentes da Anthropic.

O que fazem Claude-User, Claude-SearchBot e ClaudeBot?

Cada um tem uma finalidade. O Claude-User busca páginas quando um usuário faz uma pergunta, o Claude-SearchBot navega para melhorar a qualidade da busca e o ClaudeBot coleta conteúdo para o treinamento dos modelos.

User-agent é o nome com que um robô se identifica ao pedir uma página ao servidor. Os três nomes abaixo estão na página de ajuda da Anthropic sobre rastreamento.

User-agent	Finalidade segundo a Anthropic	Efeito de bloquear
Claude-User	Buscar conteúdo quando alguém faz uma pergunta ao Claude	O sistema não acessa o site em resposta a perguntas, o que pode reduzir a visibilidade nas buscas feitas pelos usuários
Claude-SearchBot	Navegar pela web para melhorar a qualidade dos resultados de busca	Pode reduzir a visibilidade e a precisão do site nos resultados de busca
ClaudeBot	Coletar conteúdo que pode contribuir para o treinamento dos modelos	Sinaliza que o conteúdo futuro deve ficar fora dos dados de treinamento

Essa separação permite decisões diferentes para cada robô. Uma empresa pode, por exemplo, liberar a busca e bloquear o treinamento, se essa for a política definida pela gestão.

A Anthropic informa que os seus robôs respeitam as regras do robots.txt e que aceita a extensão Crawl-delay, usada para reduzir a frequência de acesso sem bloquear. Os robôs da OpenAI seguem regras próprias, e o guia sobre como colocar sua empresa no ChatGPT trata desse outro caso.

Com os nomes claros, falta ler o que o arquivo do seu site diz para cada um.

Como ler as regras do Claude-SearchBot no robots.txt?

Abra o endereço seusite.com.br/robots.txt e procure as linhas User-agent com Claude-SearchBot, Claude-User, ClaudeBot ou o asterisco, que vale para todos os robôs. Em seguida, veja as linhas Disallow e Allow logo abaixo de cada uma.

O robots.txt é um arquivo de texto na raiz do site que diz aos robôs quais endereços eles podem acessar. O guia do Google sobre robots.txt lembra que o arquivo depende de o robô obedecer às regras e que não serve para esconder páginas. Para impedir a indexação de uma página pública, a diretiva noindex precisa ser acessível ao robô: bloquear o rastreamento no robots.txt pode impedi-lo de ler essa instrução. Para proteger informações confidenciais, use autenticação; robots.txt não é controle de acesso.

Os exemplos abaixo são ilustrativos e servem apenas para leitura, não para copiar no seu site.

User-agent: ClaudeBot

Disallow: /

Nesse caso, o ClaudeBot está bloqueado no site inteiro. O Claude-User e o Claude-SearchBot não aparecem na regra e seguem as regras que valerem para eles no restante do arquivo.

User-agent: *

Disallow: /

Aqui todos os robôs estão bloqueados, inclusive os três da Anthropic, a menos que o arquivo tenha um grupo de regras próprio para algum deles.

User-agent: Claude-SearchBot

Disallow: /area-do-cliente/

Esse bloqueio atinge apenas a área do cliente. As páginas públicas continuam liberadas para o Claude-SearchBot.

O Google alerta que robôs diferentes podem interpretar a sintaxe de formas diferentes. Por isso, a Reap recomenda não alterar o arquivo sem antes registrar o objetivo da mudança e quem a aprovou.

Mesmo com o robots.txt liberado, o site ainda pode barrar o Claude em outra camada.

O site pode bloquear o Claude fora do robots.txt?

Pode. Firewall, CDN, WAF, telas de verificação e exigência de login bloqueiam requisições antes que o robô chegue ao conteúdo. Nesses casos, o robots.txt diz “pode entrar”, mas o servidor responde com erro.

Os termos técnicos têm tradução simples.

• CDN é a rede que entrega o site a partir de servidores espalhados por várias regiões.

• WAF é um firewall de aplicação, que filtra requisições suspeitas antes que cheguem ao site.

• Challenge é a tela de verificação que pede para confirmar que o visitante é humano.

A Anthropic informa, na página sobre rastreamento, que os robôs respeitam proteções contra acesso automatizado, como CAPTCHAs. Ou seja, os robôs não tentam contornar essas telas. Se uma verificação estiver ativa para robôs, o acesso para ali.

O sinal mais claro está no código de resposta HTTP, o número que o servidor devolve a cada pedido. A lista completa está na documentação da MDN sobre status HTTP.

• 200 indica que o servidor respondeu com sucesso. Confira também o conteúdo retornado: uma tela de verificação ou página vazia pode usar esse mesmo status.

• 401 e 403 indicam acesso não autorizado ou proibido.

• 429 indica excesso de requisições em pouco tempo.

• 503 indica serviço indisponível no momento.

Peça à equipe técnica ou ao suporte da hospedagem para verificar se regras de firewall ou de CDN tratam os robôs da Anthropic como tráfego suspeito.

Para confirmar o que de fato aconteceu, os registros do servidor são a melhor evidência.

Como conferir logs de acesso sem confundir bot legítimo?

Procure nos logs do servidor os acessos com os nomes Claude-User, Claude-SearchBot e ClaudeBot e confira o código de resposta de cada um. Depois, compare o IP de origem com a lista publicada pela Anthropic, porque qualquer robô pode se apresentar com esses nomes.

Logs são os registros que o servidor guarda de cada requisição, com data, endereço acessado, user-agent, IP e código de resposta. A Anthropic publica os endereços de IP dos seus robôs em claude.com/crawling/bots.json, segundo a página de ajuda sobre rastreamento.

1. Filtre os logs pelos três user-agents em um período recente.

2. Anote as páginas acessadas e o código de resposta de cada acesso.

3. Compare o IP de origem com a lista oficial da Anthropic.

4. Separe os acessos legítimos dos que só usam o nome como disfarce.

Um teste simples, feito pela equipe técnica, é pedir uma página ao servidor informando o user-agent de um dos robôs e observar a resposta. Esse teste mostra regras baseadas no nome do robô, mas não revela bloqueios por IP. Os logs reais continuam sendo a referência.

Acesso liberado não resolve tudo se as páginas importantes não estiverem ao alcance do robô.

Quais páginas precisam ser públicas e claras?

As páginas que respondem às perguntas de quem avalia a empresa precisam estar abertas, sem login, e com informação clara. Isso inclui serviços, contato, localização, condições da oferta e respostas às dúvidas comerciais mais frequentes.

• Páginas de serviços, com o que a empresa faz hoje e para quem.

• Página de contato, com endereço, telefone e horário.

• Página sobre, com nome completo, setor e cidade.

• Políticas comerciais, como prazos, formas de contratação e condições contratuais.

• Perguntas frequentes com respostas que o time comercial repete todo dia.

O Google orienta, nas diretrizes de conteúdo útil, a produzir páginas que resolvam a necessidade de quem pesquisa. Para a Reap, o mesmo raciocínio vale para qualquer sistema que leia o site em nome de um usuário.

Informações que só existem em PDF protegido, em área logada ou em imagem sem texto podem ficar fora do alcance do robô. A diferença entre otimizar para buscadores e para respostas de IA está resumida no conteúdo sobre GEO e SEO.

Se a verificação encontrar um bloqueio que ninguém pediu, a correção precisa de método.

O que fazer se o acesso estiver bloqueado por engano?

Registre a regra encontrada e confirme com a gestão se o bloqueio era intencional. Só então faça a alteração, com um responsável definido e um novo teste depois, porque o bloqueio pode ter sido criado de propósito por outra área da empresa.

Checklist de verificação por agente

O quadro abaixo organiza o diagnóstico. Os dados são ilustrativos.

Agente	Página testada	Regra encontrada	Resposta HTTP	Decisão de correção
Claude-User	/servicos/	Nenhuma regra específica, User-agent * liberado	200	Manter
Claude-SearchBot	/contato/	Liberado no robots.txt	403 pelo WAF	Pedir ao suporte da CDN para revisar a regra de bots
Claude-SearchBot	/area-do-cliente/	Disallow intencional	Não testado	Manter, área privada
ClaudeBot	Todo o site	Disallow: /	Não aplicável	Manter, decisão da gestão de não ceder conteúdo para treinamento
Claude-User	/precos/	Liberado	429 em horários de pico	Avaliar limite de requisições com a hospedagem

Depois de cada alteração, repita os testes e confira os logs dos dias seguintes. Guarde a data da mudança e o nome de quem aprovou.

Com tudo liberado, ainda falta explicar por que o site pode não aparecer.

CTAQuer saber se seus bloqueios técnicos afetam a descoberta do site? Solicite um diagnóstico de acesso e visibilidade para IA.

Por que liberar o robô não garante aparecer no Claude?

Porque o acesso é só a primeira etapa. Depois dele vêm a relevância da página para a pergunta, a busca, a seleção das fontes e a geração da resposta, e essas etapas não são totalmente visíveis para quem está de fora.

As páginas de ajuda da Anthropic consultadas explicam o papel de cada robô e o funcionamento geral da busca, mas não descrevem como as fontes são escolhidas para cada resposta. Por isso, a Reap não trata a liberação do acesso como promessa de resultado.

Claude-User e Claude-SearchBot têm funções diferentes. Bloqueá-los pode limitar o acesso e a visibilidade, mas liberá-los não garante resposta ou citação.

O acesso técnico é necessário para recuperar diretamente o conteúdo da página; uma menção à marca também pode se apoiar em fontes de terceiros. Conteúdo claro, informação atualizada e presença consistente em outras fontes completam o trabalho. Para começar, peça à equipe técnica três verificações nesta semana. Leia o robots.txt, confira uma amostra de logs e teste a resposta das páginas de serviço e de contato. Um bloqueio esquecido pode estar tirando o site de respostas há meses sem que ninguém perceba. Para uma auditoria mais ampla, veja o passo a passo de como fazer um diagnóstico de SEO.

Perguntas frequentes

Claude-User e Claude-SearchBot são o mesmo robô?

Não. Segundo a Anthropic, o Claude-User busca páginas quando alguém faz uma pergunta ao Claude, e o Claude-SearchBot navega pela web para melhorar a qualidade dos resultados de busca. Um terceiro robô, o ClaudeBot, coleta conteúdo para treinamento. Cada um pode ser liberado ou bloqueado separadamente no robots.txt, com efeitos diferentes sobre o acesso e a visibilidade do site.

Posso liberar pesquisa e bloquear treinamento?

Pode. Como a Anthropic usa nomes diferentes para cada finalidade, o robots.txt pode bloquear o ClaudeBot, que coleta conteúdo para treinamento, e manter liberados o Claude-User e o Claude-SearchBot, ligados às perguntas e à busca. Antes de alterar o arquivo, confirme se o firewall e a CDN não bloqueiam os robôs liberados e registre a decisão da gestão.

O Claude consegue acessar páginas protegidas por login?

Não por meio dos robôs de rastreamento. A Anthropic informa que os seus robôs respeitam proteções contra acesso automatizado, como CAPTCHAs, e o conteúdo atrás de login não está disponível para quem não tem acesso. Se uma informação comercial importante só existe na área do cliente, avalie publicar uma versão pública com o que pode ser divulgado.

Como saber se fui citado pelo Claude?

Faça as perguntas que seus clientes fariam, com a busca na web ativada, e confira as fontes listadas na resposta. A Anthropic informa que as respostas com busca trazem citações e links. Registre a pergunta, a data e as fontes de cada teste, porque as respostas podem variar entre conversas, e compare com os acessos do Claude-User nos logs do servidor.

Se você quer saber se bloqueios técnicos estão afetando a descoberta do seu site, solicite um diagnóstico de acesso e visibilidade para IA.