Gere um arquivo robots.txt para seu site. Configure regras para diferentes user agents, caminhos proibidos e adicione referências de sitemap.
Construa um arquivo robots.txt adicionando regras para diferentes crawlers. Especifique caminhos permitidos e proibidos, atraso de rastreamento e URLs de sitemap. A ferramenta valida suas regras e gera um arquivo robots.txt formatado corretamente.
robots.txt é um arquivo de texto colocado na raiz do seu site que informa aos crawlers dos mecanismos de busca quais páginas eles podem ou não acessar.
Não. O robots.txt controla apenas o crawling, não a indexação. Para evitar a indexação, use a meta tag noindex ou o cabeçalho HTTP X-Robots-Tag.
Coloque-o na raiz do seu domínio: https://yourdomain.com/robots.txt. Ele deve estar acessível nesta URL exata.
Gere HTML meta tags completas para SEO
Read moreGere dados estruturados JSON-LD para rich snippets
Read morePré-visualize como sua página aparece nos resultados de pesquisa do Google
Read moreComece com a API Scavio em 5 minutos
Read moreTutorial passo a passo em Python
Read moreScavio ajuda você a entender como os mecanismos de busca veem seu site. Obtenha dados de SERP ao vivo e acompanhe seus rankings com respostas de API estruturadas.
