Genere un archivo robots.txt para su sitio web. Configure reglas para diferentes agentes de usuario, no permita rutas y agregue referencias a mapas del sitio.
Cree un archivo robots.txt agregando reglas para diferentes rastreadores. Especifique las rutas permitidas y no permitidas, el retraso de rastreo y las URL del mapa del sitio. La herramienta valida sus reglas y genera un archivo robots.txt con el formato adecuado.
robots.txt es un archivo de texto ubicado en la raíz de su sitio web que indica a los rastreadores de los motores de búsqueda a qué páginas pueden acceder y a qué páginas no.
No. robots.txt solo controla el rastreo, no la indexación. Para evitar la indexación, utilice la metaetiqueta noindex o el encabezado HTTP X-Robots-Tag.
Colócalo en la raíz de tu dominio: https://tudominio.com/robots.txt. Debe ser accesible en esta URL exacta.
Genere metaetiquetas HTML completas para SEO
Read moreGenere datos estructurados JSON-LD para fragmentos enriquecidos
Read moreObtenga una vista previa de cómo aparece su página en los resultados de búsqueda de Google
Read moreEmpieza con la API de Scavio en 5 minutos
Read moreTutorial paso a paso en Python
Read moreScavio le ayuda a comprender cómo ven su sitio los motores de búsqueda. Obtenga datos SERP en vivo y realice un seguimiento de su clasificación con respuestas API estructuradas.
