Genera un file robots.txt per il tuo sito web. Configura regole per diversi user agent, blocca percorsi e aggiungi riferimenti alla sitemap.
Crea un file robots.txt aggiungendo regole per diversi crawler. Specifica percorsi consentiti e non consentiti, ritardo di scansione e URL della sitemap. Lo strumento convalida le tue regole e genera un file robots.txt correttamente formattato.
robots.txt è un file di testo posizionato nella root del tuo sito web che dice ai crawler dei motori di ricerca quali pagine possono e non possono accedere.
No. robots.txt controlla solo la scansione, non l'indicizzazione. Per prevenire l'indicizzazione, usa il meta tag noindex o l'header HTTP X-Robots-Tag.
Posizionalo nella root del tuo dominio: https://yourdomain.com/robots.txt. Deve essere accessibile esattamente a questo URL.
Genera meta tag HTML completi per la SEO
Read moreGenera dati strutturati JSON-LD per rich snippet
Read moreAnteprima di come appare la tua pagina nei risultati di ricerca di Google
Read moreInizia con l'API Scavio in 5 minuti
Read moreTutorial Python passo dopo passo
Read moreScavio ti aiuta a capire come i motori di ricerca vedono il tuo sito. Ottieni dati SERP in tempo reale e monitora le tue posizioni con risposte API strutturate.
