Robots.txt Tester
Questo tester gratuito di robots.txt scarica il robots.txt live di un sito, applica le regole di corrispondenza di Google e ti dice se il crawler che scegli (Googlebot, Bingbot, GPTBot, ClaudeBot, PerplexityBot e altri) può scaricare un URL specifico, quale regola lo decide, quale gruppo di user-agent si applica e quali sitemap il file elenca. Il file stesso viene mostrato per la revisione.
Robots.txt Tester
Technical SEO
Informazioni su questo strumento
Una sola riga sbagliata in robots.txt può nascondere un intero sito da Google, e succede più spesso di quanto chiunque ammetta: un Disallow: / rimasto dalla staging, una regola pensata per una cartella che ne blocca cento, o un blocco su CSS e JavaScript che impedisce a Google di renderizzare le pagine. Lo stesso file ora decide quali crawler AI possono leggere i tuoi contenuti, quindi merita un test appropriato piuttosto che una rapida occhiata.
Il tester scarica il robots.txt alla radice del dominio, lo analizza come fa Google (raggruppa per user-agent, il gruppo del crawler stesso vince sul gruppo *, la regola più lunga che corrisponde vince, Allow vince un pareggio, * e $ sono wildcard) e valuta il percorso che fornisci per il crawler che scegli. Nomina la regola decisiva, mostra quale gruppo è stato utilizzato, elenca ogni riga Sitemap e stampa il file in modo che tu possa leggere le regole nel contesto.
Robots.txt controlla lo scaricamento, non l'indicizzazione: una pagina bloccata può comunque apparire nei risultati se altri siti la collegano, e una pagina che vuoi rimuovere ha bisogno di un tag noindex o di una richiesta di rimozione. I crawler diversi da Google possono interpretare i wildcard diversamente, e le regole nel file si applicano solo all'host da cui sono state scaricate, quindi www e non-www hanno bisogno ognuno del proprio.
Domande frequenti
Bloccare una pagina in robots.txt la rimuove da Google?
No. Robots.txt impedisce a Google di scaricare la pagina, ma se altri siti la collegano Google potrebbe comunque elencare l'URL senza una descrizione. Per mantenere una pagina fuori dai risultati, lascia che Google la scarichi e aggiungi un tag meta noindex o un header, oppure usa lo strumento di rimozione in Search Console.
Come blocco i crawler AI come GPTBot o ClaudeBot?
Aggiungi un gruppo per ognuno: User-agent: GPTBot seguito da Disallow: /, e lo stesso per ClaudeBot, CCBot o Google-Extended. Ogni crawler ha il suo token e il suo gruppo. Ricorda che bloccare i crawler AI mantiene anche i tuoi contenuti fuori dalle risposte di ricerca AI, quindi decidi cosa vuoi prima di bloccare tutto.
Quale regola vince quando Allow e Disallow corrispondono entrambi?
Google usa la regola più specifica, cioè il percorso più lungo che corrisponde. Se entrambi hanno la stessa lunghezza, Allow vince. Quindi Disallow: /blog/ con Allow: /blog/guide consente la pagina della guida. I wildcard contano per la loro lunghezza letterale, quindi una regola con * può perdere contro un percorso semplice più lungo.
Perché Google ignora la mia riga Crawl-delay?
Google non supporta Crawl-delay e non l'ha mai fatto; imposta il suo proprio tasso di crawl, che puoi abbassare in Search Console. Bing e Yandex lo rispettano. Il tester riporta solo le righe Allow, Disallow e Sitemap perché sono quelle che Google legge.
Il mio robots.txt restituisce 404. È un problema?
Non di per sé: un robots.txt mancante significa che tutto può essere scaricato. Un robots.txt che restituisce un errore del server (5xx) è peggio, perché Google potrebbe smettere di scaricare il sito finché non si recupera. Se non hai nulla da bloccare, servi un piccolo file con User-agent: * e un Disallow vuoto, più la tua riga sitemap.