Generatore Robots.txt Gratuito
Un generatore robots.txt crea il file che dice ai crawler quali parti del tuo sito web possono visitare. Questo generatore gratuito imposta un valore predefinito per tutti i robot, consente o blocca i motori di ricerca, i crawler AI come GPTBot e ClaudeBot, e i bot SEO, aggiunge percorsi bloccati e la tua sitemap, e ti fornisce un robots.txt finito da copiare.
Robots.txt Generator
Technical SEO
Informazioni su questo strumento
Un crawler obbedisce solo al gruppo più specifico che lo nomina. Se dai a Googlebot il suo gruppo, ignora tutto nel gruppo "User-agent: *", inclusi i tuoi percorsi bloccati. Questo generatore lo gestisce per te: qualsiasi robot che imposti su Consenti mentre il valore predefinito blocca tutto ottiene il suo gruppo con i tuoi percorsi bloccati ripetuti, e i robot lasciati su "Stesso del valore predefinito" seguono semplicemente il gruppo principale.
Robots.txt controlla la scansione, non l'indicizzazione. Una pagina bloccata può comunque apparire nei risultati di ricerca se altri siti la collegano, quindi per tenere una pagina fuori, consenti che sia scansionata e aggiungi un tag noindex. Bloccare un crawler AI influisce solo sulle sue visite future. Google-Extended è un token di autorizzazione piuttosto che un crawler: bloccarlo mantiene le tue pagine fuori dall'addestramento e dal grounding di Gemini senza cambiare come Google Search ti scansiona o classifica. Google ignora Crawl-delay, mentre Bing e altri crawler lo rispettano.
L'errore costoso è un "Disallow: /" residuo da un sito di staging, che blocca silenziosamente un intero sito live. SEO SMO HUB controlla robots.txt su ogni sito client prima di qualsiasi altra cosa, e decidiamo sui crawler AI con ogni client: bloccarli protegge i contenuti, mentre consentirli mantiene il marchio idoneo a essere citato nelle risposte AI. Il nostro robots.txt accoglie GPTBot, ClaudeBot e PerplexityBot esattamente per questo motivo.
Domande frequenti
Come creo un file robots.txt?
Scegli se tutti i robot possono scansionare per impostazione predefinita, imposta qualsiasi motore di ricerca, crawler AI o bot SEO su consenti o blocca, elenca i percorsi da tenere fuori dai crawler, come /admin/ o /cart/, e incolla l'indirizzo della tua sitemap. Fai clic su genera, copia il risultato in un file di testo semplice denominato robots.txt e caricalo nella radice del tuo dominio.
Devo bloccare i crawler AI come GPTBot e ClaudeBot?
Dipende da cosa vuoi dagli strumenti AI. Bloccare i crawler di addestramento mantiene i contenuti nuovi fuori dall'addestramento futuro da parte di aziende che rispettano robots.txt, ma gli assistenti rispondono sempre più con citazioni, e i bot focalizzati sulle risposte come PerplexityBot decidono se le tue pagine possono essere citate. Molte aziende bloccano i bot di addestramento e consentono i bot di risposta. Decidi per ogni bot, non tutti insieme.
Dove carico il file robots.txt?
Salva l'output come file di testo semplice denominato robots.txt e caricalo nella radice del tuo dominio, in modo che si apra su https://tuodominio.com/robots.txt. Si applica solo a quel host e protocollo esatto, quindi un sottodominio come shop.tuodominio.com ha bisogno del suo file. Dopo il caricamento, apri l'indirizzo in un browser per confermare che si carica.
Bloccare una pagina in robots.txt la rimuove da Google?
No. Robots.txt interrompe la scansione, non l'indicizzazione. Se altre pagine collegano a un URL bloccato, Google può comunque elencarlo, di solito senza una descrizione. Per rimuovere una pagina, consenti la scansione e aggiungi un tag robot noindex, oppure proteggila con password. Una volta che è uscita dall'indice, puoi bloccarla di nuovo se vuoi.
Cosa dovrebbe contenere un robots.txt di WordPress?
Per la maggior parte dei siti WordPress: consenti tutto per impostazione predefinita, blocca /wp-admin/ consentendo /wp-admin/admin-ajax.php, ed elenca la tua sitemap, che WordPress serve su /wp-sitemap.xml o il tuo plugin SEO serve su /sitemap_index.xml. Non bloccare /wp-content/ o /wp-includes/, perché Google ha bisogno del CSS e JavaScript lì per renderizzare le tue pagine.