Definizione di Robots.txt | phoenixNAP Glossario IT

Il file robots.txt è uno strumento essenziale per amministratori web e professionisti SEO, fornendo un metodo semplice ma potente per gestire come motori di ricerca interagire con a sito web ufficiale. Implementando un file robots.txt opportunamente configurato, i proprietari di siti web possono controllare quali parti del loro sito sono accessibili ai web crawler e quali devono rimanere nascoste.

Cos'è un file robots.txt?

Un file robots.txt è un file plain file di testo che risiede in directory root di un sito web e viene utilizzato per comunicare con i web crawler (noti anche come robot o spider). Fornisce istruzioni, note come "direttive", che specificano quali parti del sito web devono essere sottoposte a scansione e indicizzate dai motori di ricerca e quali parti devono essere escluse.

Il file robots.txt svolge un ruolo fondamentale nell'ottimizzazione dei motori di ricerca (SEO) consentendo ai webmaster di controllare la visibilità dei loro contenuti nei risultati dei motori di ricerca, proteggendo i contenuti sensibili e garantendo che le aree non essenziali di un sito Web non ingombrino il motore di ricerca risultati.

Struttura tecnica di robots.txt

Il file robots.txt è governato da una sintassi semplice ma precisa. Ogni direttiva è composta da due elementi principali:

agente utente. Ciò specifica il nome del web crawler a cui si applica la direttiva. Ad esempio, il crawler di Google è identificato come Googlebot, mentre il crawler di Bing è Bingbot. Se la direttiva si applica a tutti i crawler, viene utilizzato l'asterisco (*).
Non consentire/consentire. Queste direttive definiscono a quali parti del sito il crawler può o non può accedere. La direttiva Disallow impedisce a un crawler di accedere a URL o directory specifici, mentre la direttiva Consenti consente esplicitamente l'accesso a determinate aree, anche se si trovano all'interno di aree non consentite. elenco.

Inoltre, la filetto supporta i commenti, che sono righe che iniziano con il simbolo #. I commenti vengono ignorati dai crawler e vengono utilizzati come riferimento umano.

robots.txt Esempio

Un tipico file robots.txt potrebbe contenere varie direttive che si applicano a crawler specifici o a tutti. Ad esempio, un sito potrebbe impedire a tutti i crawler di accedere a determinate directory private consentendo loro di accedere ai contenuti pubblici. Un file robots.txt potrebbe essere strutturato con più regole user-agent, consentendo un controllo preciso sui diversi crawler. Per esempio:

Una direttiva potrebbe prendere di mira Googlebot, impedendogli di accedere a un'intera directory che contiene informazioni non pubbliche.
Una direttiva diversa potrebbe applicarsi a tutti i crawler, impedendo loro di indicizzare file temporanei o pagine in costruzione.
Una direttiva specializzata potrebbe essere utilizzata per un crawler specifico come AdsBot-Google, che gestisce Google Ads, per garantire che gli annunci vengano visualizzati correttamente senza indicizzare pagine non necessarie.

Questo livello di dettaglio in un file robots.txt consente ai webmaster di ottimizzare l'interazione del proprio sito con vari motori di ricerca.

Come funziona un file robots.txt?

Il file robots.txt funziona come il primo punto di contatto tra un web crawler e un sito web. Quando un web crawler visita un sito, controlla il file robots.txt prima di eseguire la scansione di qualsiasi contenuto. In genere si accede a questo file tramite il percorso URL https://www.example.com/robots.txt.

Quando un crawler incontra il file robots.txt, legge le direttive per determinare quali parti del sito web può scansionare. Il crawler segue le regole delineate nel file, indicizzando il contenuto consentito o saltando le sezioni non consentite.

Il processo può essere suddiviso nei seguenti passaggi:

Richiesta iniziale. Quando arriva su un sito web, il crawler richiede il file robots.txt. Questo è in genere il primo file a cui cerca di accedere.
Direttive di analisi. Il crawler legge e interpreta le direttive nel file robots.txt. Ciò include la comprensione di quale user-agent viene identificato e quali parti del sito Web sono limitate o consentite per la scansione.
Comportamento strisciante. Il crawler decide quale URL per accedere e indicizzare in base alle direttive analizzate. A seconda della sua configurazione, se un URL non è consentito, il crawler lo salta, evitandolo potenzialmente del tutto nelle scansioni future.

Limitazioni e considerazioni

Sebbene robots.txt sia uno strumento potente, presenta dei limiti. Ad esempio:

Nessun meccanismo di applicazione. Il file robots.txt è uno standard volontario, il che significa che mentre crawler affidabili come Googlebot o Bingbot aderiscono alle regole, crawler dannosi o non conformi potrebbero ignorare completamente il file.
Nessuna garanzia di sicurezza. Non si dovrebbe fare affidamento sul file robots.txt per motivi di sicurezza. Poiché è accessibile pubblicamente, chiunque può visualizzarlo e vedere quali aree del sito sono riservate, esponendo potenzialmente informazioni sensibili.
Limiti di dimensione del file. Alcuni crawler impongono limiti di dimensione sui file robots.txt. Ad esempio, Google consente fino a 500 KB. Se il file supera queste dimensioni, potrebbe essere troncato, causando potenziali problemi con le direttive non analizzate.

Come creare un file robots.txt?

La creazione di un file robots.txt richiede attenzione ai dettagli per garantire che comunichi in modo efficace le istruzioni desiderate ai web crawler.

Ecco i passaggi per creare un file robots.txt:

Apri un editor di testo. Inizia aprendo un editor di testo semplice come Blocco note (Windows) o TextEdit (macOS). Evita di utilizzare elaboratori di testi come Microsoft Word, poiché potrebbero aggiungere formattazione non compatibile con il formato di file robots.txt.
Scrivere le direttive. Scrivi attentamente le direttive per i crawler. Inizia specificando l'agente utente, seguito dalle regole non consentire o consentire. Ciascuna direttiva dovrebbe trovarsi su una riga separata per garantire chiarezza e un'analisi corretta da parte dei crawler.
Considera la struttura dei file. Se il tuo sito ha regole diverse per crawler diversi, puoi organizzare il file raggruppando le direttive sotto ciascuna intestazione dello user-agent. Assicurati che le istruzioni siano chiare e non siano in conflitto tra loro, poiché regole contrastanti possono portare a comportamenti imprevedibili da parte dei crawler.
Salva come testo normale. Salva il file come robots.txt senza estensioni di file aggiuntive. Il file deve essere codificato in UTF-8 per garantire la compatibilità tra diversi sistemi e crawler.
Carica nella directory principale. Usa un FTP client o il tuo hosting web Pannello di controllo per caricare il file robots.txt nella directory principale del tuo sito web. Questa directory è in genere la cartella principale in cui risiede la home page del tuo sito web.

Per siti Web più grandi o più complessi potrebbero essere necessarie considerazioni aggiuntive. Prima di rendere attivo il file robots.txt, è consigliabile utilizzare strumenti come il tester robots.txt di Google Search Console per verificare eventuali errori di sintassi o conflitti che potrebbero influire sulla scansione.

Inoltre, alcuni siti Web generano dinamicamente i propri file robots.txt in base a condizioni quali il comportamento dell'utente o i cambiamenti nella struttura del sito. Questo approccio richiede server-side Scripting e un'attenta gestione per garantire che il file generato sia sempre accurato e aggiornato.

Come bloccare i motori di ricerca in robots.txt?

Bloccare i motori di ricerca da parti specifiche del tuo sito web utilizzando robots.txt comporta una configurazione precisa per evitare di escludere accidentalmente contenuti importanti.

Ecco come bloccare i motori di ricerca:

Identificare i crawler di destinazione. Decidi se desideri bloccare tutti i motori di ricerca o solo quelli specifici. Questo viene fatto identificando gli user-agent dei crawler che desideri bloccare.
Definire le aree da bloccare. Identifica chiaramente le directory o i file di cui desideri impedire la scansione. Questi potrebbero includere sezioni private, contenuti duplicati o aree in fase di sviluppo.
Applicare le direttive. Nel file robots.txt, utilizza la direttiva disallow per specificare gli URL o le directory a cui i crawler identificati non dovrebbero accedere. Assicurati che queste regole siano precise per evitare il blocco involontario di contenuti importanti.
Considera il budget di scansione. Il blocco delle sezioni non necessarie del tuo sito aiuta a ottimizzare il budget di scansione, la quantità di risorse che i motori di ricerca assegnano alla scansione del tuo sito. Concentrando i crawler sui contenuti più importanti, puoi migliorare l'efficienza dell'indicizzazione del tuo sito.

Gestione dei casi limite

Per bloccare correttamente i motori di ricerca è necessario bilanciare il controllo su ciò che viene indicizzato garantendo al tempo stesso che i contenuti importanti rimangano visibili ai motori di ricerca. In alcuni scenari, potrebbe essere necessario eseguire passaggi aggiuntivi.

Ad esempio, se determinati parametri URL generano contenuti duplicati o pagine non necessarie, utilizza la direttiva disallow per impedire ai crawler di accedere a tali URL specifici. In altri casi, potrebbe essere necessario bloccare intere sezioni del sito, come archivi o contenuti obsoleti e non più rilevanti. Tuttavia, è necessario assicurarsi che contenuti di valore non vengano inavvertitamente bloccati durante il processo.

Come aggiungere la mappa del sito a robots.txt?

L'aggiunta di un riferimento alla mappa del sito al file robots.txt migliora significativamente il processo di indicizzazione del tuo sito web.

Ecco come aggiungere una mappa del sito a robots.txt:

Genera una mappa del sito. Assicurati che il tuo sito web disponga di una mappa del sito XML. Questa mappa del sito dovrebbe includere tutti gli URL importanti del tuo sito, insieme a metadati come la data dell'ultima modifica e la priorità di ciascun URL.
Includi la direttiva sulla mappa del sito. Aggiungi una direttiva alla fine del file robots.txt che specifichi la posizione della mappa del sito. Questa direttiva dovrebbe puntare direttamente all'URL in cui è ospitata la mappa del sito.
Mappe del sito multiple. Se il tuo sito web dispone di più Sitemap (ad esempio perché ha un numero elevato di pagine), puoi includere più istruzioni per la Sitemap. Ognuno dovrebbe essere elencato su una nuova riga.
Salva e verifica. Salva il file robots.txt aggiornato e verificane la correttezza utilizzando strumenti come Google Search Console. Assicurati che i motori di ricerca possano accedere alla mappa del sito e che rifletta correttamente la struttura del tuo sito web.

Considerazioni tecniche

Quando aggiungi una mappa del sito al file robots.txt, ci sono alcune importanti considerazioni tecniche da tenere a mente. Se il tuo sito web è grande e richiede più Sitemap, potresti utilizzare un file di indice della mappa del sito che elenca tutte le singole Sitemap. In questo caso, il file robots.txt dovrebbe fare riferimento al file dell'indice della mappa del sito anziché alle singole mappe del sito.

Inoltre, assicurati che l'URL della mappa del sito nel file robots.txt corrisponda al protocollo (HTTP o HTTPS) utilizzati dal tuo sito web. Una mancata corrispondenza tra il protocollo del tuo sito web e l'URL della mappa del sito potrebbe portare a problemi con l'indicizzazione dei motori di ricerca.

Come aggiungere robots.txt a un sito web?

Aggiungere un file robots.txt al tuo sito web è semplice, ma deve essere eseguito correttamente per garantire che funzioni come previsto.

Ecco come aggiungere un file robots.txt:

Crea il file robots.txt. Scrivi il file utilizzando un editor di testo, seguendo le linee guida sulla sintassi discusse in precedenza. Assicurati che tutte le direttive siano formattate correttamente e riflettano il comportamento di scansione previsto.
Accedi alla directory principale del sito web. Utilizza un client FTP o il pannello di controllo del tuo hosting web per accedere alla directory principale del tuo sito web. Questa directory è in genere la cartella principale in cui si trova il file indice (come indice.html o indice.php).
Carica il file. Carica il file robots.txt nella directory principale. Dovrebbe essere posizionato al livello più alto del tuo dominio per essere accessibile direttamente tramite il tuo URL principale (ad esempio, https://www.example.com/robots.txt).
Verifica il caricamento. Dopo il caricamento, verifica che il file sia accessibile visitando il suo URL in a browser web. Il file dovrebbe caricarsi correttamente e le direttive dovrebbero essere visibili.

Problemi comuni da evitare

Quando aggiungi il file robots.txt al tuo sito web, tieni presente alcune insidie comuni. Un problema comune è l'inserimento del file nella directory sbagliata. È essenziale assicurarsi che il file robots.txt si trovi nella directory principale e non in una sottodirectory o cartella, poiché i motori di ricerca non saranno in grado di trovarlo se posizionato in modo errato.

Inoltre, controlla che i permessi dei file siano impostati correttamente. Il file richiede in genere un'impostazione di autorizzazione pari a 644, che consente l'accesso in lettura a tutti limitando l'accesso in scrittura. Ciò garantisce che i web crawler possano leggere il file senza poterlo modificare.

robots.txt Migliori pratiche

Ecco le migliori pratiche per creare e gestire il tuo file robots.txt:

Evita di bloccare le pagine critiche. Assicurati che le pagine essenziali, in particolare quelle che contribuiscono alla tua strategia SEO, non vengano bloccate inavvertitamente. Ciò include pagine di destinazione, pagine di prodotto e contenuti che indirizzano traffico o conversioni.
Utilizzare direttive specifiche. Invece di regole generali di divieto che potrebbero bloccare involontariamente contenuti di valore, applica direttive specifiche mirate solo alle aree che intendi limitare. Ad esempio, se è necessario bloccare solo una determinata sottocartella all'interno di una directory, specificare tale sottocartella anziché l'intera directory.
Testa regolarmente il file robots.txt. Test regolari del file robots.txt con strumenti come Robots.txt Tester di Google Search Console possono aiutarti a identificare eventuali errori o configurazioni errate che potrebbero influire sulla visibilità del tuo sito nei motori di ricerca. Il test è particolarmente importante dopo aver apportato modifiche ai file o avviato un nuovo sito.
Aggiorna regolarmente il file. Man mano che il tuo sito web si evolve, anche il tuo file robots.txt dovrebbe evolversi. Rivedi e aggiorna periodicamente il file per riflettere i nuovi contenuti, rimuovere le direttive obsolete e adattarlo alle modifiche della struttura del tuo sito.
Non utilizzare robots.txt per motivi di sicurezza. Il file robots.txt è accessibile pubblicamente, il che lo rende inadatto alla protezione di contenuti sensibili. Utilizzare metodi di autenticazione adeguati come password sicura protezione, HTTPS o servercontrolli di accesso laterali per reali esigenze di sicurezza.
Includi riferimenti alla mappa del sito. L'aggiunta della mappa del sito al file robots.txt garantisce che i motori di ricerca possano trovare e indicizzare facilmente i contenuti del tuo sito. Ciò è particolarmente utile per i siti di grandi dimensioni in cui la struttura potrebbe non essere immediatamente evidente ai crawler.
Controlla gli errori di sintassi. Un singolo errore di sintassi può far sì che l'intero file venga ignorato o interpretato erroneamente dai crawler. Gli errori comuni includono due punti mancanti, uso errato di caratteri jolly o percorsi di directory non corretti. L'utilizzo di uno strumento di convalida può aiutarti a individuare questi errori prima che influiscano sulle prestazioni del tuo sito.