Robots.txt: un file importante | SEO linee guida (Parte 11)

Robots.txt è un file di semplice testo che ci aiuta a limitare l’indicizzazione di alcune pagine o files del nostro sito.

Può sembrare strano il non voler indicizzare alcune pagine, ma se pensiamo alle aree di registrazione utenti sui siti dinamici, aree riservate o files che hanno usi specifici per il funzionamento del nostro sito, come ad esempio una cartella di upload, tutto diventa molto chiaro e vediamo subito che questo file diventa estremamente utile per evitare di indicizzare contenuti non necessari.

Ma robots.txt non serve soltanto a non indicizzare alcune pagine, serve anche a far sì che vengano messi in evidenza files importanti per i motori di ricerca, come ad esempio la mappa del sito, o sitemap, un file in formato xml che informa i motori di ricerca sulla costruzione delle nostre pagine, come la data di pubblicazione, la priorità, l’aggiornamento eccetera.

Dove collocare robots.txt?

Il file robotx.txt, deve essere collocato nella cartella principale del nostro sito, ovvero quella che contiene il file index (.html, .php, .asp o altre estensioni).
E’ in questa posizione che i motori di ricerca sanno di trovare questo file utile per avere le informazioni sulla possibilità o meno di indicizzare porzioni del nostro sito, anche se non è comunque un ordine tassativo, ovvero i motori potrebbero ignorare le istruzioni, oppure potrebbero indicare nei risultati delle ricerche soltanto l’indirizzo delle pagine che non dovrebbero essere indicizzate, non indicandone i contenuti, ma rimarrebbe sempre e comunque il link.