Creare un file robots.txt
18 febbraio 2008
Finalmente dopo qualche mese mi sono deciso a creare il mio file “robots.txt”. Il file permette ai motori di ricerca di scansionare le pagine del sito e di indicizzarle. Per crearlo basta un comunissimo programmi di testo.
Dopo qualche ricerca su internet ho compilato il seguente file:
User-agent: *
Disallow: /wp
Disallow: /docs
Disallow: /cgi-bin
sitemap: http://www.danilopalermo.it/wp/sitemap.xml
Per controllare il file ho utilizzato questo sito, molto interessante anche questo.
Di seguito due diversi esempi molto più semplici:
User-agent: *
Disallow:
User-agent: *
Disallow: /wp
Disallow: /feed/
Disallow: /trackback/
Commenti