Un file Robots.txt consente di escludere pagine Web specifiche dai risultati di ricerca. I crawler ignorano le pagine e non le includono nell'indice del sito web.
Poiché alcuni crawler ignorano il file Robots.txt, la protezione con password è il modo migliore per nascondere una pagina web.
