Robots.txt è un file che va inserito nella webroot di un sito web per indicare agli spider dei motori di ricerca quali zone (cartelle) del sito non sottoporre a scansione e quindi non indicizzare. Serve soprattutto per tenere dei file/pagine web in un certo senso “private”, non accessibili [...]