Archivi Tag: meta robots

Robots.txt è un file che va inserito nella webroot di un sito web per indicare agli spider dei motori di ricerca quali zone (cartelle) del sito non sottoporre a scansione e quindi non indicizzare. Serve soprattutto per tenere dei file/pagine web in un certo senso “private”, non accessibili facilmente a tutti. Il file Robots.txt può essere creato tramite un qualsiasi …

Continua a Leggere »