Robots

Da mettere subito dopo il dominio
per esempio http://governo.it/robots.txt ha questo

User-agent: *
Disallow: /Presidenza/operazione_trasparenza/dirigenti/
Disallow: /Presidenza/operazione_trasparenza/consulenti/

Se si vuole impedire l'indicizzazione di tutto il sito si usa uno fatto così

User-agent: *
Disallow: /
Salvo diversa indicazione, il contenuto di questa pagina è sotto licenza Creative Commons Attribution-ShareAlike 3.0 License