Google esialgne vastus on juba olemas ajakirjandusele. Kui Te ei soovi, et me lehti indekseerime siis palun , tuletage meelde robots.txt fail ja lisage sinna mõned read. Tavaliselt paigutatakse see kodulehe root'i, index.XXX kõrvale.
Google palun ära indekseeri meie uudiseid.
User-agent: Googlebot-News
Disallow: /
Google, palun ära indekseeri teatuid teemasid.
User-agent: Googlebot-News
Disallow: /archives
Analoogselt saab keelata ka blogide, kodulehtede indekseerimise:
User-agent: Googlebot
Disallow: /latest_news