Pewnego dnia sprawdzając swoją stronę w wynikach wyszukiwarki Google natknąłem się na zindeksowaną przez nią mapę strony sitemap.xml.
Od razu wydało mi się to mało logiczne. Równie niedorzecznym byłoby zindeksowanie pliku robots.txt (czytałem o takich przypadkach).
Wydawać by się mogło, że Google zaimplementował pewne wyjątki chroniące przed taką okolicznością, a jednak nie.
Jak temu zaradzić?
W pierwszej kolejności pomyślałem o pliku robots.txt:
Sitemap: http://example.com/sitemap.xml User-agent: * Disallow: /sitemap.xml
Uzupełnieniem powyższego rozwiązania, które nie gwarantuje niezindeksowania pliku sitemap.xml jest wysłanie odpowiedniego nagłówka za pomocą skryptu PHP:
header("X-Robots-Tag: noindex", true);
lub skryptu .htaccess:
<Files sitemap.xml> Header set X-Robots-Tag "noindex" </Files>
Należy uważać, aby z rozpędu nie dodać oprócz noindex także nofollow, bo chyba zależy nam na tym, aby linki w sitemap.xml były zindeksowane? 😉
