Czym są sitemapy?

W celu szybkiego przekazania adresów stron do wyszukiwarki warto skorzystać z mechanizmu przesyłania sitemap. Sitemap to po prostu plik – tekstowy lub plik XML zawierający mapę serwisu. W pliku znajdują się wszystkie URLe witryny, które mają zostać zindeksowane przez wyszukiwarkę. Jest to szczególnie przydatne w przypadkach, gdy:

• zależy nam na szybkiej indeksacji nowo stworzonego lub przeprojektowanego serwisu
• nie wszystkie strony serwisu są łatwo dostępne (odpowiednio podlinkowane)
• chcemy mieć kontrolę nad częstotliwością ściągania poszczególnych części serwisu (tylko pliki sitemap w formacie XML)
• serwis jest bardzo rozbudowany i wyszukanie wszystkich dostępnych stron zajęłoby robotom indeksującym zbyt wiele czasu
• gdy chcemy być pewni, że cały nasz serwis zostanie poprawnie zindeksowany

Narzędzia do tworzenia plików sitemap

Google posiada własne rozwiązanie pozwalające na generowanie plików sitemap. Pełną dokumentację do znajdziesz na stronie Google Sitemap Generator. Narzędzie to, stworzone w Pythonie jest niezbyt przyjazne w obsłudze oraz wymaga dostępu do konta, na którym można uruchamiać skrypty w Pythonie. Nie każdy ma taką możliwość. W wypadku, gdy preferujesz programy uruchamiane na własnym komputerze lub masz dostęp wyłącznie do PHP, możesz skorzystać z dziesiątek różnych programów firm trzecich, które realizują podobną funkcjonalność.

Oprogramowanie do tworzenie sitemap można z grubsza podzielić na 4 kategorie:

• pluginy do popularnych systemów CMS
• oprogramowanie do ściągnięcia działające jako aplikacje (pod Windows, Linuxa lub MacOS)
• narzędzia działające online
• generatory w formie programów do wbudowania we własne aplikacje

Pełną listę programów do tworzenia sitemap można znaleźć na stronach Google’a. W dalszej części artykułu opiszę kilka najciekawszych z nich (wybrano oczywiście narzędzia bezpłatne).

Gdzie można przekazywać plik z mapą serwisu?

Teoretycznie, każda szanująca się wyszukiwarka akceptuje protokół sitemaps. Wystarczy więc uruchomić przeglądarkę i wpisać następujący adres (zakładamy, że chcemy dodać sitemapę do wyszukiwarki o nazwie Szukaj.com, a nasza sitemapa znajduje się pod adresem http://nasza-fajna-strona.pl/mapa-serwisu.gz):

szukaj.com/ping?sitemap=http://nasza-fajna-strona.pl/mapa-serwisu.gz

Google posiada jednak serwis, który ułatwia przekazywanie sitemap – Google Webmaster Tools.

Google Webmaster Tools

Administratorom i właścicielom stron najbardziej zależy zapewne na dobrej indeksacji swoich serwisów w Google. Z uwagi na pozycję na rynku, właściwie można martwić się tylko o to, czy serwis jest w Google czy też nie. Narzędzie Webmaster Tools to jednak nie tylko przekazywanie plików sitemap do indeksacji przez roboty. Dzięki Webmaster Tools można:

• ustawiać prędkość ściągania (crawling speed) danych przez robota Google
• dodawać, zmieniać i testować pliki wykluczeń robotów (robots.txt)
• testować i sprawdzać poprawność linków serwisu (np. pod kątem błędów 404)
• usuwać strony lub kopie stron z indeksu Google
• zobaczyć, jak naszą stronę widzi robot indeksujący Googlebot
• sprawdzić ile linków prowadzi do naszej witryny (i skąd)

Jednym słowem: Webmaster Tools to niezbędne każdemu webmasterowi narzędzie, bardzo pomocne w każdym aspekcie zarządzania witryną.

Jaki program do tworzenia sitemap wybrać?

Testowaliśmy kilkanaście różnych programów offline i online tworzących mapy stron. Godne polecenia są trzy z nich:

• phpSitemapNG – Free Google Sitemap generator – narzędzie napisane w PHP działające online
• GSite Crawler – program offline działający pod systemem Windows
• WordPress Sitemap Generator Plugin – plugin działający w środowisku WordPress

Wszystkie aplikacje nadają się do stworzenia map witryn dla średnich i małych serwisów. GSite Crawler potrafi stworzyć mapę dla serwisu składającego się z kilku(dziesięciu) tysięcy stron, jednak ze względu na użyty rodzaj bazy danych i słabą optymalizację – ma również swoje ograniczenia. Oba programy są jednak wyjątkowo łatwe w użyciu oraz zupełnie darmowe. Polecamy oczywiście własne eksperymenty z innymi aplikacjami.

Odnośniki do ciekawej literatury:

http://www.sitemaps.org/pl/ – kompendium wiedzy na temat tworzenia, obsługi i przekazywania plików sitemap.

http://www.google.com/support/webmasters/ – informacje Google na temat tworzenia, korzystania i składni sitemap.