Obsługa robotów wyszukiwawczych – plik /robots.txt

Tuesday, December 4th, 2007

Czym jest plik robots.txt? Właściciele serwisów internetowych mogą korzystać z pliku /robots.txt w celu kontroli zachowania robotów indeksujących na swojej witrynie. W skrócie mechanizm działania pliku robots.txt wygląda tak: robot indeksujący odwiedza witrynę (lub konkretną stronę), np. http://www.domena.com/strona.html. Zanim jednak robot zacznie ściągać stronę, sprawdza, czy na serwerze istnieje plik http://www.domena.com/robots.txt. ...