Znajomość Googlebota

Googlebot to robot, który pozwala śledzić sieć Google, jest również znany jako pająk Google. W ten sposób system wykrywa nowe strony, które zostały zaindeksowane do jego bazy danych, gdzie są aktualizowane i jest ponownie włączany do indeksu Google.
Google używa dużej ilości sprzętu komputerowego do przeszukiwania miliardów stron rozpowszechnianych w sieci WWW. Opiera się na algorytmicznym procesie śledzenia, w którym programy komputerowe określają witryny, które mają być śledzone, a także częstotliwość i liczbę wyszukiwanych stron w każdej witrynie. Proces rozpoczyna się od wygenerowanej wcześniej listy stron internetowych, która jest rozwijana na podstawie danych dostarczonych z map witryn dołączonych do webmasterów. Googlebot wykrywa linki podczas każdej Twojej wizyty w tych witrynach, dodając je do listy stron do zaindeksowania. System wykrywa nowe witryny, zmiany w istniejących oraz nieaktualne linki, a następnie aktualizuje indeks Google.
Jak Googlebot uzyskuje dostęp do witryny
Googlebot zazwyczaj nie wchodzisz na strony więcej niż raz i przez kilka sekund. Zazwyczaj system pobiera tylko jedną kopię każdej strony, w przypadku wielokrotnego pobierania tej samej strony, prawdopodobnie jest to spowodowane zatrzymaniem i ponownym uruchomieniem robota.
Googlebot jest rozprowadzany na kilku komputerach, a niektóre z nich są uruchamiane z komputerów znajdujących się w pobliżu indeksowanych przez nie witryn. Możliwe, że dzienniki stron pokazują wizyty z wielu komputerów jako klient użytkownika.
Celem jest indeksowanie jak największej liczby stron w witrynie podczas każdej wykonanej wizyty bez zmniejszania przepustowości serwera.
System wyszukuje witryny za pomocą linków na ich stronach. W przypadku błędów śledzenia można je zobaczyć w Narzędziach dla webmasterów udostępnianych przez Google. Zawiera listę problemów napotkanych podczas indeksowania witryny. Dobrym pomysłem jest regularne sprawdzanie wszelkich błędów indeksowania, które mogą się pojawić, aby je zidentyfikować i naprawić.
Ponieważ adresy IP obsługiwane przez Googlebota zmieniają się od czasu do czasu, idealnym rozwiązaniem jest użycie robota „agenta użytkownika” (Googlebota). Pająk Google będzie przestrzegać wskazówek zawartych w pliku robots.txt, jednak złośliwi użytkownicy mogą ich nie przestrzegać.