Robot internetowy, robot indeksujący – program zbierający informacje o strukturze, stronach i treściach znajdujących się w internecie. Efekty pracy robota mogą być różne, w zależności od jego przeznaczenia, na przykład może on skanować wybrane witryny w celu zbudowania bazy adresów e-mail, natomiast roboty zbierające treści dla wyszukiwarek działają szerzej: badają zawartość witryny, sprawdzają kod strony, zbierają dodatkowe informacje o stronie, monitorują aktualizacje, tworzą mirrory stron.
W przypadku robota Google tzn. Googlebota mówi się o robotach wykonujących „” i „” lub „”. „” jest wykonywany często, nawet kilka razy dziennie - robot najprawdopodobniej sprawdza co się zmieniło na stronie, „” głębokie indeksowanie najprawdopodobniej polega na pobieraniu większej ilości danych z witryny i odbywa się kilka razy w miesiącu.
Nazwy używane wymiennie bot indeksujący pająk, pełzacz, — od pierwszego robota indeksującego hipertekst: www wanderera
Blokada dostępu dla robota internetowego Administrator strony internetowej może zablokować dostęp robotom indeksującym. Wówczas adres URL nie zostanie zeskanowany, co oznacza, że nie będzie widoczny w indeksie oraz wynikach wyszukiwania wyszukiwarki, takiej jak Google. Blokada dostępu dla robota odbywa się poprzez konfigurację pliku robots.txt.
Przypisy
Linki zewnętrzne
Opis zasad sterowania robotem na własnej stronie Lista aktywnych działających robotów sieciowych
Kategoria:Wyszukiwarki internetowe