ograniczające liczbę pobrań ze strony na minutę.
Przykłady Cała witryna będzie indeksowana przez roboty (tak jakby nie było pliku robots.txt):
User-agent: * Disallow:
Cała witryna nie będzie indeksowana:
User-agent: * Disallow: /
Indeksowane nie będą tylko foldery „images” i „private” w katalogu głównym strony:
User-agent: * Disallow: /images/ Disallow: /private/
Indeksowany nie będzie tylko plik „file.html” w katalogu „directory”:
User-agent: * Disallow: /directory/file.html
Znaczniki meta Jest też możliwe podawanie dyrektyw dla robotów w znacznikach HTML: <meta name="robots" content="X">, gdzie to: noindex – nie indeksuj strony nofollow – nie podążaj za linkami na stronie noarchive – nie archiwizuj strony w cache X może być złożone z jednego, dwóch lub trzech powyższych słów rozdzielonych przecinkiem (np. noindex,nofollow,noarchive), przy czym dopuszczalne jest też użycie słowa none jako odpowiednika noindex,nofollow.
Znaczniki meta wymagają analizy HTML-a, więc są używane o wiele rzadziej niż robots.txt
Przypisy
Kategoria:Wyszukiwarki internetowe