O estándar de exclusión de robots (tamén chamado protocolo de exclusión de robots ou protocolo robots.txt ) é unha forma de indicar aos exploradores web e a outros robots web que partes dun sitio web poden ver.
Para darlle aos robots instrucións sobre a que páxinas dun sitio web poden acceder, os propietarios do sitio colocan un ficheiro de texto chamado robots.txt no directorio principal do seu sitio web, por exemplo http://www.example.com/robots.txt . Este ficheiro de texto indica aos robots a que partes do sitio poden acceder ou non. Non obstante, os robots poden ignorar os ficheiros robots.txt, especialmente os robots maliciosos. Se o ficheiro robots.txt non existe, os robots web asumen que poden ver todas as partes do sitio.
Exemplos de ficheiros robots.txt
Google YouTube Wikipedia
Notas
Categoría:Protocolos de Internet