Larecoleta

Lo más interesante del mundo

Norma de exclusión de robots

La norma de exclusión de robots (también denominada protocolo de exclusión de robots o protocolo robots.txt) es una forma de indicar a los rastreadores web y otros robots web qué partes de un sitio web pueden ver.

Para dar instrucciones a los robots sobre las páginas de un sitio Web a las que pueden acceder, los propietarios de los sitios colocan un archivo de texto llamado robots.txt en el directorio principal de su sitio Web, por ejemplo Este archivo de texto indica a los robots a qué partes del sitio pueden acceder y a cuáles no. Sin embargo, los robots pueden ignorar los archivos robots.txt, especialmente los robots maliciosos (malos). Si el archivo robots.txt no existe, los robots web asumen que pueden ver todas las partes del sitio.