Robots.txt Generator

Robots.txt Generator

Predeterminado - Todos los robots son:	Permitido Rechazado
Retardo de rastreo:	Predeterminado - Sin retraso 5 Seconds 10 Seconds 20 Seconds 60 seconds 120 Seconds
Mapa del sitio: (deje en blanco si no tiene)
Robots de búsqueda:	Google	Igual que el predeterminado Permitido Rechazado
	Google Image	Igual que el predeterminado Permitido Rechazado
	Google Mobile	Igual que el predeterminado Permitido Rechazado
	MSN Search	Igual que el predeterminado Permitido Rechazado
	Yahoo	Igual que el predeterminado Permitido Rechazado
	Yahoo MM	Igual que el predeterminado Permitido Rechazado
	Yahoo Blogs	Igual que el predeterminado Permitido Rechazado
	Ask/Teoma	Igual que el predeterminado Permitido Rechazado
	GigaBlast	Igual que el predeterminado Permitido Rechazado
	DMOZ Checker	Igual que el predeterminado Permitido Rechazado
	Nutch	Igual que el predeterminado Permitido Rechazado
	Alexa/Wayback	Igual que el predeterminado Permitido Rechazado
	Baidu	Igual que el predeterminado Permitido Rechazado
	Naver	Igual que el predeterminado Permitido Rechazado
	MSN PicSearch	Igual que el predeterminado Permitido Rechazado
Directorios restringidos:	La ruta es relativa a la raíz y debe contener una barra diagonal. "/"

Ahora, cree el archivo 'robots.txt' en su directorio raíz. Copia el texto anterior y pégalo en el archivo de texto.

Acerca de Robots.txt Generator

Robots.txt Generator tool

El archivo robot.txt es un archivo de texto que los motores de búsqueda rastrean para obtener información donde especifica y le dice a los robots de los buscadores que carpetas y archivos deben de revisar y que no tienen que ver para poder así indexar el contenido importante principal. El Generador del archivo robot.txt. es un archivo importante que debe tener un alojamiento de su web. Ya que en un alojamiento (website) usted puede tener carpetas personales o carpetas y archivos que no quiere que se conozca ya que son privadas o de analitica o de administración o quiza sean archivos complementarios de la web. El robot de Google, o GoogleBot, busca en Internet constantemente nuevo contenido y revisa dicho archivo para rastrear lo que es la web o lo que no debe revisar.