Robots.txt Generator

Etiquetas

Robots.txt Generator


Valor predeterminado: todos los robots son:  
    
Retraso de rastreo:
    
Mapa del sitio: (déjelo en blanco si no tiene) 
     
Robots de búsqueda: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Directorios restringidos: La ruta es relativa a la raíz y debe contener una barra inclinada "/"
 
 
 
 
 
 
   



Ahora, crea el archivo 'robots.txt' en tu directorio raíz. Copie el texto anterior y péguelo en el archivo de texto.


Acerca de Robots.txt Generator

Generator del archivo Robot.txt. Este archivo es el que le dice a los buscadores que tiene que ver o indexar. El robot de Google, o GoogleBot, busca en Internet constantemente nuevo contenido. Rastrea todo tipo de webs para poder indexarlos e incluirlas en su índice.
Para que tu web pueda ser encontrada a través de Google y que empieces a tener tráfico orgánico, debes asegurarte de que tu contenido está indexado en Google. Así pues, es necesario saber si tu web está indexada y cuántas URLs.