Cargando

robots.txt y bloqueo de paginas




Solución elegida por el autor
Iniciado por David Sanz , 05 mayo 2015 - 18:23

Si andas muy liado con el tema de robots.txt, aquí puedes crearlo y testearlo con el motor de búsqueda de Google, se agradece para testear antes de plantarlo:

 

Por favor Identificate o Registrate para poder ver este contenido

 

 

Y para los que quieran usar robots.txt para ocultar carpetas o archivos, tener en cuenta que usando robots.txt para hacer esto lo que estais haciendo es enseñando a todo el mundo que es lo que capais. En temas de seguridad es algo flojo. Mejor será que no sepan donde está la info importante a ocultar. Por eso usarlo para cosas genéricas, de ayuda al rastreo de buscadores pero no a grandes cosas privadas.

Pulsa corazón para recibir avisos de nuevas Respuestas

  AUTOR PREGUNTA

Publicado 05 mayo 2015 - 14:47

Me gustaria saber si el siguiente archivo robots.txt bloque las paginas de ser indexadas o no, gracias:

User-agent: * 
Disallow: 
Disallow: /cgi-bin/
 

  • ¿Tienes la misma pregunta? Yo también
  • Volver arriba

 

Publicado 05 mayo 2015 - 18:12

El archivo robots.txt lo vas a necesitar si en tu pagina web tienes contenido que no quieres que los buscadores te indexen. User-agent es los buscadores, si ponemos como en el ejemplo tuyo o mío el * significa que estas reglas son para todos los buscadores.

 

Por lo que veo, si lo que quieres es que no te indexe absolutamente nada en tu site, sería esto:

 

User-agent: *
Disallow: /



 

Publicado 05 mayo 2015 - 18:17

No, no bloquea todo el sitio, con la ultima linea estas indicando que solo bloquee el directorio  /cgi-bin/, de resto todo lo demas se indexara.



 

Publicado 05 mayo 2015 - 18:22

La segunda linea no es requerida, ya que la accion por defecto es allow. Saludos



 

Publicado 05 mayo 2015 - 18:23

Si andas muy liado con el tema de robots.txt, aquí puedes crearlo y testearlo con el motor de búsqueda de Google, se agradece para testear antes de plantarlo:

 

Por favor Identificate o Registrate para poder ver este contenido

 

 

Y para los que quieran usar robots.txt para ocultar carpetas o archivos, tener en cuenta que usando robots.txt para hacer esto lo que estais haciendo es enseñando a todo el mundo que es lo que capais. En temas de seguridad es algo flojo. Mejor será que no sepan donde está la info importante a ocultar. Por eso usarlo para cosas genéricas, de ayuda al rastreo de buscadores pero no a grandes cosas privadas.



 

Publicado 05 mayo 2015 - 21:19

Como dice David, debes hacerlo con la herramienta para webmasters de Google, te vas a la sección de Rastreo y allí tienes la opción llamada Probador de robots.txt, te dejo el enlace directo, pero debes tener una cuenta Google y tu página debe haber pasado la verificación de la herramienta para poder utilizar la funcionalidad:

 

Por favor Identificate o Registrate para poder ver este contenido



   AUTOR PREGUNTA

Publicado 06 mayo 2015 - 02:15

Gracias a todos por sus respuesta, utilizare las herramientas que me comentan para probar mi archivo, asi voy seguro jejeje



 

Publicado 17 abril 2016 - 08:30

Os dejo esta web de robots, que es la oficial y te indica bien todas las opciones y fórmulas que se pueden realizar.

 

Por favor Identificate o Registrate para poder ver este contenido




X