Cargando

Ir a contenido

X


Ver Más! HP lanza su gama de impresoras HP OffiJet pro. Una solución interesante para las necesidades de impresión en la oficina, con el ahorro por bandera y un sistema de reposición de tinta más que interesante. ¿Te lo vas a perder?


robots.txt y bloqueo de paginas



SOLUCIÓN ELEGIDA POR EL AUTOR

Iniciado por David Sanz , 05 mayo 2015 - 17:23

Si andas muy liado con el tema de robots.txt, aquí puedes crearlo y testearlo con el motor de búsqueda de Google, se agradece para testear antes de plantarlo:

 

Por favor Identificate o Registrate para poder ver este contenido

 

 

Y para los que quieran usar robots.txt para ocultar carpetas o archivos, tener en cuenta que usando robots.txt para hacer esto lo que estais haciendo es enseñando a todo el mundo que es lo que capais. En temas de seguridad es algo flojo. Mejor será que no sepan donde está la info importante a ocultar. Por eso usarlo para cosas genéricas, de ayuda al rastreo de buscadores pero no a grandes cosas privadas.

Ir a la solución

7 Respuestas de expertos

#1   Jandro30

  •   Reputación:20
  •   Respuestas:64

Publicado 05 mayo 2015 - 13:47

Me gustaria saber si el siguiente archivo robots.txt bloque las paginas de ser indexadas o no, gracias:

Por favor Identificate o Registrate para poder ver este contenido

 

  • ¿Tienes la misma pregunta? Yo también
  • Volver arriba


#2   Alice Sawn

  •   Reputación:32
  •   Respuestas:65
  •   Tutoriales:2

Publicado 05 mayo 2015 - 17:12

El archivo robots.txt lo vas a necesitar si en tu pagina web tienes contenido que no quieres que los buscadores te indexen. User-agent es los buscadores, si ponemos como en el ejemplo tuyo o mío el * significa que estas reglas son para todos los buscadores.

 

Por lo que veo, si lo que quieres es que no te indexe absolutamente nada en tu site, sería esto:

 

User-agent: *
Disallow: /



#3   Alberto Hernandez

  •   Reputación:50
  •   Respuestas:339
  •   Tutoriales:3

Publicado 05 mayo 2015 - 17:17

No, no bloquea todo el sitio, con la ultima linea estas indicando que solo bloquee el directorio  /cgi-bin/, de resto todo lo demas se indexara.



#4   Steve Blanc

  •   Reputación:27
  •   Respuestas:59

Publicado 05 mayo 2015 - 17:22

La segunda linea no es requerida, ya que la accion por defecto es allow. Saludos



#5   David Sanz

  •   Reputación:149
  •   Respuestas:230
  •   Tutoriales:9
0 1 0

Publicado 05 mayo 2015 - 17:23

Si andas muy liado con el tema de robots.txt, aquí puedes crearlo y testearlo con el motor de búsqueda de Google, se agradece para testear antes de plantarlo:

 

Por favor Identificate o Registrate para poder ver este contenido

 

 

Y para los que quieran usar robots.txt para ocultar carpetas o archivos, tener en cuenta que usando robots.txt para hacer esto lo que estais haciendo es enseñando a todo el mundo que es lo que capais. En temas de seguridad es algo flojo. Mejor será que no sepan donde está la info importante a ocultar. Por eso usarlo para cosas genéricas, de ayuda al rastreo de buscadores pero no a grandes cosas privadas.



#6   Julian10

  •   Reputación:92
  •   Respuestas:362
  •   Tutoriales:1

Publicado 05 mayo 2015 - 20:19

Como dice David, debes hacerlo con la herramienta para webmasters de Google, te vas a la sección de Rastreo y allí tienes la opción llamada Probador de robots.txt, te dejo el enlace directo, pero debes tener una cuenta Google y tu página debe haber pasado la verificación de la herramienta para poder utilizar la funcionalidad:

 

Por favor Identificate o Registrate para poder ver este contenido



#7   Jandro30

  •   Reputación:20
  •   Respuestas:64

Publicado 06 mayo 2015 - 01:15  AUTOR PREGUNTA

Gracias a todos por sus respuesta, utilizare las herramientas que me comentan para probar mi archivo, asi voy seguro jejeje



#8   Silvia

  •   Reputación:59
  •   Respuestas:112
  •   Tutoriales:2

Publicado 17 abril 2016 - 07:30

Os dejo esta web de robots, que es la oficial y te indica bien todas las opciones y fórmulas que se pueden realizar.

 

Por favor Identificate o Registrate para poder ver este contenido




No esperes más y entra en Solvetic
Deja tus soluciones y aprovecha las ventajas de la cuenta de usuario ¡Únete!



x

¿Tienes otra pregunta? Aquí puedes encontrar más soluciones!

¿Sigues sin solución? Realiza tu pregunta gratis en Solvetic ¡Únete!