Comentarios en: robots.txt http://mundogeek.net/archivos/2005/05/04/robotstxt/ Mundo geek, bitácora sobre todo lo geek: software, gadgets, tecnología, internet, linux... Fri, 19 Mar 2010 18:41:23 +0000 http://wordpress.org/?v=2.9.2 hourly 1 Por: Rolando Maldonado http://mundogeek.net/archivos/2005/05/04/robotstxt/#comment-185407 Rolando Maldonado Sun, 16 Dec 2007 16:10:38 +0000 http://mundogeek.net/archivos/2005/05/04/robotstxt/#comment-185407 Esto de los robots.txt es muy interesante, les invito a que utilicen el GsiteCrawler, que genera automaticamente el sitemap de google, el urllist del yahoo y el archivo robots.txt, es freeware y es muy bueno Esto de los robots.txt es muy interesante, les invito a que utilicen el GsiteCrawler, que genera automaticamente el sitemap de google, el urllist del yahoo y el archivo robots.txt, es freeware y es muy bueno

]]> Por: luisa http://mundogeek.net/archivos/2005/05/04/robotstxt/#comment-166854 luisa Wed, 03 Oct 2007 07:05:39 +0000 http://mundogeek.net/archivos/2005/05/04/robotstxt/#comment-166854 para iOne (comentario #4, por cierto, no estaría mal tener numerados los comentarios): Cuando dices mucho ancho de banda, ¿cuánto? Si MSN te visita todos los días es que algo "bueno" está viendo en tí, ¿no? Salvo que sea algo exagerado yo lo permitiría. En teoría si te indexan mucho es por que ven que cambias mucho, y supongo que mejorará tu posicionamiento. Otra cosa diferente son los agents tipo: I AM A SPAMMER (¿habeis recibido alguno?), y así, que supongo que estarán rastreando en busca de emails... para luego ya sabeis que. para iOne (comentario #4, por cierto, no estaría mal tener numerados los comentarios):

Cuando dices mucho ancho de banda, ¿cuánto? Si MSN te visita todos los días es que algo “bueno” está viendo en tí, ¿no? Salvo que sea algo exagerado yo lo permitiría. En teoría si te indexan mucho es por que ven que cambias mucho, y supongo que mejorará tu posicionamiento.

Otra cosa diferente son los agents tipo: I AM A SPAMMER (¿habeis recibido alguno?), y así, que supongo que estarán rastreando en busca de emails… para luego ya sabeis que.

]]> Por: alx http://mundogeek.net/archivos/2005/05/04/robotstxt/#comment-64046 alx Thu, 02 Nov 2006 16:34:07 +0000 http://mundogeek.net/archivos/2005/05/04/robotstxt/#comment-64046 ojala resulte estoy tratando de incluir mi sitio en el losw buscadores pero no aparece en ningun lado- User-agent: * Disallow: hice el archivo robots.txt con esos datos para que lo tomen todos y todos los archivos esta bien???????? ojala resulte estoy tratando de incluir mi sitio en el losw buscadores pero no aparece en ningun lado-

User-agent: *
Disallow:

hice el archivo robots.txt con esos datos para que lo tomen todos y todos los archivos
esta bien????????

]]> Por: Proletarium — Más sobre filtros en Google http://mundogeek.net/archivos/2005/05/04/robotstxt/#comment-52065 Proletarium — Más sobre filtros en Google Thu, 07 Sep 2006 17:30:24 +0000 http://mundogeek.net/archivos/2005/05/04/robotstxt/#comment-52065 [...] Tambien puedes evitar que los buscadores lo rastreen añadiendo a tu robots.txt algo como: [...] [...] Tambien puedes evitar que los buscadores lo rastreen añadiendo a tu robots.txt algo como: [...]

]]> Por: despuesdegoogle » Archivo del weblog » robots.txt (3) http://mundogeek.net/archivos/2005/05/04/robotstxt/#comment-48188 despuesdegoogle » Archivo del weblog » robots.txt (3) Mon, 14 Aug 2006 21:51:45 +0000 http://mundogeek.net/archivos/2005/05/04/robotstxt/#comment-48188 [...] (Actualización a 14 de agosto de 2006: Webmaster Libre presenta un generador en línea del archivo robots.txt y añade las direcciones de otros tres generadores: http://www.mcanerin.com/EN/search-engine/robots-txt.asp http://www.1-hit.com/all-in-one/tool-robots.txt-generator.htm http://www.submitcorner.com/Tools/Robots/ Y cita tres direcciones en español que tratan el tema: http://www.webtaller.com/google/guia_robots.php http://www.contadorwap.com/robots.php http://mundogeek.net/archivos/2005/05/04/robotstxt/) [...] [...] (Actualización a 14 de agosto de 2006: Webmaster Libre presenta un generador en línea del archivo robots.txt y añade las direcciones de otros tres generadores: http://www.mcanerin.com/EN/search-engine/robots-txt.asp http://www.1-hit.com/all-in-one/tool-robots.txt-generator.htm http://www.submitcorner.com/Tools/Robots/ Y cita tres direcciones en español que tratan el tema: http://www.webtaller.com/google/guia_robots.php http://www.contadorwap.com/robots.php http://mundogeek.net/archivos/2005/05/04/robotstxt/) [...]

]]> Por: Webmaster Libre » Archivo del weblog » Generadores de archivos Robots.txt http://mundogeek.net/archivos/2005/05/04/robotstxt/#comment-48096 Webmaster Libre » Archivo del weblog » Generadores de archivos Robots.txt Mon, 14 Aug 2006 12:44:46 +0000 http://mundogeek.net/archivos/2005/05/04/robotstxt/#comment-48096 [...] archivada en: Recursos, SEO, Herramientas Online. Puedes dejar un comentario, o enviar un trackback desde tusitio. [...] [...] archivada en: Recursos, SEO, Herramientas Online. Puedes dejar un comentario, o enviar un trackback desde tusitio. [...]

]]> Por: iOne http://mundogeek.net/archivos/2005/05/04/robotstxt/#comment-24530 iOne Mon, 09 May 2005 12:33:19 +0000 http://mundogeek.net/archivos/2005/05/04/robotstxt/#comment-24530 Si, seguro que para muchos no funciona, sobre todo los menos extendidos. De todas formas, el robots.txt no es un estándar por lo que todo esto no deja de ser un trabajo "en el aire". He visto esta página: http://www.robotstxt.org/ Tiene una FAQ que vale la pena echarle un vistazo. Además, he visto que Disallow: index.htm puede funcionar, por lo que Disallow: /post.php?id=159 no debería tener ningún problema (para los bots que respeten el archivo, claro) Si, seguro que para muchos no funciona, sobre todo los menos extendidos. De todas formas, el robots.txt no es un estándar por lo que todo esto no deja de ser un trabajo “en el aire”.

He visto esta página:

http://www.robotstxt.org/

Tiene una FAQ que vale la pena echarle un vistazo. Además, he visto que

Disallow: index.htm

puede funcionar, por lo que

Disallow: /post.php?id=159

no debería tener ningún problema (para los bots que respeten el archivo, claro)

]]> Por: Zootropo http://mundogeek.net/archivos/2005/05/04/robotstxt/#comment-24501 Zootropo Fri, 06 May 2005 18:05:33 +0000 http://mundogeek.net/archivos/2005/05/04/robotstxt/#comment-24501 actualización, iOne. parece ser que hay algunos bots que si lo aceptan y otros que no. no se cual será el caso de googlebot, pero supongo que si lo entenderá. aunque por si acaso, yo no haría experimentos sin estar seguro actualización, iOne. parece ser que hay algunos bots que si lo aceptan y otros que no. no se cual será el caso de googlebot, pero supongo que si lo entenderá. aunque por si acaso, yo no haría experimentos sin estar seguro

]]> Por: iOne http://mundogeek.net/archivos/2005/05/04/robotstxt/#comment-24500 iOne Fri, 06 May 2005 17:44:49 +0000 http://mundogeek.net/archivos/2005/05/04/robotstxt/#comment-24500 Lo probaré, lo probaré :) Lo probaré, lo probaré :)

]]> Por: Zootropo http://mundogeek.net/archivos/2005/05/04/robotstxt/#comment-24476 Zootropo Thu, 05 May 2005 17:38:38 +0000 http://mundogeek.net/archivos/2005/05/04/robotstxt/#comment-24476 pues no estoy 100% seguro porque no lo he probado, pero he visto gente que lo tiene así iOne, asi que supongo que si fucionará pues no estoy 100% seguro porque no lo he probado, pero he visto gente que lo tiene así iOne, asi que supongo que si fucionará

]]>