Dentro de tu trabajo como administrador de sistemas, en ocasiones te toca despejar incógnitas que, aunque no sean «lo tuyo», afectan a terceros y se convierten en tu problema desde el momento en que un cliente ve perjudicado el posicionamiento de su negocio online. Por lo que hoy volvemos a hablar de Google y alguno de sus robots que por lo que se ve, tienen (molestos / insistentes) «errores de corrupción de memoria» (a los logs del final me remito).

Sobre este tema, algo he comentado sin profundizar vía Twitter y también en mi demo de ConectaCon o la de DragonJar. Tenía pendiente ampliarlo con el fin también de intentar ayudaros si vuestra web o la de algún cliente, pueda verse afectada por una cuestión de este tipo, que a priori no es tan fácil de detectar o relacionar y más con los mensajes tan poco claros que llegan del Centro de Webmasters de Google.. También la semana pasada vi en Menéame un post sobre Google y ataques SQLi, (recomiendo leer los comentarios, citan por cierto un caso similar a este).

No os quiero contar ya cómo puede afectarle a alguien que se dedica al SEO una cuestión como la que os comento. El ejemplo es uno de tantos que os podría mostrar y como podéis ver, el robot de Google insiste en conectarse con el usuario anonymous al FTP de un servidor y, a pesar de que se le bloquea el acceso, se puede ver bien en los logs como realiza dos intentos por IP con diferentes intervalos de tiempo de forma continuada.

El tema se complica cuando el «Googlebot» al comprobar que, o bien no es un FTP público, o que se le bloquea tras varios intentos de conexión siendo considerado como un ataque de fuerza bruta, no sólo deja de indexar el contenido de tu FTP si estuviese abierto al público (ojo al tema… similar al de listados de directorios por defecto), sino que también la indexación de la parte pública o visible de tu web se ve afectada porque simplemente «se va»…

Google ya puede llamar a su algoritmo panda, pingüino o colibrí, también hacer creer al sufrido webmaster que «lo sabe todo de tu sitio» e incluso intentar regular e imponer su ley en los resultados de las búsquedas y el posicionamiento, pero más bien parece un pez por la poca memoria que demuestra tener, insistiendo en acceder a un contenido que, o bien no está creado para él, o simplemente no existe y mira que sería fácil a nivel de código en su «bot» solventarlo…

Está claro que se puede trabajar con listas blancas o de exclusión, bajar el número de intentos de conexión a tu FTP antes de bloquear un intento de conexión ilegítimo, etc. Pero que cada uno saque sus propias conclusiones con lo que os comento. Todos tenemos claro que a Google le interesa acceder e indexar todo lo posible y si, tu servidor o web no lo permite bien a nivel de robots.txt, un .htaccess / .htpassword, sistemas para bloquear ciertos ataques de fuerza bruta u otras medidas, te penaliza en los resultados de las búsquedas ¿si tu servidor no está por defecto te perjudica? parece que sí.

Sirva como una muestra más de los misterios de Google, otro ejemplo de hace un par de años que os conté aquí mucho antes de PRISM o el tema de la NSA que viví en primera persona con Google Apps  «casualidad, causalidad o inseguridad». Visto lo visto, o filtrado lo filtrado, quién sabe…

Mi compañero de DebianHackers Debish publicó hace unos días un post con el título «Google miente» refiriéndose a otra cuestión, ellos lo llamarán «features», pero más bien parecen cagadas ¿involuntarias? Vete tú a saber, la culpa / responsabilidad suele ser soltera o siempre puedes echársela al algoritmo (o al SysAdmin, todo un clásico). No es mi caso, pero si lo tuyo es el SEO, ya sabes, revisa logs sin dar nada por hecho, e incluye dentro de lo probable, algo así.

Una pequeña muestra de un caso reciente en un servidor bajo Debian:

Como podréis ver, repiten a gusto a pesar de los bloqueos.

/var/log# cat auth.log | grep -i google

Nov 3 16:38:44 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-100.googlebot.com

Nov 3 16:41:00 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-100.googlebot.com

Nov 3 17:13:10 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-57.googlebot.com

Nov 3 17:15:11 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-57.googlebot.com

Seguir leyendo