Dentro de tu trabajo como administrador de sistemas, en ocasiones te toca despejar incógnitas que, aunque no sean «lo tuyo», afectan a terceros y se convierten en tu problema desde el momento en que un cliente ve perjudicado el posicionamiento de su negocio online. Por lo que hoy volvemos a hablar de Google y alguno de sus robots que por lo que se ve, tienen (molestos / insistentes) «errores de corrupción de memoria» (a los logs del final me remito).
Sobre este tema, algo he comentado sin profundizar vía Twitter y también en mi demo de ConectaCon o la de DragonJar. Tenía pendiente ampliarlo con el fin también de intentar ayudaros si vuestra web o la de algún cliente, pueda verse afectada por una cuestión de este tipo, que a priori no es tan fácil de detectar o relacionar y más con los mensajes tan poco claros que llegan del Centro de Webmasters de Google.. También la semana pasada vi en Menéame un post sobre Google y ataques SQLi, (recomiendo leer los comentarios, citan por cierto un caso similar a este).
No os quiero contar ya cómo puede afectarle a alguien que se dedica al SEO una cuestión como la que os comento. El ejemplo es uno de tantos que os podría mostrar y como podéis ver, el robot de Google insiste en conectarse con el usuario anonymous al FTP de un servidor y, a pesar de que se le bloquea el acceso, se puede ver bien en los logs como realiza dos intentos por IP con diferentes intervalos de tiempo de forma continuada.
El tema se complica cuando el «Googlebot» al comprobar que, o bien no es un FTP público, o que se le bloquea tras varios intentos de conexión siendo considerado como un ataque de fuerza bruta, no sólo deja de indexar el contenido de tu FTP si estuviese abierto al público (ojo al tema… similar al de listados de directorios por defecto), sino que también la indexación de la parte pública o visible de tu web se ve afectada porque simplemente «se va»…
Google ya puede llamar a su algoritmo panda, pingüino o colibrí, también hacer creer al sufrido webmaster que «lo sabe todo de tu sitio» e incluso intentar regular e imponer su ley en los resultados de las búsquedas y el posicionamiento, pero más bien parece un pez por la poca memoria que demuestra tener, insistiendo en acceder a un contenido que, o bien no está creado para él, o simplemente no existe y mira que sería fácil a nivel de código en su «bot» solventarlo…
Está claro que se puede trabajar con listas blancas o de exclusión, bajar el número de intentos de conexión a tu FTP antes de bloquear un intento de conexión ilegítimo, etc. Pero que cada uno saque sus propias conclusiones con lo que os comento. Todos tenemos claro que a Google le interesa acceder e indexar todo lo posible y si, tu servidor o web no lo permite bien a nivel de robots.txt, un .htaccess / .htpassword, sistemas para bloquear ciertos ataques de fuerza bruta u otras medidas, te penaliza en los resultados de las búsquedas ¿si tu servidor no está por defecto te perjudica? parece que sí.
Sirva como una muestra más de los misterios de Google, otro ejemplo de hace un par de años que os conté aquí mucho antes de PRISM o el tema de la NSA que viví en primera persona con Google Apps «casualidad, causalidad o inseguridad». Visto lo visto, o filtrado lo filtrado, quién sabe…
Mi compañero de DebianHackers Debish publicó hace unos días un post con el título «Google miente» refiriéndose a otra cuestión, ellos lo llamarán «features», pero más bien parecen cagadas ¿involuntarias? Vete tú a saber, la culpa / responsabilidad suele ser soltera o siempre puedes echársela al algoritmo (o al SysAdmin, todo un clásico). No es mi caso, pero si lo tuyo es el SEO, ya sabes, revisa logs sin dar nada por hecho, e incluye dentro de lo probable, algo así.
Una pequeña muestra de un caso reciente en un servidor bajo Debian:
Como podréis ver, repiten a gusto a pesar de los bloqueos.
/var/log# cat auth.log | grep -i google
Nov 3 16:38:44 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-100.googlebot.com
Nov 3 16:41:00 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-100.googlebot.com
Nov 3 17:13:10 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-57.googlebot.com
Nov 3 17:15:11 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-57.googlebot.com
Nov 4 01:26:15 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-9.googlebot.com
Nov 4 01:28:12 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-9.googlebot.com
Nov 4 06:55:32 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-144.googlebot.com
Nov 4 06:57:33 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-144.googlebot.com
Nov 4 07:00:27 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-230.googlebot.com
Nov 4 07:02:32 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-230.googlebot.com
Nov 4 11:37:20 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-57.googlebot.com
Nov 4 11:39:26 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-57.googlebot.com
Nov 4 13:16:28 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-229.googlebot.com
Nov 4 13:18:31 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-229.googlebot.com
Nov 4 14:23:33 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-237.googlebot.com
Nov 4 14:25:33 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-237.googlebot.com
Nov 4 14:28:09 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-116.googlebot.com
Nov 4 14:30:08 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-116.googlebot.com
Nov 4 16:30:26 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-100.googlebot.com
Nov 4 17:43:48 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-57.googlebot.com
Nov 4 19:04:52 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-131.googlebot.com
Nov 4 19:06:43 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-131.googlebot.com
Nov 4 19:09:19 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-103.googlebot.com
Nov 4 19:11:17 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-103.googlebot.com
Nov 4 19:28:47 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-178.googlebot.com
Nov 4 19:31:02 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-178.googlebot.com
Nov 4 21:36:26 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-229.googlebot.com
Nov 4 23:52:32 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-239.googlebot.com
Nov 4 23:54:27 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-239.googlebot.com
Nov 5 02:28:16 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-100.googlebot.com
Nov 5 02:29:31 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-23.googlebot.com
Nov 5 02:29:41 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-23.googlebot.com
Nov 5 03:45:23 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-131.googlebot.com
Nov 5 06:01:53 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-86.googlebot.com
Nov 5 06:03:46 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-86.googlebot.com
Nov 5 08:09:56 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-23.googlebot.com
Nov 5 08:10:09 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-100.googlebot.com
Nov 5 09:15:46 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-159.googlebot.com
Nov 5 09:17:45 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-159.googlebot.com
Nov 5 10:27:43 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-151.googlebot.com
Nov 5 10:29:36 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-151.googlebot.com
Nov 5 13:32:26 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-159.googlebot.com
Nov 5 15:13:38 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-131.googlebot.com
Nov 5 15:15:44 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-131.googlebot.com
Nov 5 16:34:40 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-48.googlebot.com
Nov 5 16:36:35 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-48.googlebot.com
Nov 6 01:06:34 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-178.googlebot.com
Nov 6 01:08:42 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-178.googlebot.com
Nov 6 01:54:11 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-48.googlebot.com
Nov 6 04:14:40 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-57.googlebot.com
Nov 6 04:16:39 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-57.googlebot.com
Nov 6 04:20:06 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-100.googlebot.com
Nov 6 04:22:16 pam_unix(pure-ftpd:auth): authentication failure; logname= uid=0 euid=0 tty=pure-ftpd ruser=anonymous rhost=crawl-66-249-66-100.googlebot.com
Si has llegado hasta aquí, eres de los pasa más tiempo del recomendado en el syslog -;)
Liamngls
Próximamente en sus casas: Hola, somos de la NSA, déjemos registrar su domicilio o le llenaremos de multas por cualquier cosa xD
Al final la realidad supera a la ficción con creces, tiempo al tiempo :-P
dabo
Sinceramente mi capacidad de sorpresa cotiza a la baja con esta gente y sus acólitos, hablando de la NSA y sus «partners»…
israelmgo
Los Googlebot cada vez mas, se parecen a los robots centinela de Matrix ¿os acordáis? Pues eso, de bueno no tenia nada.
dabo
Hostia es verdad, qué míticos los centinela, tengo que volver a verla porque la realidad está casi a la par que la ficción (y lo que no sabemos…)
debish
El mensaje es claro, o lo cedes todo o te promociona el sitio tu p*** m****. Si está on-line forma parte del trato y no es negociable.
Vaya tela.
debish
@israelmgo Yo cuanto más «viejo» me hago en el mundo de las tecnologías, más cuenta me doy de todo lo que nos queda por aprender de las películas de ciencia ficción. Y eso que soy relativamente asiduo y me he tragado unas cuantas. Jodidos visionarios Vernianos.
dabo
Ya te digo, si es que al final o es que está todo inventado / filmado y ellos cogen las PoC y las hacen realidad o están todo el día haciendo más maquiavélico al algoritmo de turno.