Limitando el acceso a bots en un servidor web

logo de googlebot

Desde que Internet es Internet, contamos con la ayuda de los buscadores para encontrar aquello que estamos buscando (al menos, en la web). A veces, no nos interesa que determinado contenido sea indexado por los buscadores y para ello solemos recurrir a un fichero llamado robots.txt, que la mayoría de los buscadores suelen hacer cierto caso. Pero este fichero, conjuntamente con directivas incluidas en el propio código (como nofollow o noindex), es ignorado o malinterpretado por muchos otros buscadores que no respetan este estándar. Para evitar esto, podemos contar con los ficheros .htaccess y una serie de «truquitos» que veremos a […]

Leer más Limitando el acceso a bots en un servidor web