Si te está ocurriendo que un bot de un buscador está recorriendo tu web y consumiendo todo el tráfico o poniéndolo lento, te mostraremos cómo detectarlo y bloquearlo.
Diagnóstico
Primero, ve a la app de estadísticas AWStats y revisa el recuadro Visitas de bots y spiders. Luego, determina cuál es el bot que más tráfico está consumiendo.
En este caso, el problema lo está generando el bot de Semrush (SemrushBot), que es una app de análisis SEO y SEM (posicionamiento web), la cual, salvo que estés usándola para monitorear o analizar tu site, no aporta nada especial que esté recorriéndolo.
Cómo bloquear un bot o user agent con .htaccess
1. Abre el archivo .htaccess.
2. Agrega estas líneas:
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^SemrushBot [NC]
RewriteRule ^.* - [F,L]
</IfModule>
En este ejemplo estamos bloqueando el bot de Semrush (el User Agent es Semrushbot), pero si se trata de otro bot el que quieras bloquear, cambia el nombre en el código por el que desees.
Si son varios User Agent, agrega una línea de "RewriteCond..." por cada uno.
3. Guarda los cambios.
