Los bots de Inteligencia Artificial están indexando todo internet para entrenar sus modelos de lenguaje. Estos bots a veces provocan saturaciones en las webs de clientes debido a que son bastante agresivos en su indexación.
Esto puede llevar a caídas frecuentes del sitio web y errores 500, ya que el bot puede agotar los recursos disponibles.
Si desea bloquear este tipo de bots, deberá de crear un fichero .htaccess y añadir las siguientes lineas:
BrowserMatchNoCase "libwww-perl" bad_bot
BrowserMatchNoCase "wget" bad_bot
BrowserMatchNoCase "LieBaoFast" bad_bot
BrowserMatchNoCase "Mb2345Browser" bad_bot
BrowserMatchNoCase "zh-CN" bad_bot
BrowserMatchNoCase "MicroMessenger" bad_bot
BrowserMatchNoCase "zh_CN" bad_bot
BrowserMatchNoCase "Kinza" bad_bot
BrowserMatchNoCase "Bytespider" bad_bot
BrowserMatchNoCase "Baiduspider" bad_bot
BrowserMatchNoCase "Sogou" bad_bot
BrowserMatchNoCase "Datanyze" bad_bot
BrowserMatchNoCase "AspiegelBot" bad_bot
BrowserMatchNoCase "adscanner" bad_bot
BrowserMatchNoCase "serpstatbot" bad_bot
BrowserMatchNoCase "spaziodat" bad_bot
BrowserMatchNoCase "undefined" bad_bot
BrowserMatchNoCase "ClaudeBot" bad_bot
Order Deny,Allow
Deny from env=bad_botDe esta manera se consigue bloquear estas peticiones y el servidor vuelve a la normalidad de carga.
