[karoshi]

Hi, vielleicht habt Ihr es schon gemerkt: in den letzten Tagen gab es immer mal wieder Zeiten in denen die Website nicht erreichbar war oder nur mit großer Verzögerung reagierte. Der Hintergrund ist, dass immer wieder die Datenbank in die Knie geht unter der Last von teilweise über 2000 Gästen, die gleichzeitig im Forum aktiv sind.

Das sind natürlich keine Menschen, sondern Bots. Auch wenn das bis zu einem gewissen Punkt normal ist und dazu gehört (z. B. wenn der Googlebot die Seite crawlt), hat es zuletzt ein Volumen erreicht, das einer DDoS-Attacke gleich kommt.

Ich habe schon versucht, durch gezielte Änderungen am Setup die Datenbank leistungsfähiger zu machen, es scheint aber nur vorüber gehend Erfolg gehabt zu haben. Vielleicht liegt es daran, dass die Botnetze jetzt versuchen, den Stau aufzuarbeiten. In jedem Fall ist es lästig, und falls jemand eine gute Idee hat, wie man dagegen vorgehen kann, wäre ich sehr dankbar.

[karoshi]

Was ich inzwischen mit Sicherheit sagen kann ist, dass es nicht an der Datenbank liegt.

Schön ist, dass man inzwischen ein Fehler-Logfile einfach so bei ChatGPT reinkopieren kann, und sofort einen ganz guten Hinweis auf die Ursache bekommt. Auf Vorschlag der KI hin habe ich eine spezifische Security-Regel deaktiviert, die eigentlich Bot-Angriffe einschränken soll, aber in meinem speziellen Setup oft zu False Positives führt und alle möglichen Folgeprobleme verursachen kann. Und seitdem scheint's wieder flüssig zu laufen. Die Zahl der aktiven Gäste liegt jedenfalls wieder im dreistelligen Bereich. Das sind Zahlen, die ich gewohnt bin und im Grunde auch erwarte.

Das eigentliche Problem liegt natürlich tiefer, aber da mache ich heute nichts mehr dran.

[Kabelgleichung]

Schau mal in den Logs, woher der Bot-Traffic kommt. Bei einem ähnlichen von mir betreuten Projekt kommt dieser hauptsächlich Cloud-Platformen. Ich habe mir dann entsprechende Filter für fail2ban erstellt und banne diese IP-Ranges nun hart in der Firewall, da ich von diesen AS keinen legitimen traffic erwarte. Falsche Filterregeln bergen aber natürlich ein gewisses Risiko, auch legitime User auszusperren. Eventuell gibt es für die Forenplattform auch schon fertige fail2ban Regeln, schau dir das Projekt mal an.

[karoshi]

Es ist tatsächlich mit weitem Abstand der GPTBot. Der Facebook-Bot ist auch hyperaktiv.

Den GPTBot habe ich jetzt per robots.txt ausgesperrt, den Facebook-Bot nur für einen anderen Teil der Seite, wo er auch übermäßig viel PHP-Traffic generiert. Wird ein paar Tage brauchen, bis der Effekt voll durchschlägt.

[karoshi]

Die (vorläufige) Lösung war jetzt, per .httaccess alle Requests auszusperren, in denen ein PHPSESSID-Parameter vorkommt. Das passiert nämlich eigentlich nur bei blöden Bots, die Sessions nicht richtig emulieren. Wenn die Forum-Software glaubt, dass der Client keine Session-Cookies unterstützt, zeigt sie alle Links auf der Seite mit SessionId-Parameter an. Und weil die Session Id jedes Mal eindeutig neu erzeugt wird, sind das für die Bots immer neue URLs, die man dann auch wieder crawlen muss. Und dort tauchen dann wieder neue, unbekannte Session Ids in den Links auf... Ihr ahnt, wohin das führt.

Long Story short: Wärend wir gestern in der Spitze über 3600 aktive UserBots innerhalb von 10 Minuten hatten, liegen wir aktuell so um die 70.