Bad Bots – Probleme, Auswirkungen & Lösungsansätze

Tue, 12 Jan 2021 10:37:46 +0100

Nicht nur Menschen sind im Internet unterwegs – sondern auch jede Menge Bots. 37,2 Prozent des Internettraffics in 2019 wurde nicht durch Menschen verursacht. 13,1% wurden durch “Good Bots” und 24,1% durch “Bad Bots” verursacht.* Welche Probleme das verursachen kann, wie man diese lösen kann und warum nicht alle Bots schlecht sind, erklären wir euch im Folgenden. 

Was sind Good Bots und wofür brauche ich sie?

Zahlreiche Aufgaben werden inzwischen automatisiert von Computerprogrammen übernommen und ersparen uns somit eine Menge Zeit und Aufwand. Hier ein kurzer Überblick über die guten Boots:

  • Data Bots sammeln aktuelle Informationen zu Wetter, Nachrichten, Sport, Börse etc. und liefern diese aus (z.B. Siri, Google Home)
  • Trader Bots – sind stets auf der Suche nach dem niedrigsten Preis
  • Spider Bots – die Bots der Suchmaschinen (Google, Bing)
  • Chatbots sind wohl am bekanntesten und benötigen keiner weiteren Erklärung

Good Bots lassen sich außerdem über die Datei robots.txt steuern (gemäß dem Robots Exklusion Standard). Bad Bots ignorieren dies jedoch. 

Was sind Bad Bots und welche Probleme können sie bereiten?

Und auf diese Bots könnten wir im Internet gerne verzichten:

  • Spam Bots verbreiten jede Menge Spam per E-Mail oder in Kommentaren unter Artikeln oder Blogbeiträgen
  • Scrapers sind dazu ausgelegt, Content Urheber-rechtswidrig zu kopieren (Texte, Bilder) und an anderer Stelle wieder zum Einsatz zu bringen
  • Hackers & Impersonators sind oft für DDoS Attacken verantwortlich

Darüber hinaus werden Bots auch für Kreditkartenbetrug eingesetzt oder zum Ausspionieren von Sicherheitslücken. Egal mit welchem Ziel die Bots auf eure Seite kommen, Bad Bots können spürbare Auswirkungen auf eure Performance und den Verbrauch von AWS-Ressourcen haben. Insbesondere letzteres verursacht eine Intensivierung der Kosten für eure Ressourcen. 

Wie erkenne ich Bad Bots?

Bad Bots lassen sich üblicherweise anhand des UserAgent erkennen. Diesen kann man z.B. googeln um weitere Informationen zu finden. Viele Webseiten sammeln Informationen zu Good und Bad Bots. Auch ob die Bots sich an die robots.txt halten, kann man teilweise nachlesen. Allerdings können Informationen des UserAgent auch gefälscht werden. Zu einer Überprüfung kann der umgekehrte DNS-Lookup herangezogen werden. 

Übrigens: Mit unserem Plattform-Feature “Central Logging” können all unsere Kunden Zugriffslogs live einsehen und bewerten. 

Was kann ich gegen Bad Bots tun?

Um sich Bad Bots zu entledigen, gibt es verschiedene Lösungsansätze.

  • Bei Apache lassen sich spezifische Bots über das .htaccess File blocken.
  • Auch bei nginx lassen sich einzelne Bots blocken. 
  • Ein generischer Ansatz der Angriffsabwehr ist über die AWS WAF möglich, welche neben der Sperrung von bekannten Bot-Netzen auch XSS und SQL-Injection Angriffe abwehren kann. Die AWS WAF lässt sich sowohl an einem Application Loadbalancer als auch an einem CloudFront Endpunkt aktivieren.
  • Verwendet man Amazon CloudFront als Full Page Cache werden die Header umgeschrieben. Daher greifen die Lösungen auf Basis des UserAgent-Headers nicht. Aus diesem Grund empfehlen wir in diesem Fall die AWS WAF zum Blockieren von Bad Bots. 
  • Auch Applikationsseitig kann man die Bad-Bots sperren. Für WordPress und Magento gibt es z.B. folgende Plugins: Blackhole Bad Bots & Extension Spam Bot Blocker

Weitere technische Details findet ihr in unseren FAQ.

Fallbeispiel von Bad Bots bei root360

Wir haben die Ressourcen der AWS-Umgebungen unserer Kunden mit unserem Monitoring-Tool “Orbiter” stets im Blick. Deswegen fallen ungewöhnliche Werte sofort auf. So geschah es z.B. im Herbst letzten Jahres. Der Bad Bot wurde dann von unserem Support manuell über nginx blockiert. Dies ist auch deutlich in der Grafik erkennbar. 

bad bots

Zusammenfassung

Die Handhabung von Bad Bots ist ein komplexes und fortlaufendes Thema. Auch werden die Bots  mit der Zeit intelligenter. Aus diesem Grund muss die Strategie kontinuierlich hinterfragt und angepasst werden. Wir unterstützen euch gerne – auch bei akuten Problemen. Vereinbart einfach einen Beratungstermin

*Quelle: Imperva Bad Report 2020

Der Beitrag Bad Bots – Probleme, Auswirkungen & Lösungsansätze erschien zuerst auf root360.de.


root360 GmbH

Root360 konzipiert, implementiert und betreibt seit 2015 Cloud Hosting auf Basis von AWS (Amazon Web Services). Unsere Lösungen richten sich an Unternehmen, für die traditionelle Hosting-Lösungen nicht mehr ausreichend sind. Wir sind Experten für AWS Managed Cloud in den Bereichen E-Commerce, Web-Applikationen, Portale und SaaS.