09.10.2025 – 10:00

Fast 1,4 Milliarden Requests am Tag: Weniger bekannte Bots wie die von TikTok dominieren die KI-Suche

Der Webhosting-Anbieter Hostinger hat auf Grundlage von mehreren Milliarden ihrer Kunden-Websites Anfragen analysiert, welche KI-Agenten das Web dominieren
Ergebnis: KI-Crawler wie OpenAI-GPTBot scannen über 4,4 Millionen von 5 Millionen Webseiten täglich und erreichen eine höhere Abdeckung als der Googlebot
Indexierung des Webs ist primär von Anbietern aus den USA geprägt, gefolgt von China

KI-Crawler, allen voran der OpenAI GPTBot, haben in kürzester Zeit eine enorme Reichweite aufgebaut und scannen inzwischen mehr Webseiten als Googles eigener Bot. Das zeigt eine aktuelle Analyse des Webhostinganbieters Hostinger (www.hostinger.de), die auf der Auswertung von über elf Milliarden täglichen Requests, rund 5 Millionen Webseiten und 55 verschiedenen User-Agent-Gruppen basiert. Darüber hinaus prägen Bots die Online-Landschaft insgesamt immer stärker: Weniger bekannte Crawler verursachen fast 1,4 Milliarden tägliche Anfragen und besuchen über 4,2 Millionen Webseiten. Auch automatisierte Skripte sind mit 383 Millionen täglichen Requests und einer Abdeckung von 91 Prozent nahezu allgegenwärtig.

Disclaimer: Bots sind automatisierte Programme, die das Internet durchsuchen und dabei Inhalte erfassen. Dieser Vorgang wird Crawling genannt und ist die Grundlage dafür, dass Suchmaschinen Websites auffindbar machen. Neue KI-Crawler wie GPTBot sammeln Inhalte, damit diese in KI-Systemen wie ChatGPT genutzt werden können. Bots senden sogenannte Requests, also einzelne Anfragen an eine Website, um deren Inhalte abzurufen und zu speichern. Die Zahl der Requests zeigt, wie intensiv ein Bot Daten sammelt, während die Zahl der erfassten Websites angibt, wie breit er im Internet unterwegs ist. Manche Bots stellen deutlich mehr Requests, weil sie Inhalte sehr detailliert erfassen oder regelmäßig aktualisieren, andere konzentrieren sich stärker auf die Abdeckung möglichst vieler Websites.

KI-Crawler auf dem Vormarsch

Besonders auffällig ist das Wachstum von KI-Bots. OpenAI-GPTBot verarbeitet täglich mehr als 108 Millionen Anfragen und crawlt über 4,4 Millionen Webseiten, mit einer Abdeckung von 84 Prozent. Damit liegt er bereits vor Googles eigenem Bot, der mit 798 Millionen Requests rund 3,9 Millionen Webseiten erfasst, aber nur 74 Prozent Abdeckung erreicht. Neben GPTBot zeigt auch der OpenAI-SearchBot Aktivität und crawlt schon über 2,4 Millionen Webseiten, wenn auch mit deutlich weniger Anfragen.

Die bekanntesten Bots im Bot-Ökosystem:

Meta-Bots: Der Facebook-Bot fbexternalhit nutzt täglich über 70 Millionen Requests und erreicht eine Abdeckung von 72 Prozent, während meta-externalagent knapp unter 154 Millionen Requests auswertet und 60 Prozent abdeckt.
AhrefsBot: Als SEO-Crawler beeindruckend stark mit einer Abdeckung von 65 Prozent. Er analysiert rund 228 Millionen Requests.
Bing-Bot: Bleibt mit 255 Millionen genutzten Requests und einer Abdeckung von 58 Prozent weiterhin ein relevanter Player.
TikTok-Bot: Analysiert über 79 Millionen Requests und ist mit einer Abdeckung von 24 Prozent gezielt im Einsatz.
SEMRush-Bot: Nutzt 67 Millionen Requests und liegt bei der Abdeckung mit 24 Prozent gleichauf.
Apple-Bot: Die Abdeckung liegt mit 22 Prozent nur knapp hinter den Bots von TikTok und SEMRush. Genutzt werden 49 Millionen Requests.
Claude-Bot (Anthropic): Wertet 66 Millionen Requests aus und erreicht bereits eine Abdeckung von 5 Prozent.

Disclaimer: Die prozentuale Abdeckung bedeutet nicht, dass einige Bots den Großteil an Webseiten ignorieren. Sie können Ziele rotieren und innerhalb weniger Wochen ein nahezu vollständiges Abbild des Internets erstellen.

Chinesische und US-amerikanische Bots dominieren das Web

Die Analyse verdeutlicht, dass die Mehrheit der identifizierten Crawler von großen US-Technologieunternehmen betrieben wird (rund 80 Prozent), darunter OpenAI, Google, Meta, Amazon, Microsoft, Apple oder Anthropic. Ergänzt wird dieses Bild durch eine kleinere Zahl chinesischer Bots (rund zehn Prozent), etwa von Baidu, Sogou oder Huawei PetalSearch. Die Indexierung des Webs ist also primär von Anbietern aus den USA und in geringerem Umfang aus China geprägt. Ein weiterer sehr kleiner Teil von zusammen weniger als fünf Prozent stammt aus anderen Ländern, darunter Russland (Yandex), Großbritannien (Majestic) und die Niederlande (Dataprovider).

"Einerseits sehen Unternehmen eine Chance und nutzen sogar generative Suchmaschinenoptimierung, um in KI-bezogenen Suchergebnissen besser sichtbar zu sein. Für diejenigen, die mit den Aufrufen Geld verdienen, bringt diese Veränderung jedoch Herausforderungen mit sich. Wenn ein KI-Tool bereits die vollständige Antwort liefert, werden nur wenige Leser weiterklicken", so Giedrius Zakaitis, Chief Product and Technology Officer bei Hostinger.

Um Website-Betreibern die Kontrolle zu geben, hat Hostinger AI Audit eingeführt, eine Erweiterung seines Content Delivery Network (CDN). Damit können Kreative und Unternehmen KI-Crawler verfolgen und verwalten.

"Künstliche Intelligenz eröffnet unglaubliche Möglichkeiten, aber das sollte nicht zum Nachteil der Kreativen werden. Sie sollten selbst entscheiden können, wie ihre Inhalte zu diesem neuen Ökosystem beitragen, ausgehend von ihren Zielen und Wertvorstellungen", so Zakaitis. "Genau darum geht es beim KI-Audit: Website-Betreibern die nötige Transparenz und Kontrolle zu bieten".

Über die Untersuchung

Im Rahmen der Analyse hat Hostinger die Protokolle der Crawler-Besuche auf 5 Millionen Webseiten, die von den Kunden des Unternehmens gehostet werden, untersucht. Dabei wurden die Anzahl der Anfragen sowie der gecrawlten Webseiten und die damit einhergehende Gesamtabdeckung erhoben. Die Untersuchung fand vom 20.08.2025 bis einschließlich 25.08.2025 statt.

Über Hostinger

Hostinger ist ein weltweit führender Anbieter von Webhosting-Lösungen und Domains mit der Mission, Menschen überall auf der Welt den Weg ins Online-Business zu erleichtern. Mit innovativer Technologie, leistungsstarken Servern und benutzerfreundlichen Tools ermöglicht Hostinger Unternehmen, Entwicklern und Kreativen, professionelle Webseiten schnell und einfach zu erstellen. Gegründet im Jahr 2004, betreut das Unternehmen heute Millionen Kunden in über 150 Ländern. Hostinger steht für erstklassige Performance, hervorragenden Support und erschwingliche Preise - die perfekte Kombination für erfolgreiches digitales Wachstum.

Pressekontakt:

Klaas Geller | klaas.geller@tonka-pr.com | +49 176 7471 7519
Andreas Oertel | andreas.oertel@tonka-pr.com | +49 30 4036 68115

Original-Content von: HOSTINGER operations, UAB, übermittelt durch news aktuell