Was ist dotbot?
indexiert Inhalte von Websites.
Der Webrobot dotbot indexiert Inhalte von Websites. Er zeigt sich meistens mit der IP Adresse 13.221.30.135 und unter Verwendung des User Agent Mozilla/5.0 (compatible; DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com). Mit 1.88% Marktanteil ist dotbot auf Platz 8 der aktivsten Webrobots im Internet.
„Open Site Explorer is Moz’s Search Engine for Links. Perform competitive link research, explore backlinks, anchor text, and more for free."
— Offizielle Beschreibung des Betreibers
Was macht dotbot?
DotBot ist ein SEO-Crawler, der mit Moz in Verbindung steht und vor allem für Linkdaten, Backlink-Analysen und SEO-Kennzahlen relevant ist. Wenn du DotBot in deinen Logs siehst, geht es in der Regel nicht um Suchmaschinenindexierung für Google, sondern um Datenerhebung für SEO-Tools.
Wann ist der Bot nützlich?
- du möchtest, dass deine Website in Linkdatenbanken und SEO-Tools möglichst vollständig auftaucht
- Backlinks, Domain-Metriken oder Wettbewerbsanalysen für deine Website wichtig sind
- die Crawl-Last gering bleibt und DotBot keine kritischen Bereiche abruft
Welche Risiken gibt es?
- DotBot kann Seiten und Linkstrukturen erfassen, die auch für Wettbewerbsanalysen genutzt werden
- bei vielen URLs kann zusätzlicher Crawl-Traffic entstehen
- ein User-Agent allein beweist nicht sicher, dass der Zugriff wirklich von Moz stammt
Erkennung in Logs
Achte auf den User-Agent mit „DotBot“ und vergleiche zusätzlich IP, Zugriffsmuster und aufgerufene URLs. Bei auffälligem Verhalten solltest du nicht nur nach User-Agent blockieren, sondern auch Firewall- oder WAF-Regeln prüfen.
Gefahreneinschätzung und Bewertung
Sollte man dotbot blockieren?
Für die meisten Websites ist „prüfen statt pauschal blockieren“ sinnvoll. Wenn du SEO-Tool-Abdeckung möchtest, kannst du DotBot erlauben. Wenn Serverlast, vertrauliche Bereiche oder Scraping-Sorgen überwiegen, blockiere ihn per robots.txt und beobachte danach deine Logs.
robots.txt – dotbot blockieren
Füge diese Zeilen in deine robots.txt ein, um dotbot den Zugriff auf deine Website zu verwehren:
User-agent: dotbot
Disallow: /Du kannst den Zugriff auch gezielt einschränken, statt ihn komplett zu blockieren:
User-agent: dotbot
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /Häufige Fragen zu dotbot
Ist dotbot gut oder schlecht?
Das hängt vom Einsatzzweck ab. dotbot ist als SEO-Tool-Crawler eingeordnet. Entscheidend sind Nutzen, Serverlast, Crawl-Verhalten und ob der Bot deine robots.txt-Regeln respektiert.
Ist DotBot ein Googlebot?
Nein. DotBot ist kein Suchmaschinenbot von Google. Er wird dem Moz-Umfeld zugeordnet und ist vor allem für SEO- und Linkdaten relevant.
Sollte ich DotBot für SEO-Daten erlauben?
Wenn du Wert auf möglichst vollständige Moz- und Linkdaten legst, kann das Erlauben sinnvoll sein. Wenn du Wettbewerbsanalyse oder Crawl-Last reduzieren möchtest, ist eine Einschränkung vertretbar.
Wie erkenne ich dotbot in Server-Logs?
Suche nach dem User-Agent-Namen dotbot. Ein beobachteter User-Agent ist Mozilla/5.0 (compatible; DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com). Vergleiche ausserdem IP-Adressen, Zugriffsmuster und aufgerufene URLs.
Reicht robots.txt zum Blockieren?
robots.txt ist ein Hinweis für regelkonforme Crawler. Unerwünschte oder aggressive Bots können diese Regeln ignorieren. In solchen Fällen helfen zusätzlich Firewall-Regeln, WAF-Regeln oder Blockierungen im Hosting/CDN.
Kann ein Bot seinen User-Agent fälschen?
Ja. Ein User-Agent ist leicht zu fälschen. Für wichtige Entscheidungen solltest du zusätzlich IP-Adresse, Reverse-DNS, Zugriffsmuster, Häufigkeit und aufgerufene URLs prüfen.
IP-Adressen 33 bekannte IPs
Diese IP-Adressen wurden bisher von dotbot verwendet:
13.221.30.135
184.73.108.6
208.115.111.68
208.115.111.69
208.115.111.70
208.115.111.71
208.115.111.72
208.115.111.75
208.115.113.82
208.115.113.84
208.115.113.85
208.115.113.86
208.115.113.87
208.115.113.88
208.115.113.91
208.115.113.92
208.115.113.94
216.244.66.196
216.244.66.197
216.244.66.199
216.244.66.200
216.244.66.232
216.244.66.234
216.244.66.238
216.244.66.239
216.244.66.240
216.244.66.246
216.244.66.247
216.244.66.248
216.244.66.249
23.22.27.194
3.85.124.227
54.147.221.120
User Agents
Mit diesen User-Agent-Strings identifiziert sich dotbot:
Mozilla/5.0 (compatible; DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com)Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com)