Was ist dotbot?
indexiert Inhalte von Websites.
Der Webrobot dotbot indexiert Inhalte von Websites. Er zeigt sich meistens mit der IP Adresse 184.73.108.6 und unter Verwendung des User Agent Mozilla/5.0 (compatible; DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com). Mit 1.87% Marktanteil ist dotbot auf Platz 8 der aktivsten Webrobots im Internet.
„Open Site Explorer is Moz’s Search Engine for Links. Perform competitive link research, explore backlinks, anchor text, and more for free."
— Offizielle Beschreibung des Betreibers
Was macht dotbot?
DotBot ist ein SEO-Crawler, der mit Moz in Verbindung steht und vor allem für Linkdaten, Backlink-Analysen und SEO-Kennzahlen relevant ist. Wenn du DotBot in deinen Logs siehst, geht es in der Regel nicht um Suchmaschinenindexierung für Google, sondern um Datenerhebung für SEO-Tools.
Wann ist der Bot nützlich?
- du möchtest, dass deine Website in Linkdatenbanken und SEO-Tools möglichst vollständig auftaucht
- Backlinks, Domain-Metriken oder Wettbewerbsanalysen für deine Website wichtig sind
- die Crawl-Last gering bleibt und DotBot keine kritischen Bereiche abruft
Welche Risiken gibt es?
- DotBot kann Seiten und Linkstrukturen erfassen, die auch für Wettbewerbsanalysen genutzt werden
- bei vielen URLs kann zusätzlicher Crawl-Traffic entstehen
- ein User-Agent allein beweist nicht sicher, dass der Zugriff wirklich von Moz stammt
Erkennung in Logs
Achte auf den User-Agent mit „DotBot“ und vergleiche zusätzlich IP, Zugriffsmuster und aufgerufene URLs. Bei auffälligem Verhalten solltest du nicht nur nach User-Agent blockieren, sondern auch Firewall- oder WAF-Regeln prüfen.
Gefahreneinschätzung und Bewertung
Sollte man dotbot blockieren?
Für die meisten Websites ist „prüfen statt pauschal blockieren“ sinnvoll. Wenn du SEO-Tool-Abdeckung möchtest, kannst du DotBot erlauben. Wenn Serverlast, vertrauliche Bereiche oder Scraping-Sorgen überwiegen, blockiere ihn per robots.txt und beobachte danach deine Logs.
robots.txt – dotbot blockieren
Füge diese Zeilen in deine robots.txt ein, um dotbot den Zugriff auf deine Website zu verwehren:
User-agent: dotbot
Disallow: /Du kannst den Zugriff auch gezielt einschränken, statt ihn komplett zu blockieren:
User-agent: dotbot
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /Häufige Fragen zu dotbot
Ist dotbot gut oder schlecht?
Das hängt vom Einsatzzweck ab. dotbot ist als SEO-Tool-Crawler eingeordnet. Entscheidend sind Nutzen, Serverlast, Crawl-Verhalten und ob der Bot deine robots.txt-Regeln respektiert.
Ist DotBot ein Googlebot?
Nein. DotBot ist kein Suchmaschinenbot von Google. Er wird dem Moz-Umfeld zugeordnet und ist vor allem für SEO- und Linkdaten relevant.
Sollte ich DotBot für SEO-Daten erlauben?
Wenn du Wert auf möglichst vollständige Moz- und Linkdaten legst, kann das Erlauben sinnvoll sein. Wenn du Wettbewerbsanalyse oder Crawl-Last reduzieren möchtest, ist eine Einschränkung vertretbar.
Wie erkenne ich dotbot in Server-Logs?
Suche nach dem User-Agent-Namen dotbot. Ein beobachteter User-Agent ist Mozilla/5.0 (compatible; DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com). Vergleiche ausserdem IP-Adressen, Zugriffsmuster und aufgerufene URLs.
Reicht robots.txt zum Blockieren?
robots.txt ist ein Hinweis für regelkonforme Crawler. Unerwünschte oder aggressive Bots können diese Regeln ignorieren. In solchen Fällen helfen zusätzlich Firewall-Regeln, WAF-Regeln oder Blockierungen im Hosting/CDN.
Kann ein Bot seinen User-Agent fälschen?
Ja. Ein User-Agent ist leicht zu fälschen. Für wichtige Entscheidungen solltest du zusätzlich IP-Adresse, Reverse-DNS, Zugriffsmuster, Häufigkeit und aufgerufene URLs prüfen.
IP-Adressen 31 bekannte IPs
Diese IP-Adressen wurden bisher von dotbot verwendet:
184.73.108.6
208.115.111.68
208.115.111.69
208.115.111.70
208.115.111.71
208.115.111.72
208.115.111.75
208.115.113.82
208.115.113.84
208.115.113.85
208.115.113.86
208.115.113.87
208.115.113.88
208.115.113.91
208.115.113.92
208.115.113.94
216.244.66.196
216.244.66.199
216.244.66.200
216.244.66.232
216.244.66.234
216.244.66.238
216.244.66.239
216.244.66.240
216.244.66.246
216.244.66.247
216.244.66.248
216.244.66.249
23.22.27.194
3.85.124.227
54.147.221.120
User Agents
Mit diesen User-Agent-Strings identifiziert sich dotbot:
Mozilla/5.0 (compatible; DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com)Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com)