Was ist dotbot?
indexiert Inhalte von Websites.
Der Webrobot dotbot indexiert Inhalte von Websites. Er zeigt sich meistens mit der IP Adresse 184.73.108.6 und unter Verwendung des User Agent Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com). Mit 1.83% Marktanteil ist dotbot auf Platz 8 der aktivsten Webrobots im Internet.
„Open Site Explorer is Moz’s Search Engine for Links. Perform competitive link research, explore backlinks, anchor text, and more for free."
— Offizielle Beschreibung des Betreibers
robots.txt – dotbot blockieren
Füge diese Zeilen in deine robots.txt ein, um dotbot den Zugriff auf deine Website zu verwehren:
User-agent: dotbot
Disallow: /Du kannst den Zugriff auch gezielt einschränken, statt ihn komplett zu blockieren:
User-agent: dotbot
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /IP-Adressen 30 bekannte IPs
Diese IP-Adressen wurden bisher von dotbot verwendet:
184.73.108.6
208.115.111.68
208.115.111.69
208.115.111.70
208.115.111.71
208.115.111.72
208.115.111.75
208.115.113.82
208.115.113.84
208.115.113.85
208.115.113.86
208.115.113.87
208.115.113.88
208.115.113.91
208.115.113.92
208.115.113.94
216.244.66.196
216.244.66.199
216.244.66.200
216.244.66.232
216.244.66.234
216.244.66.238
216.244.66.240
216.244.66.246
216.244.66.247
216.244.66.248
216.244.66.249
23.22.27.194
3.85.124.227
54.147.221.120
User Agents
Mit diesen User-Agent-Strings identifiziert sich dotbot:
Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com)