Was ist mbr-web-crawler?
indexiert und analysiert Inhalte von Webseiten.
Der Webrobot mbr-web-crawler indexiert und analysiert Inhalte von Webseiten. Er zeigt sich meistens mit der IP Adresse 148.251.67.132 und unter Verwendung des User Agent mbr-Web-Crawler/Nutch-1.8. Mit 0% Marktanteil ist mbr-web-crawler auf Platz 240 der aktivsten Webrobots im Internet.
Betreiber & Risiko
Risiko unbekannt
- Keine öffentlichen Betreiber-Infos bekannt
robots.txt – mbr-web-crawler blockieren
Füge diese Zeilen in deine robots.txt ein, um mbr-web-crawler den Zugriff auf deine Website zu verwehren:
robots.txt
User-agent: mbr-web-crawler
Disallow: /Du kannst den Zugriff auch gezielt einschränken, statt ihn komplett zu blockieren:
robots.txt (selektiv)
User-agent: mbr-web-crawler
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /IP-Adressen 3 bekannte IPs
Diese IP-Adressen wurden bisher von mbr-web-crawler verwendet:
148.251.67.132
64.95.99.250
64.95.99.252
User Agents
Mit diesen User-Agent-Strings identifiziert sich mbr-web-crawler:
mbr-Web-Crawler/Nutch-1.8