crawler

Der Webrobot crawler indexiert und analysiert Inhalte von Webseiten. Er zeigt sich meistens mit der IP Adresse 181.214.183.175 und unter Verwendung des User Agent Mozilla/5.0 (compatible; crawler). Mit 0% Marktanteil ist crawler auf Platz 310 der aktivsten Webrobots im Internet.

2Zugriffe
Mai 2026Erstmals gesehen
07.05.2026Zuletzt aktiv

Was ist crawler?

Der Webrobot crawler indexiert und analysiert Inhalte von Webseiten. Er zeigt sich meistens mit der IP Adresse 181.214.183.175 und unter Verwendung des User Agent Mozilla/5.0 (compatible; crawler). Mit 0% Marktanteil ist crawler auf Platz 310 der aktivsten Webrobots im Internet.

Betreiber & Risiko

? Risiko unbekannt
  • ℹ Keine öffentlichen Betreiber-Infos bekannt

robots.txt – crawler blockieren

Füge diese Zeilen in deine robots.txt ein, um crawler den Zugriff auf deine Website zu verwehren:

robots.txt 
User-agent: crawler
Disallow: /

Du kannst den Zugriff auch gezielt einschränken, statt ihn komplett zu blockieren:

robots.txt (selektiv) 
User-agent: crawler
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /

IP-Adressen 2 bekannte IPs

Diese IP-Adressen wurden bisher von crawler verwendet:

SG 181.214.183.175
US 45.56.187.62

User Agents

Mit diesen User-Agent-Strings identifiziert sich crawler:

  • Mozilla/5.0 (compatible; crawler)