urlfilterdb-crawler

Der Webrobot urlfilterdb-crawler indexiert und analysiert Inhalte von Webseiten. Er zeigt sich meistens mit der IP Adresse 5.79.65.6 und unter Verwendung des User Agent Mozilla/5.0 (URLfilterDB-crawler/1.1) ufdb/1.0. Mit 0.0014% Marktanteil ist urlfilterdb-crawler auf Platz 141 der aktivsten Webrobots im Internet.

146Zugriffe
0,001%Marktanteil
Nov. 2014Erstmals gesehen
11.03.2015Zuletzt aktiv

Was ist urlfilterdb-crawler?

indexiert und analysiert Inhalte von Webseiten.

Der Webrobot urlfilterdb-crawler indexiert und analysiert Inhalte von Webseiten. Er zeigt sich meistens mit der IP Adresse 5.79.65.6 und unter Verwendung des User Agent Mozilla/5.0 (URLfilterDB-crawler/1.1) ufdb/1.0. Mit 0.0014% Marktanteil ist urlfilterdb-crawler auf Platz 141 der aktivsten Webrobots im Internet.

Betreiber & Risiko

? Risiko unbekannt
  • ℹ Keine öffentlichen Betreiber-Infos bekannt

robots.txt – urlfilterdb-crawler blockieren

Füge diese Zeilen in deine robots.txt ein, um urlfilterdb-crawler den Zugriff auf deine Website zu verwehren:

robots.txt 
User-agent: urlfilterdb-crawler
Disallow: /

Du kannst den Zugriff auch gezielt einschränken, statt ihn komplett zu blockieren:

robots.txt (selektiv) 
User-agent: urlfilterdb-crawler
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /

IP-Adressen 1 bekannte IPs

Diese IP-Adressen wurden bisher von urlfilterdb-crawler verwendet:

NL 5.79.65.6

User Agents

Mit diesen User-Agent-Strings identifiziert sich urlfilterdb-crawler:

  • Mozilla/5.0 (URLfilterDB-crawler/1.1) ufdb/1.0