Was ist fr-crawler?
indexiert und analysiert Inhalte von Webseiten.
Der Webrobot fr-crawler indexiert und analysiert Inhalte von Webseiten. Er zeigt sich meistens mit der IP Adresse 176.31.126.56 und unter Verwendung des User Agent Mozilla/5.0 (compatible; fr-crawler/1.1). Mit 0.0001% Marktanteil ist fr-crawler auf Platz 268 der aktivsten Webrobots im Internet.
robots.txt – fr-crawler blockieren
Füge diese Zeilen in deine robots.txt ein, um fr-crawler den Zugriff auf deine Website zu verwehren:
User-agent: fr-crawler
Disallow: /
Du kannst den Zugriff auch gezielt einschränken, statt ihn komplett zu blockieren:
User-agent: fr-crawler
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /
IP-Adressen 3 bekannte IPs
Diese IP-Adressen wurden bisher von fr-crawler verwendet:
176.31.126.56
37.59.55.128
91.121.79.180
User Agents
Mit diesen User-Agent-Strings identifiziert sich fr-crawler:
Mozilla/5.0 (compatible; fr-crawler/1.1)