Was ist crawler?
Der Webrobot crawler indexiert und analysiert Inhalte von Webseiten. Er zeigt sich meistens mit der IP Adresse 107.174.117.19 und unter Verwendung des User Agent Mozilla/5.0 (compatible; crawler). Mit 0.0002% Marktanteil ist crawler auf Platz 229 der aktivsten Webrobots im Internet.
robots.txt – crawler blockieren
Füge diese Zeilen in deine robots.txt ein, um crawler den Zugriff auf deine Website zu verwehren:
robots.txt
User-agent: crawler
Disallow: /Du kannst den Zugriff auch gezielt einschränken, statt ihn komplett zu blockieren:
robots.txt (selektiv)
User-agent: crawler
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /IP-Adressen 21 bekannte IPs
Diese IP-Adressen wurden bisher von crawler verwendet:
107.174.117.19
142.111.97.144
149.18.177.15
154.17.118.43
154.196.249.56
154.81.152.79
156.242.100.213
166.88.53.194
181.214.183.175
194.55.228.212
205.188.178.141
207.97.154.78
209.101.56.47
31.58.124.57
31.6.51.99
38.30.253.184
45.114.181.179
45.56.187.62
46.202.236.4
72.63.3.218
82.153.215.27
User Agents
Mit diesen User-Agent-Strings identifiziert sich crawler:
Mozilla/5.0 (compatible; crawler)