Was ist crawler?
Der Webrobot crawler indexiert und analysiert Inhalte von Webseiten. Er zeigt sich meistens mit der IP Adresse 104.252.188.47 und unter Verwendung des User Agent Mozilla/5.0 (compatible; crawler). Mit 0.0004% Marktanteil ist crawler auf Platz 211 der aktivsten Webrobots im Internet.
Gefahreneinschätzung und Bewertung
Sollte man crawler blockieren?
Prüfe zuerst Zugriffshäufigkeit, aufgerufene URLs und User-Agent. Danach kannst du entscheiden, ob eine Blockierung sinnvoll ist.
robots.txt – crawler blockieren
Füge diese Zeilen in deine robots.txt ein, um crawler den Zugriff auf deine Website zu verwehren:
User-agent: crawler
Disallow: /Du kannst den Zugriff auch gezielt einschränken, statt ihn komplett zu blockieren:
User-agent: crawler
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /Häufige Fragen zu crawler
Ist crawler ein guter oder schlechter Bot?
Das hängt vom Einsatzzweck ab. crawler ist als Web-Crawler eingeordnet. Entscheidend sind Serverlast, Crawl-Verhalten, Nutzen für deine Website und ob der Bot deine Regeln respektiert.
Wie erkenne ich crawler in Server-Logs?
Suche nach dem User-Agent-Namen crawler. Ein beobachteter User-Agent ist Mozilla/5.0 (compatible; crawler). Vergleiche ausserdem IP-Adressen, Zugriffsmuster und aufgerufene URLs.
Reicht robots.txt zum Blockieren?
robots.txt ist ein Hinweis für regelkonforme Crawler. Unerwünschte oder aggressive Bots können diese Regeln ignorieren. In solchen Fällen helfen zusätzlich Firewall-Regeln, WAF-Regeln oder Blockierungen im Hosting/CDN.
IP-Adressen 47 bekannte IPs
Diese IP-Adressen wurden bisher von crawler verwendet:
104.252.188.47
107.174.117.19
107.174.117.63
140.99.68.226
142.111.97.144
149.18.177.15
152.163.12.34
152.163.132.104
154.17.118.43
154.196.171.117
154.196.249.147
154.196.249.56
154.81.152.79
156.238.28.170
156.242.100.213
156.242.102.103
166.88.53.164
166.88.53.194
176.101.175.27
178.92.53.69
181.214.183.175
189.104.107.179
194.55.228.212
205.188.178.141
206.237.73.10
207.97.154.78
207.97.164.152
209.101.56.47
23.27.233.79
31.58.124.57
31.6.51.99
38.30.253.184
45.114.181.179
45.56.187.62
46.202.22.172
46.202.22.96
46.202.236.4
46.203.236.80
64.57.139.235
72.63.157.64
72.63.3.218
82.153.215.27
82.22.98.176
82.23.119.105
94.154.181.255
96.62.45.111
96.62.85.132
User Agents
Mit diesen User-Agent-Strings identifiziert sich crawler:
Mozilla/5.0 (compatible; crawler)