Was ist screaming frog seo spider?
indexiert und analysiert Inhalte von Webseiten.
Der Webrobot screaming frog seo spider indexiert und analysiert Inhalte von Webseiten. Er zeigt sich meistens mit der IP Adresse 151.55.2.230 und unter Verwendung des User Agent Screaming Frog SEO Spider/11.3. Mit 0.0003% Marktanteil ist screaming frog seo spider auf Platz 176 der aktivsten Webrobots im Internet.
Betreiber & Risiko
Risiko unbekannt
- Keine öffentlichen Betreiber-Infos bekannt
robots.txt – screaming frog seo spider blockieren
Füge diese Zeilen in deine robots.txt ein, um screaming frog seo spider den Zugriff auf deine Website zu verwehren:
robots.txt
User-agent: screaming frog seo spider
Disallow: /Du kannst den Zugriff auch gezielt einschränken, statt ihn komplett zu blockieren:
robots.txt (selektiv)
User-agent: screaming frog seo spider
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /IP-Adressen 18 bekannte IPs
Diese IP-Adressen wurden bisher von screaming frog seo spider verwendet:
151.55.2.230
152.115.80.38
185.104.97.1
194.72.163.165
212.185.16.131
213.61.213.158
23.249.224.28
62.96.47.178
82.166.9.35
84.132.199.37
85.250.199.201
85.250.66.209
89.138.29.136
90.187.67.149
91.34.58.227
92.247.66.38
93.228.12.10
93.228.31.47
User Agents
Mit diesen User-Agent-Strings identifiziert sich screaming frog seo spider:
Screaming Frog SEO Spider/11.3Screaming Frog SEO Spider/9.2Screaming Frog SEO Spider/10.4Screaming Frog SEO Spider/10.3Screaming Frog SEO Spider/9.4Screaming Frog SEO Spider/8.3Screaming Frog SEO Spider/8.1Screaming Frog SEO Spider/9.0Screaming Frog SEO Spider/2.55Screaming Frog SEO Spider/3.3Screaming Frog SEO Spider/3.2Screaming Frog SEO Spider/3.1Screaming Frog SEO Spider/2,11Screaming Frog SEO Spider/2,55