gluten free crawler

Der Webrobot gluten free crawler indexiert und analysiert Inhalte von Webseiten. Er zeigt sich meistens mit der IP Adresse 104.131.147.112 und unter Verwendung des User Agent Mozilla/5.0 (compatible; Gluten Free Crawler/1.0; http://glutenfreepleasure.com/). Mit 0.0012% Marktanteil ist gluten free crawler auf Platz 130 der aktivsten Webrobots im Internet.

133Zugriffe
0,001%Marktanteil
März 2015Erstmals gesehen
17.07.2019Zuletzt aktiv

Was ist gluten free crawler?

indexiert und analysiert Inhalte von Webseiten.

Der Webrobot gluten free crawler indexiert und analysiert Inhalte von Webseiten. Er zeigt sich meistens mit der IP Adresse 104.131.147.112 und unter Verwendung des User Agent Mozilla/5.0 (compatible; Gluten Free Crawler/1.0; http://glutenfreepleasure.com/). Mit 0.0012% Marktanteil ist gluten free crawler auf Platz 130 der aktivsten Webrobots im Internet.

„Welcome to the gluten free crawler. We crawl the web for certified gluten free content."

— Offizielle Beschreibung des Betreibers

Betreiber & Risiko

? Risiko unbekannt

robots.txt – gluten free crawler blockieren

Füge diese Zeilen in deine robots.txt ein, um gluten free crawler den Zugriff auf deine Website zu verwehren:

robots.txt 
User-agent: gluten free crawler
Disallow: /

Du kannst den Zugriff auch gezielt einschränken, statt ihn komplett zu blockieren:

robots.txt (selektiv) 
User-agent: gluten free crawler
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /

IP-Adressen 1 bekannte IPs

Diese IP-Adressen wurden bisher von gluten free crawler verwendet:

US 104.131.147.112

User Agents

Mit diesen User-Agent-Strings identifiziert sich gluten free crawler:

  • Mozilla/5.0 (compatible; Gluten Free Crawler/1.0; http://glutenfreepleasure.com/)