Was ist twittercrawler?
indexiert und analysiert Inhalte von Webseiten.
Der Webrobot twittercrawler indexiert und analysiert Inhalte von Webseiten. Er zeigt sich meistens mit der IP Adresse 144.76.103.139 und unter Verwendung des User Agent Mozilla/5.0 (compatible; TwitterCrawler). Mit 0.032% Marktanteil ist twittercrawler auf Platz 53 der aktivsten Webrobots im Internet.
robots.txt – twittercrawler blockieren
Füge diese Zeilen in deine robots.txt ein, um twittercrawler den Zugriff auf deine Website zu verwehren:
User-agent: twittercrawler
Disallow: /
Du kannst den Zugriff auch gezielt einschränken, statt ihn komplett zu blockieren:
User-agent: twittercrawler
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /
IP-Adressen 34 bekannte IPs
Diese IP-Adressen wurden bisher von twittercrawler verwendet:
144.76.103.139
144.76.104.4
144.76.104.5
144.76.166.12
144.76.183.244
144.76.183.245
144.76.186.100
144.76.186.101
144.76.186.103
144.76.186.104
144.76.186.232
144.76.186.98
144.76.186.99
148.251.81.73
148.251.86.49
176.9.101.99
5.9.154.109
5.9.38.157
5.9.41.71
5.9.41.72
5.9.41.73
5.9.41.74
5.9.54.16
5.9.73.169
5.9.73.211
5.9.73.212
5.9.73.213
78.46.21.158
88.198.16.122
88.198.25.213
88.198.26.46
88.198.26.67
88.198.26.84
88.198.38.242
User Agents
Mit diesen User-Agent-Strings identifiziert sich twittercrawler:
Mozilla/5.0 (compatible; TwitterCrawler)