adstxtcrawler

Der Webrobot adstxtcrawler indexiert und analysiert Inhalte von Webseiten. Er zeigt sich meistens mit der IP Adresse 100.27.40.237 und unter Verwendung des User Agent AppNexusAdsTxtCrawler/1.0. Mit 0.0075% Marktanteil ist adstxtcrawler auf Platz 84 der aktivsten Webrobots im Internet.

816Zugriffe
0,008%Marktanteil
Feb. 2018Erstmals gesehen
04.09.2019Zuletzt aktiv

Was ist adstxtcrawler?

indexiert und analysiert Inhalte von Webseiten.

Der Webrobot adstxtcrawler indexiert und analysiert Inhalte von Webseiten. Er zeigt sich meistens mit der IP Adresse 100.27.40.237 und unter Verwendung des User Agent AppNexusAdsTxtCrawler/1.0. Mit 0.0075% Marktanteil ist adstxtcrawler auf Platz 84 der aktivsten Webrobots im Internet.

„adstxtcrawler – A reference implementation in python of a simple crawler for Ads.txt"

— Offizielle Beschreibung des Betreibers

Betreiber & Risiko

? Risiko unbekannt

robots.txt – adstxtcrawler blockieren

Füge diese Zeilen in deine robots.txt ein, um adstxtcrawler den Zugriff auf deine Website zu verwehren:

robots.txt 
User-agent: adstxtcrawler
Disallow: /

Du kannst den Zugriff auch gezielt einschränken, statt ihn komplett zu blockieren:

robots.txt (selektiv) 
User-agent: adstxtcrawler
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /

IP-Adressen 79 bekannte IPs

Diese IP-Adressen wurden bisher von adstxtcrawler verwendet:

US 100.27.40.237
US 107.21.195.14
US 107.21.197.40
CA 144.217.88.83
US 18.204.23.30
US 18.204.23.80
US 18.207.121.124
US 18.207.158.191
US 18.207.4.56
US 18.212.19.217
US 18.232.109.69
US 18.232.127.244
US 18.232.31.5
US 18.232.52.110
US 18.232.53.121
US 18.234.191.208
US 18.234.209.134
US 18.234.247.136
US 184.72.173.67
US 198.54.12.50
US 198.54.12.52
US 198.54.12.84
US 198.54.12.85
US 198.54.13.47
US 3.218.240.177
US 3.218.248.253
US 3.221.159.34
US 3.226.72.60
US 3.80.186.56
US 3.80.194.89
US 3.81.121.51
US 3.81.78.81
US 3.83.179.124
US 3.85.218.255
US 3.86.160.137
US 3.86.193.40
US 3.86.242.179
US 3.87.167.79
US 3.89.86.240
US 3.92.180.13
US 3.92.184.124
US 3.92.19.69
US 3.94.10.30
US 34.200.215.176
US 34.204.202.5
US 34.207.173.4
US 34.224.212.133
US 34.224.214.51
US 34.228.70.151
US 34.230.10.111
US 34.230.48.202
US 34.231.70.41
US 34.238.252.214
US 34.239.157.91
US 34.239.45.95
US 34.239.48.198
US 35.170.65.100
US 35.171.228.16
US 35.173.234.175
US 35.175.131.164
US 35.175.133.53
US 35.175.238.80
NL 37.140.238.54
IE 52.210.224.227
US 52.73.39.198
US 52.91.255.141
US 52.91.83.102
US 54.157.50.145
US 54.158.133.120
US 54.165.34.87
US 54.172.52.143
US 54.175.34.13
US 54.196.253.137
US 54.198.149.101
US 54.205.104.81
US 54.210.95.164
US 54.89.79.17
US 68.67.155.230
US 68.67.155.231

User Agents

Mit diesen User-Agent-Strings identifiziert sich adstxtcrawler:

  • AppNexusAdsTxtCrawler/1.0
  • AdsTxtCrawler/1.0.2
  • AdsTxtCrawler/1.0
  • AdsTxtCrawler
  • AdsTxtCrawler/1.0; https://github.com/InteractiveAdvertisingBureau/adstxtcrawler