adstxtcrawler

Der Webrobot adstxtcrawler indexiert und analysiert Inhalte von Webseiten. Er zeigt sich meistens mit der IP Adresse 100.27.40.237 und unter Verwendung des User Agent AppNexusAdsTxtCrawler/1.0. Mit 0.0075% Marktanteil ist adstxtcrawler auf Platz 87 der aktivsten Webrobots im Internet.

816Zugriffe
0,008%Marktanteil
Feb. 2018Erstmals gesehen
04.09.2019Zuletzt aktiv

Was ist adstxtcrawler?

indexiert und analysiert Inhalte von Webseiten.

Der Webrobot adstxtcrawler indexiert und analysiert Inhalte von Webseiten. Er zeigt sich meistens mit der IP Adresse 100.27.40.237 und unter Verwendung des User Agent AppNexusAdsTxtCrawler/1.0. Mit 0.0075% Marktanteil ist adstxtcrawler auf Platz 87 der aktivsten Webrobots im Internet.

„adstxtcrawler – A reference implementation in python of a simple crawler for Ads.txt"

— Offizielle Beschreibung des Betreibers

Gefahreneinschätzung und Bewertung

Sollte man adstxtcrawler blockieren?

Prüfe zuerst Zugriffshäufigkeit, aufgerufene URLs und User-Agent. Danach kannst du entscheiden, ob eine Blockierung sinnvoll ist.

adstxtcrawler im Log prüfen

Auf einen Blick

Typ
Web-Crawler
Häufige IP
100.27.40.237
User-Agent-Varianten
5
Marktanteil
0,008%

robots.txt – adstxtcrawler blockieren

Füge diese Zeilen in deine robots.txt ein, um adstxtcrawler den Zugriff auf deine Website zu verwehren:

robots.txt
User-agent: adstxtcrawler
Disallow: /

Du kannst den Zugriff auch gezielt einschränken, statt ihn komplett zu blockieren:

robots.txt (selektiv)
User-agent: adstxtcrawler
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /

Häufige Fragen zu adstxtcrawler

Ist adstxtcrawler ein guter oder schlechter Bot?

Das hängt vom Einsatzzweck ab. adstxtcrawler ist als Web-Crawler eingeordnet. Entscheidend sind Serverlast, Crawl-Verhalten, Nutzen für deine Website und ob der Bot deine Regeln respektiert.

Wie erkenne ich adstxtcrawler in Server-Logs?

Suche nach dem User-Agent-Namen adstxtcrawler. Ein beobachteter User-Agent ist AppNexusAdsTxtCrawler/1.0. Vergleiche ausserdem IP-Adressen, Zugriffsmuster und aufgerufene URLs.

Reicht robots.txt zum Blockieren?

robots.txt ist ein Hinweis für regelkonforme Crawler. Unerwünschte oder aggressive Bots können diese Regeln ignorieren. In solchen Fällen helfen zusätzlich Firewall-Regeln, WAF-Regeln oder Blockierungen im Hosting/CDN.

IP-Adressen 79 bekannte IPs

Diese IP-Adressen wurden bisher von adstxtcrawler verwendet:

US 100.27.40.237
US 107.21.195.14
US 107.21.197.40
CA 144.217.88.83
US 18.204.23.30
US 18.204.23.80
US 18.207.121.124
US 18.207.158.191
US 18.207.4.56
US 18.212.19.217
US 18.232.109.69
US 18.232.127.244
US 18.232.31.5
US 18.232.52.110
US 18.232.53.121
US 18.234.191.208
US 18.234.209.134
US 18.234.247.136
US 184.72.173.67
US 198.54.12.50
US 198.54.12.52
US 198.54.12.84
US 198.54.12.85
US 198.54.13.47
US 3.218.240.177
US 3.218.248.253
US 3.221.159.34
US 3.226.72.60
US 3.80.186.56
US 3.80.194.89
US 3.81.121.51
US 3.81.78.81
US 3.83.179.124
US 3.85.218.255
US 3.86.160.137
US 3.86.193.40
US 3.86.242.179
US 3.87.167.79
US 3.89.86.240
US 3.92.180.13
US 3.92.184.124
US 3.92.19.69
US 3.94.10.30
US 34.200.215.176
US 34.204.202.5
US 34.207.173.4
US 34.224.212.133
US 34.224.214.51
US 34.228.70.151
US 34.230.10.111
US 34.230.48.202
US 34.231.70.41
US 34.238.252.214
US 34.239.157.91
US 34.239.45.95
US 34.239.48.198
US 35.170.65.100
US 35.171.228.16
US 35.173.234.175
US 35.175.131.164
US 35.175.133.53
US 35.175.238.80
NL 37.140.238.54
IE 52.210.224.227
US 52.73.39.198
US 52.91.255.141
US 52.91.83.102
US 54.157.50.145
US 54.158.133.120
US 54.165.34.87
US 54.172.52.143
US 54.175.34.13
US 54.196.253.137
US 54.198.149.101
US 54.205.104.81
US 54.210.95.164
US 54.89.79.17
US 68.67.155.230
US 68.67.155.231

User Agents

Mit diesen User-Agent-Strings identifiziert sich adstxtcrawler:

  • AppNexusAdsTxtCrawler/1.0
  • AdsTxtCrawler/1.0.2
  • AdsTxtCrawler/1.0
  • AdsTxtCrawler
  • AdsTxtCrawler/1.0; https://github.com/InteractiveAdvertisingBureau/adstxtcrawler