Was ist archive.org_bot?
indexiert und analysiert Inhalte von Webseiten.
Der Webrobot archive.org_bot indexiert und analysiert Inhalte von Webseiten. Er zeigt sich meistens mit der IP Adresse 207.241.225.246 und unter Verwendung des User Agent Mozilla/5.0 (compatible; archive.org_bot http://www.archive.org/details/archive.org_bot). Mit 0.0018% Marktanteil ist archive.org_bot auf Platz 114 der aktivsten Webrobots im Internet.
„The Internet Archive is a nonprofit digital library that preserves web data and makes it available for research purposes through the Wayback Machine. We began archiving the web in 1996, and currently have preserved over 150 billion web documents. The Internet Archive partners with universities,…"
— Offizielle Beschreibung des Betreibers
robots.txt – archive.org_bot blockieren
Füge diese Zeilen in deine robots.txt ein, um archive.org_bot den Zugriff auf deine Website zu verwehren:
User-agent: archive.org_bot
Disallow: /
Du kannst den Zugriff auch gezielt einschränken, statt ihn komplett zu blockieren:
User-agent: archive.org_bot
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /
IP-Adressen 53 bekannte IPs
Diese IP-Adressen wurden bisher von archive.org_bot verwendet:
207.241.225.246
207.241.226.215
207.241.226.216
207.241.229.147
207.241.229.148
207.241.229.149
207.241.229.150
207.241.229.151
207.241.229.198
207.241.229.212
207.241.229.213
207.241.229.214
207.241.229.215
207.241.229.222
207.241.229.223
207.241.229.225
207.241.229.235
207.241.229.236
207.241.229.237
207.241.229.243
207.241.229.32
207.241.229.51
207.241.231.143
207.241.231.147
207.241.231.151
207.241.231.170
207.241.231.33
207.241.232.39
207.241.232.40
207.241.232.41
207.241.232.45
207.241.232.46
207.241.232.47
207.241.232.48
207.241.232.49
207.241.237.101
207.241.237.102
207.241.237.103
207.241.237.104
207.241.237.105
207.241.237.108
207.241.237.205
207.241.237.206
207.241.237.208
207.241.237.209
207.241.237.221
207.241.237.222
207.241.237.223
207.241.237.225
207.241.237.226
207.241.237.227
207.241.237.228
207.241.237.229
User Agents
Mit diesen User-Agent-Strings identifiziert sich archive.org_bot:
Mozilla/5.0 (compatible; archive.org_bot http://www.archive.org/details/archive.org_bot)Mozilla/5.0 (compatible; special_archiver/3.1.1 http://www.archive.org/details/archive.org_bot)Mozilla/5.0 (compatible; archive.org_bot http://archive.org/details/archive.org_bot)Mozilla/5.0 (compatible; archive.org_bot; Wayback Machine Live Record; http://archive.org/details/archive.org_bot)