Was ist meta-externalagent?
Der Webrobot meta-externalagent indexiert und analysiert Inhalte von Webseiten. Er zeigt sich meistens mit der IP Adresse 57.141.20.0 und unter Verwendung des User Agent meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler). Mit 0.0153% Marktanteil ist meta-externalagent auf Platz 65 der aktivsten Webrobots im Internet.
„Auf dieser Seite werden die User-Agent-Strings (UA-Strings) aufgeführt, die die gängigsten Webcrawler von Meta identifizieren. Außerdem wird erläutert, wofür jeder dieser Crawler verwendet wird."
— Offizielle Beschreibung des Betreibers
robots.txt – meta-externalagent blockieren
Füge diese Zeilen in deine robots.txt ein, um meta-externalagent den Zugriff auf deine Website zu verwehren:
User-agent: meta-externalagent
Disallow: /
Du kannst den Zugriff auch gezielt einschränken, statt ihn komplett zu blockieren:
User-agent: meta-externalagent
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /
IP-Adressen 61 bekannte IPs
Diese IP-Adressen wurden bisher von meta-externalagent verwendet:
57.141.20.0
57.141.20.1
57.141.20.10
57.141.20.12
57.141.20.13
57.141.20.14
57.141.20.16
57.141.20.17
57.141.20.18
57.141.20.2
57.141.20.20
57.141.20.21
57.141.20.25
57.141.20.26
57.141.20.27
57.141.20.28
57.141.20.29
57.141.20.3
57.141.20.30
57.141.20.31
57.141.20.32
57.141.20.33
57.141.20.34
57.141.20.35
57.141.20.37
57.141.20.38
57.141.20.39
57.141.20.4
57.141.20.41
57.141.20.42
57.141.20.43
57.141.20.44
57.141.20.45
57.141.20.47
57.141.20.49
57.141.20.5
57.141.20.51
57.141.20.52
57.141.20.53
57.141.20.54
57.141.20.55
57.141.20.56
57.141.20.57
57.141.20.58
57.141.20.59
57.141.20.6
57.141.20.60
57.141.20.61
57.141.20.62
57.141.20.63
57.141.20.64
57.141.20.65
57.141.20.66
57.141.20.67
57.141.20.68
57.141.20.69
57.141.20.7
57.141.20.70
57.141.20.71
57.141.20.8
57.141.20.9
User Agents
Mit diesen User-Agent-Strings identifiziert sich meta-externalagent:
meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)