Was ist meta-externalagent?
Der Webrobot meta-externalagent indexiert und analysiert Inhalte von Webseiten. Er zeigt sich meistens mit der IP Adresse 57.141.0.18 und unter Verwendung des User Agent meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler). Mit 0.0492% Marktanteil ist meta-externalagent auf Platz 49 der aktivsten Webrobots im Internet.
„Auf dieser Seite werden die User-Agent-Strings (UA-Strings) aufgeführt, die die gängigsten Webcrawler von Meta identifizieren. Außerdem wird erläutert, wofür jeder dieser Crawler verwendet wird."
— Offizielle Beschreibung des Betreibers
Gefahreneinschätzung und Bewertung
Sollte man meta-externalagent blockieren?
Prüfe zuerst Zugriffshäufigkeit, aufgerufene URLs und User-Agent. Danach kannst du entscheiden, ob eine Blockierung sinnvoll ist.
robots.txt – meta-externalagent blockieren
Füge diese Zeilen in deine robots.txt ein, um meta-externalagent den Zugriff auf deine Website zu verwehren:
User-agent: meta-externalagent
Disallow: /Du kannst den Zugriff auch gezielt einschränken, statt ihn komplett zu blockieren:
User-agent: meta-externalagent
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /Häufige Fragen zu meta-externalagent
Ist meta-externalagent ein guter oder schlechter Bot?
Das hängt vom Einsatzzweck ab. meta-externalagent ist als Social-Media-Bot eingeordnet. Entscheidend sind Serverlast, Crawl-Verhalten, Nutzen für deine Website und ob der Bot deine Regeln respektiert.
Wie erkenne ich meta-externalagent in Server-Logs?
Suche nach dem User-Agent-Namen meta-externalagent. Ein beobachteter User-Agent ist meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler). Vergleiche ausserdem IP-Adressen, Zugriffsmuster und aufgerufene URLs.
Reicht robots.txt zum Blockieren?
robots.txt ist ein Hinweis für regelkonforme Crawler. Unerwünschte oder aggressive Bots können diese Regeln ignorieren. In solchen Fällen helfen zusätzlich Firewall-Regeln, WAF-Regeln oder Blockierungen im Hosting/CDN.
IP-Adressen 71 bekannte IPs
Diese IP-Adressen wurden bisher von meta-externalagent verwendet:
57.141.0.18
57.141.0.23
57.141.0.26
57.141.0.40
57.141.0.43
57.141.0.44
57.141.0.48
57.141.0.6
57.141.0.70
57.141.20.0
57.141.20.1
57.141.20.10
57.141.20.12
57.141.20.13
57.141.20.14
57.141.20.16
57.141.20.17
57.141.20.18
57.141.20.2
57.141.20.20
57.141.20.21
57.141.20.25
57.141.20.26
57.141.20.27
57.141.20.28
57.141.20.29
57.141.20.3
57.141.20.30
57.141.20.31
57.141.20.32
57.141.20.33
57.141.20.34
57.141.20.35
57.141.20.37
57.141.20.38
57.141.20.39
57.141.20.4
57.141.20.41
57.141.20.42
57.141.20.43
57.141.20.44
57.141.20.45
57.141.20.47
57.141.20.49
57.141.20.5
57.141.20.51
57.141.20.52
57.141.20.53
57.141.20.54
57.141.20.55
57.141.20.56
57.141.20.57
57.141.20.58
57.141.20.59
57.141.20.6
57.141.20.60
57.141.20.61
57.141.20.62
57.141.20.63
57.141.20.64
57.141.20.65
57.141.20.66
57.141.20.67
57.141.20.68
57.141.20.69
57.141.20.7
57.141.20.70
57.141.20.71
57.141.20.72
57.141.20.8
57.141.20.9
User Agents
Mit diesen User-Agent-Strings identifiziert sich meta-externalagent:
meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)