Was ist meta-webindexer?
Der Webrobot meta-webindexer indexiert und analysiert Inhalte von Webseiten. Er zeigt sich meistens mit der IP Adresse 173.252.70.12 und unter Verwendung des User Agent meta-webindexer/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler). Mit 0.0016% Marktanteil ist meta-webindexer auf Platz 155 der aktivsten Webrobots im Internet.
„Meta uses web crawlers (software which fetches content from websites or web apps) for a number of different purposes. This page lists the User Agent (UA) strings that identify Meta’s most common web crawlers and what each of those crawlers are used for."
— Offizielle Beschreibung des Betreibers
Technische Einordnung von meta-webindexer
meta-webindexer wurde in Webserver-Logs als Bot oder Crawler erkannt. Die wichtigsten technischen Hinweise findest du auf dieser Seite: bekannte User-Agents, beobachtete IP-Adressen, Aktivitätsdaten und passende robots.txt-Regeln.
Für eine konkrete Entscheidung solltest du zusätzlich prüfen, welche URLs meta-webindexer abruft, wie häufig die Zugriffe sind und ob der Bot deine robots.txt-Regeln respektiert.
Gefahreneinschätzung und Bewertung
Sollte man meta-webindexer blockieren?
Prüfe zuerst Zugriffshäufigkeit, aufgerufene URLs und User-Agent. Danach kannst du entscheiden, ob eine Blockierung sinnvoll ist.
robots.txt – meta-webindexer blockieren
Füge diese Zeilen in deine robots.txt ein, um meta-webindexer den Zugriff auf deine Website zu verwehren:
User-agent: meta-webindexer
Disallow: /Du kannst den Zugriff auch gezielt einschränken, statt ihn komplett zu blockieren:
User-agent: meta-webindexer
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /Häufige Fragen zu meta-webindexer
Ist meta-webindexer gut oder schlecht?
Das hängt vom Einsatzzweck ab. meta-webindexer ist als Social-Media-Bot eingeordnet. Entscheidend sind Nutzen, Serverlast, Crawl-Verhalten und ob der Bot deine robots.txt-Regeln respektiert.
Wie erkenne ich meta-webindexer in Server-Logs?
Suche nach dem User-Agent-Namen meta-webindexer. Ein beobachteter User-Agent ist meta-webindexer/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler). Vergleiche ausserdem IP-Adressen, Zugriffsmuster und aufgerufene URLs.
Reicht robots.txt zum Blockieren?
robots.txt ist ein Hinweis für regelkonforme Crawler. Unerwünschte oder aggressive Bots können diese Regeln ignorieren. In solchen Fällen helfen zusätzlich Firewall-Regeln, WAF-Regeln oder Blockierungen im Hosting/CDN.
Kann ein Bot seinen User-Agent fälschen?
Ja. Ein User-Agent ist leicht zu fälschen. Für wichtige Entscheidungen solltest du zusätzlich IP-Adresse, Reverse-DNS, Zugriffsmuster, Häufigkeit und aufgerufene URLs prüfen.
IP-Adressen 68 bekannte IPs
Diese IP-Adressen wurden bisher von meta-webindexer verwendet:
173.252.70.12
173.252.70.16
173.252.70.28
173.252.70.4
173.252.70.42
173.252.70.52
173.252.70.54
173.252.70.59
173.252.70.66
173.252.70.68
173.252.70.69
173.252.70.89
57.141.20.0
57.141.20.1
57.141.20.10
57.141.20.12
57.141.20.13
57.141.20.14
57.141.20.16
57.141.20.17
57.141.20.18
57.141.20.2
57.141.20.20
57.141.20.25
57.141.20.26
57.141.20.27
57.141.20.28
57.141.20.29
57.141.20.3
57.141.20.31
57.141.20.32
57.141.20.33
57.141.20.34
57.141.20.35
57.141.20.37
57.141.20.38
57.141.20.4
57.141.20.41
57.141.20.42
57.141.20.43
57.141.20.44
57.141.20.45
57.141.20.47
57.141.20.49
57.141.20.5
57.141.20.51
57.141.20.52
57.141.20.53
57.141.20.54
57.141.20.55
57.141.20.56
57.141.20.57
57.141.20.59
57.141.20.6
57.141.20.60
57.141.20.61
57.141.20.62
57.141.20.64
57.141.20.66
57.141.20.67
57.141.20.68
57.141.20.69
57.141.20.7
57.141.20.70
57.141.20.71
57.141.20.73
57.141.20.8
57.141.20.9
User Agents
Mit diesen User-Agent-Strings identifiziert sich meta-webindexer:
meta-webindexer/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)