Was ist twitterbot?
indexiert und analysiert Inhalte von Webseiten.
Der Webrobot twitterbot indexiert und analysiert Inhalte von Webseiten. Er zeigt sich meistens mit der IP Adresse 109.40.131.104 und unter Verwendung des User Agent Twitterbot/1.0. Mit 0.162% Marktanteil ist twitterbot auf Platz 29 der aktivsten Webrobots im Internet.
Technische Einordnung von twitterbot
twitterbot wurde in Webserver-Logs als Bot oder Crawler erkannt. Die wichtigsten technischen Hinweise findest du auf dieser Seite: bekannte User-Agents, beobachtete IP-Adressen, Aktivitätsdaten und passende robots.txt-Regeln.
Für eine konkrete Entscheidung solltest du zusätzlich prüfen, welche URLs twitterbot abruft, wie häufig die Zugriffe sind und ob der Bot deine robots.txt-Regeln respektiert.
Gefahreneinschätzung und Bewertung
Sollte man twitterbot blockieren?
Prüfe zuerst Zugriffshäufigkeit, aufgerufene URLs und User-Agent. Danach kannst du entscheiden, ob eine Blockierung sinnvoll ist.
robots.txt – twitterbot blockieren
Füge diese Zeilen in deine robots.txt ein, um twitterbot den Zugriff auf deine Website zu verwehren:
User-agent: twitterbot
Disallow: /Du kannst den Zugriff auch gezielt einschränken, statt ihn komplett zu blockieren:
User-agent: twitterbot
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /Häufige Fragen zu twitterbot
Ist twitterbot gut oder schlecht?
Das hängt vom Einsatzzweck ab. twitterbot ist als Social-Media-Bot eingeordnet. Entscheidend sind Nutzen, Serverlast, Crawl-Verhalten und ob der Bot deine robots.txt-Regeln respektiert.
Wie erkenne ich twitterbot in Server-Logs?
Suche nach dem User-Agent-Namen twitterbot. Ein beobachteter User-Agent ist Twitterbot/1.0. Vergleiche ausserdem IP-Adressen, Zugriffsmuster und aufgerufene URLs.
Reicht robots.txt zum Blockieren?
robots.txt ist ein Hinweis für regelkonforme Crawler. Unerwünschte oder aggressive Bots können diese Regeln ignorieren. In solchen Fällen helfen zusätzlich Firewall-Regeln, WAF-Regeln oder Blockierungen im Hosting/CDN.
Kann ein Bot seinen User-Agent fälschen?
Ja. Ein User-Agent ist leicht zu fälschen. Für wichtige Entscheidungen solltest du zusätzlich IP-Adresse, Reverse-DNS, Zugriffsmuster, Häufigkeit und aufgerufene URLs prüfen.
IP-Adressen 71 bekannte IPs
Diese IP-Adressen wurden bisher von twitterbot verwendet:
109.40.131.104
109.41.192.248
109.41.2.81
109.41.66.248
109.91.113.5
122.96.46.139
178.192.20.82
178.199.228.191
178.203.4.79
178.9.69.112
185.81.141.138
185.81.141.164
188.93.200.32
192.133.77.16
192.133.77.17
192.133.77.18
193.5.216.82
193.70.12.232
195.167.94.210
199.16.156.124
199.16.156.125
199.16.156.126
199.16.157.180
199.16.157.181
199.16.157.182
199.16.157.183
199.59.148.209
199.59.148.210
199.59.148.211
199.59.150.180
199.59.150.181
199.59.150.182
199.59.150.183
2.247.241.162
212.241.112.226
217.228.45.135
217.247.27.93
217.254.8.239
222.67.235.77
37.201.192.74
37.201.211.130
37.201.211.80
37.49.93.102
47.70.141.193
77.186.84.239
77.2.57.14
79.222.179.133
79.222.179.44
79.231.182.159
80.187.103.168
80.187.104.178
80.187.110.242
80.187.113.97
80.187.86.100
84.139.67.6
84.167.221.189
86.125.139.154
88.130.59.116
88.217.181.188
89.166.229.200
89.204.154.122
91.106.159.135
91.106.168.174
91.3.200.153
91.62.196.218
91.66.57.132
91.66.81.144
91.8.27.229
93.127.252.241
93.239.241.183
93.244.27.71
User Agents
Mit diesen User-Agent-Strings identifiziert sich twitterbot:
Twitterbot/1.0Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_1) AppleWebKit/601.2.4 (KHTML, like Gecko) Version/9.0.1 Safari/601.2.4 facebookexternalhit/1.1 Facebot Twitterbot/1.0