Was ist semrushbot?
indexiert und analysiert Inhalte von Webseiten.
Der Webrobot semrushbot indexiert und analysiert Inhalte von Webseiten. Er zeigt sich meistens mit der IP Adresse 104.131.42.50 und unter Verwendung des User Agent Mozilla/5.0 (compatible; SemrushBot; +http://www.semrush.com/bot.html). Mit 14.44% Marktanteil ist semrushbot auf Platz 3 der aktivsten Webrobots im Internet.
„SEMrush.com -> Bot"
— Offizielle Beschreibung des Betreibers
Was macht semrushbot?
SemrushBot ist der Crawler von Semrush. Er sammelt und aktualisiert Webdaten, die unter anderem für Backlink Analytics, Site Audit, Backlink Audit, Link Building, SEO Writing Assistant, On Page SEO Checker, Topic Research und weitere Semrush-Produkte genutzt werden.
Wann ist der Bot nützlich?
- du Semrush selbst nutzt oder möchtest, dass Semrush-Daten zu deiner Website möglichst vollständig sind
- Backlinkdaten, technische Audits oder Content-Checks in Semrush für deine Domain relevant sind
- du akzeptierst, dass Wettbewerber über SEO-Tools ebenfalls mehr Daten über deine Website sehen können
Welche Risiken gibt es?
- SemrushBot kann je nach Website zusätzliche Serverlast verursachen
- die erfassten Daten können in SEO- und Wettbewerbsanalysen sichtbar werden
- Semrush verwendet mehrere Bot-Namen für unterschiedliche Produkte, zum Beispiel SiteAuditBot oder SemrushBot-SI
Erkennung in Logs
Prüfe in den Serverlogs nicht nur „SemrushBot“, sondern auch Varianten wie SiteAuditBot, SemrushBot-BA, SemrushBot-SI, SemrushBot-SWA, SplitSignalBot, SemrushBot-OCOB, SemrushBot-FT und SemrushBot-ESI.
Gefahreneinschätzung und Bewertung
Sollte man semrushbot blockieren?
Wenn du Semrush nutzt oder auf vollständige SEO-Tool-Daten Wert legst, solltest du SemrushBot eher erlauben oder gezielt begrenzen. Wenn dir Schutz vor Wettbewerbsanalyse wichtiger ist, kannst du SemrushBot und die relevanten Semrush-Spezialbots per robots.txt blockieren.
robots.txt – semrushbot blockieren
Füge diese Zeilen in deine robots.txt ein, um semrushbot den Zugriff auf deine Website zu verwehren:
User-agent: semrushbot
Disallow: /Du kannst den Zugriff auch gezielt einschränken, statt ihn komplett zu blockieren:
User-agent: semrushbot
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /Häufige Fragen zu semrushbot
Ist semrushbot gut oder schlecht?
Das hängt vom Einsatzzweck ab. semrushbot ist als SEO-Tool-Crawler eingeordnet. Entscheidend sind Nutzen, Serverlast, Crawl-Verhalten und ob der Bot deine robots.txt-Regeln respektiert.
Welche Semrush-Bots sollte ich zusätzlich kennen?
Neben SemrushBot nennt Semrush unter anderem SiteAuditBot, SemrushBot-BA, SemrushBot-SI, SemrushBot-SWA, SplitSignalBot, SemrushBot-OCOB, SemrushBot-FT, RyteBot und SemrushBot-ESI.
Wie schnell übernimmt SemrushBot robots.txt-Änderungen?
Semrush gibt an, dass Änderungen an der robots.txt etwas Zeit brauchen können. Laut Semrush kann es bis zu eine Stunde oder bis zu 100 Requests dauern, bis neue Regeln erkannt werden.
Wie erkenne ich semrushbot in Server-Logs?
Suche nach dem User-Agent-Namen semrushbot. Ein beobachteter User-Agent ist Mozilla/5.0 (compatible; SemrushBot; +http://www.semrush.com/bot.html). Vergleiche ausserdem IP-Adressen, Zugriffsmuster und aufgerufene URLs.
Reicht robots.txt zum Blockieren?
robots.txt ist ein Hinweis für regelkonforme Crawler. Unerwünschte oder aggressive Bots können diese Regeln ignorieren. In solchen Fällen helfen zusätzlich Firewall-Regeln, WAF-Regeln oder Blockierungen im Hosting/CDN.
Kann ein Bot seinen User-Agent fälschen?
Ja. Ein User-Agent ist leicht zu fälschen. Für wichtige Entscheidungen solltest du zusätzlich IP-Adresse, Reverse-DNS, Zugriffsmuster, Häufigkeit und aufgerufene URLs prüfen.
IP-Adressen 112 bekannte IPs
Diese IP-Adressen wurden bisher von semrushbot verwendet:
104.131.42.50
192.243.53.51
192.243.56.76
213.174.146.212
213.174.146.213
213.174.147.83
213.174.152.181
213.174.152.182
213.174.152.183
213.174.152.184
213.174.152.185
213.174.152.186
213.174.152.187
35.236.211.174
35.245.138.186
46.229.161.131
46.229.164.100
46.229.164.101
46.229.164.102
46.229.164.111
46.229.164.112
46.229.164.113
46.229.164.114
46.229.164.115
46.229.164.97
46.229.164.98
46.229.164.99
46.229.168.129
46.229.168.130
46.229.168.131
46.229.168.132
46.229.168.133
46.229.168.134
46.229.168.135
46.229.168.136
46.229.168.137
46.229.168.138
46.229.168.139
46.229.168.140
46.229.168.141
46.229.168.142
46.229.168.143
46.229.168.144
46.229.168.145
46.229.168.146
46.229.168.147
46.229.168.148
46.229.168.149
46.229.168.150
46.229.168.151
46.229.168.152
46.229.168.153
46.229.168.154
46.229.168.161
46.229.168.162
46.229.168.163
46.229.168.65
46.229.168.66
46.229.168.67
46.229.168.68
46.229.168.69
46.229.168.70
46.229.168.71
46.229.168.72
46.229.168.73
46.229.168.74
46.229.168.75
46.229.168.76
46.229.168.77
46.229.168.78
46.229.168.79
46.229.168.80
46.229.168.81
46.229.168.82
46.229.168.83
46.229.168.84
46.229.168.85
46.229.168.86
46.229.173.137
46.229.173.66
46.248.173.98
85.208.96.1
85.208.96.193
85.208.96.194
85.208.96.195
85.208.96.196
85.208.96.197
85.208.96.198
85.208.96.199
85.208.96.2
85.208.96.200
85.208.96.201
85.208.96.202
85.208.96.203
85.208.96.204
85.208.96.205
85.208.96.206
85.208.96.207
85.208.96.208
85.208.96.209
85.208.96.210
85.208.96.211
85.208.96.212
85.208.96.65
85.208.96.66
85.208.96.67
85.208.96.68
85.208.96.69
85.208.96.7
85.208.96.70
85.208.96.71
85.208.98.18
User Agents
Mit diesen User-Agent-Strings identifiziert sich semrushbot:
Mozilla/5.0 (compatible; SemrushBot; +http://www.semrush.com/bot.html)Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)SEMrushBotMozilla/5.0 (compatible; SemrushBot/6~bl; http://www.semrush.com/bot.html)Mozilla/5.0 (compatible; SemrushBot/1.0~bm; http://www.semrush.com/bot.html)Mozilla/5.0 (compatible; SemrushBot/3~bl; http://www.semrush.com/bot.html)Mozilla/5.0 (compatible; SemrushBot-BA; http://www.semrush.com/bot.html)Mozilla/5.0 (compatible; SemrushBot/2~bl; http://www.semrush.com/bot.html)Mozilla/5.0 (compatible; SemrushBot-SA/0.97; http://www.semrush.com/bot.html)Mozilla/5.0 (compatible; SemrushBot-SI/0.97; http://www.semrush.com/bot.html)Mozilla/5.0 (compatible; SemrushBot/1.2~bl; http://www.semrush.com/bot.html)Mozilla/5.0 (compatible; SemrushBot/0.98~bl; http://www.semrush.com/bot.html)