Was ist velenpublicwebcrawler?
Der Webrobot velenpublicwebcrawler indexiert und analysiert Inhalte von Webseiten. Er zeigt sich meistens mit der IP Adresse 104.155.90.40 und unter Verwendung des User Agent Mozilla/5.0 (compatible; VelenPublicWebCrawler/1.0; +https://velen.io). Mit 0.0011% Marktanteil ist velenpublicwebcrawler auf Platz 173 der aktivsten Webrobots im Internet.
„Velen is a crawler written in Go for Hunter. It analyzes millions of public internet pages every month. We only crawl pages that are publicly accessible. Any page behind a login or any other authentication won’t be crawled. Our goal with this crawler is to build business datasets and machine learning models to better understand the web."
— Offizielle Beschreibung des Betreibers
Technische Einordnung von velenpublicwebcrawler
velenpublicwebcrawler wurde in Webserver-Logs als Bot oder Crawler erkannt. Die wichtigsten technischen Hinweise findest du auf dieser Seite: bekannte User-Agents, beobachtete IP-Adressen, Aktivitätsdaten und passende robots.txt-Regeln.
Für eine konkrete Entscheidung solltest du zusätzlich prüfen, welche URLs velenpublicwebcrawler abruft, wie häufig die Zugriffe sind und ob der Bot deine robots.txt-Regeln respektiert.
Gefahreneinschätzung und Bewertung
Sollte man velenpublicwebcrawler blockieren?
Prüfe zuerst Zugriffshäufigkeit, aufgerufene URLs und User-Agent. Danach kannst du entscheiden, ob eine Blockierung sinnvoll ist.
robots.txt – velenpublicwebcrawler blockieren
Füge diese Zeilen in deine robots.txt ein, um velenpublicwebcrawler den Zugriff auf deine Website zu verwehren:
User-agent: velenpublicwebcrawler
Disallow: /Du kannst den Zugriff auch gezielt einschränken, statt ihn komplett zu blockieren:
User-agent: velenpublicwebcrawler
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /Häufige Fragen zu velenpublicwebcrawler
Ist velenpublicwebcrawler gut oder schlecht?
Das hängt vom Einsatzzweck ab. velenpublicwebcrawler ist als Web-Crawler eingeordnet. Entscheidend sind Nutzen, Serverlast, Crawl-Verhalten und ob der Bot deine robots.txt-Regeln respektiert.
Wie erkenne ich velenpublicwebcrawler in Server-Logs?
Suche nach dem User-Agent-Namen velenpublicwebcrawler. Ein beobachteter User-Agent ist Mozilla/5.0 (compatible; VelenPublicWebCrawler/1.0; +https://velen.io). Vergleiche ausserdem IP-Adressen, Zugriffsmuster und aufgerufene URLs.
Reicht robots.txt zum Blockieren?
robots.txt ist ein Hinweis für regelkonforme Crawler. Unerwünschte oder aggressive Bots können diese Regeln ignorieren. In solchen Fällen helfen zusätzlich Firewall-Regeln, WAF-Regeln oder Blockierungen im Hosting/CDN.
Kann ein Bot seinen User-Agent fälschen?
Ja. Ein User-Agent ist leicht zu fälschen. Für wichtige Entscheidungen solltest du zusätzlich IP-Adresse, Reverse-DNS, Zugriffsmuster, Häufigkeit und aufgerufene URLs prüfen.
IP-Adressen 22 bekannte IPs
Diese IP-Adressen wurden bisher von velenpublicwebcrawler verwendet:
104.155.90.40
130.211.102.75
146.148.114.253
207.175.23.168
34.140.222.105
34.156.110.211
34.156.49.0
34.22.191.212
34.22.226.237
34.38.157.27
34.38.70.75
34.52.147.1
34.79.200.235
35.187.16.199
35.187.19.25
35.195.110.68
35.195.230.81
35.195.97.125
35.205.11.249
35.205.222.46
35.240.16.60
35.240.4.26
User Agents
Mit diesen User-Agent-Strings identifiziert sich velenpublicwebcrawler:
Mozilla/5.0 (compatible; VelenPublicWebCrawler/1.0; +https://velen.io)