Was ist velenpublicwebcrawler?
Der Webrobot velenpublicwebcrawler indexiert und analysiert Inhalte von Webseiten. Er zeigt sich meistens mit der IP Adresse 104.155.59.253 und unter Verwendung des User Agent Mozilla/5.0 (compatible; VelenPublicWebCrawler/1.0; +https://velen.io). Mit 0.0065% Marktanteil ist velenpublicwebcrawler auf Platz 105 der aktivsten Webrobots im Internet.
„Velen is a crawler written in Go for Hunter. It analyzes millions of public internet pages every month. We only crawl pages that are publicly accessible. Any page behind a login or any other authentication won’t be crawled. Our goal with this crawler is to build business datasets and machine learning models to better understand the web."
— Offizielle Beschreibung des Betreibers
Technische Einordnung von velenpublicwebcrawler
velenpublicwebcrawler wurde in Webserver-Logs als Bot oder Crawler erkannt. Die wichtigsten technischen Hinweise findest du auf dieser Seite: bekannte User-Agents, beobachtete IP-Adressen, Aktivitätsdaten und passende robots.txt-Regeln.
Für eine konkrete Entscheidung solltest du zusätzlich prüfen, welche URLs velenpublicwebcrawler abruft, wie häufig die Zugriffe sind und ob der Bot deine robots.txt-Regeln respektiert.
Gefahreneinschätzung und Bewertung
Sollte man velenpublicwebcrawler blockieren?
Prüfe zuerst Zugriffshäufigkeit, aufgerufene URLs und User-Agent. Danach kannst du entscheiden, ob eine Blockierung sinnvoll ist.
robots.txt – velenpublicwebcrawler blockieren
Füge diese Zeilen in deine robots.txt ein, um velenpublicwebcrawler den Zugriff auf deine Website zu verwehren:
User-agent: velenpublicwebcrawler
Disallow: /Du kannst den Zugriff auch gezielt einschränken, statt ihn komplett zu blockieren:
User-agent: velenpublicwebcrawler
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /Häufige Fragen zu velenpublicwebcrawler
Ist velenpublicwebcrawler gut oder schlecht?
Das hängt vom Einsatzzweck ab. velenpublicwebcrawler ist als Web-Crawler eingeordnet. Entscheidend sind Nutzen, Serverlast, Crawl-Verhalten und ob der Bot deine robots.txt-Regeln respektiert.
Wie erkenne ich velenpublicwebcrawler in Server-Logs?
Suche nach dem User-Agent-Namen velenpublicwebcrawler. Ein beobachteter User-Agent ist Mozilla/5.0 (compatible; VelenPublicWebCrawler/1.0; +https://velen.io). Vergleiche ausserdem IP-Adressen, Zugriffsmuster und aufgerufene URLs.
Reicht robots.txt zum Blockieren?
robots.txt ist ein Hinweis für regelkonforme Crawler. Unerwünschte oder aggressive Bots können diese Regeln ignorieren. In solchen Fällen helfen zusätzlich Firewall-Regeln, WAF-Regeln oder Blockierungen im Hosting/CDN.
Kann ein Bot seinen User-Agent fälschen?
Ja. Ein User-Agent ist leicht zu fälschen. Für wichtige Entscheidungen solltest du zusätzlich IP-Adresse, Reverse-DNS, Zugriffsmuster, Häufigkeit und aufgerufene URLs prüfen.
IP-Adressen 71 bekannte IPs
Diese IP-Adressen wurden bisher von velenpublicwebcrawler verwendet:
104.155.59.253
104.155.90.40
130.211.102.75
130.211.104.61
146.148.114.253
146.148.25.88
207.175.102.32
207.175.23.168
207.175.84.214
23.251.142.212
34.14.67.54
34.14.85.255
34.140.118.146
34.140.222.105
34.140.98.135
34.156.110.211
34.156.132.19
34.156.222.218
34.156.245.59
34.156.32.16
34.156.49.0
34.22.150.56
34.22.163.121
34.22.191.212
34.22.226.237
34.22.241.11
34.38.154.77
34.38.157.27
34.38.46.91
34.38.70.75
34.38.89.221
34.52.147.1
34.52.240.235
34.53.209.200
34.53.223.218
34.62.107.23
34.62.233.248
34.62.243.23
34.62.48.76
34.62.93.49
34.76.104.7
34.76.140.210
34.76.146.63
34.76.17.160
34.77.152.226
34.77.159.125
34.77.175.199
34.77.225.245
34.77.236.193
34.77.242.146
34.78.128.179
34.79.179.65
34.79.200.235
34.79.87.246
35.187.16.199
35.187.19.25
35.187.83.116
35.187.91.209
35.190.197.155
35.195.110.68
35.195.230.81
35.195.97.125
35.205.11.249
35.205.195.253
35.205.222.46
35.205.77.49
35.233.119.173
35.240.16.60
35.240.29.146
35.240.4.26
35.241.218.236
User Agents
Mit diesen User-Agent-Strings identifiziert sich velenpublicwebcrawler:
Mozilla/5.0 (compatible; VelenPublicWebCrawler/1.0; +https://velen.io)