Was ist cliqzbot?
Der Webrobot cliqzbot indexiert und analysiert Inhalte von Webseiten. Er zeigt sich meistens mit der IP Adresse 100.26.232.113 und unter Verwendung des User Agent Mozilla/5.0 (compatible; Cliqzbot/2.0; http://cliqz.com/company/cliqzbot). Mit 0.0843% Marktanteil ist cliqzbot auf Platz 42 der aktivsten Webrobots im Internet.
Technische Einordnung von cliqzbot
cliqzbot wurde in Webserver-Logs als Bot oder Crawler erkannt. Die vorhandenen Hinweise auf dieser Seite helfen dir, den Bot in Logs einzuordnen und eine sinnvolle Blockier- oder Erlaubnisentscheidung zu treffen.
Prüfe insbesondere Zugriffshäufigkeit, aufgerufene URLs, User-Agent, IP-Adressen und ob der Bot deine robots.txt-Regeln respektiert.
Gefahreneinschätzung und Bewertung
Sollte man cliqzbot blockieren?
Prüfe zuerst Zugriffshäufigkeit, aufgerufene URLs und User-Agent. Danach kannst du entscheiden, ob eine Blockierung sinnvoll ist.
robots.txt – cliqzbot blockieren
Füge diese Zeilen in deine robots.txt ein, um cliqzbot den Zugriff auf deine Website zu verwehren:
User-agent: cliqzbot
Disallow: /Häufige Fragen zu cliqzbot
Warum gibt es zu cliqzbot nur eine Basisanalyse?
Die Seite zeigt die wichtigsten technischen Hinweise aus den verfügbaren WebRobots-Daten. Für die konkrete Entscheidung solltest du zusätzlich deine eigenen Serverlogs prüfen.
Reicht robots.txt zum Blockieren?
robots.txt ist ein Hinweis für regelkonforme Crawler. Unerwünschte oder aggressive Bots können diese Regeln ignorieren. In solchen Fällen helfen zusätzlich Firewall-Regeln, WAF-Regeln oder Blockierungen im Hosting/CDN.