Search results for crawlers
FiltersJSON
4 datasets for “crawlers”
- GovData Germany
Open-Data-Portal Zugriffszahlen
Land Schleswig-HolsteinUpdated 12 Nov 2026
… GoAccess](https://goaccess.io) (mit der Option `--ignore-crawlers`). Folgende Spalten sind enthalten: - `Monat` - Monat im Format yyyy …
- JSON
- CSV
- data.gouv.fr
Les sites publics francais bloquent-ils les robots d'IA ? robots.txt de 3 581 domaines (aout 2026)
Leroy LeroyUpdated 27 Aug 2026
Mesure du fichier `robots.txt` de 3 581 noms de domaine declares par des administrations et organismes publics …
- HTML
- JSON
- CSV
- Opendatasoft hubLive preview
OGD Portal: Daily use (since January 2024)
Fach- und Koordinationsstelle OGD BLUpdated 13 Nov 2026
… Aufrufe von Akteuren, welche durch den User-Agent header eindeutig als Bots oder Crawler erkennbar sind, werden ebenfalls …
- CSV
- JSON
- GEOJSON
- ODS API
- Opendatasoft hubLive preview
OGD-Portal: Tägliche Nutzung nach Datensatz (seit Januar 2024)
Fach- und Koordinationsstelle OGD BLUpdated 13 Nov 2026
… Aufrufe von Akteuren, welche durch den User-Agent header eindeutig als Bots oder Crawler erkennbar sind, werden ebenfalls …
- CSV
- JSON
- GEOJSON
- ODS API