Search results for crawlers
Filtersdata.gouv.fr · JSON
1 dataset for “crawlers”
- data.gouv.fr
Les sites publics francais bloquent-ils les robots d'IA ? robots.txt de 3 581 domaines (aout 2026)
Leroy LeroyUpdated 27 Aug 2026
Mesure du fichier `robots.txt` de 3 581 noms de domaine declares par des administrations et organismes publics …
- HTML
- JSON
- CSV