Search results for robots-txt
FiltersJSON
2 datasets for “robots-txt”
- data.gouv.fr
robots.txt et sitemap.xml sur 1 000 sites publics locaux français (octobre 2026)
Leroy LeroyUpdated 16 Oct 2026
Relevé reproductible, mesuré le 16 octobre 2026, de la présence d'un fichier `robots.txt` et d'un …
- JSON
- CSV
- data.gouv.fr
Les sites publics francais bloquent-ils les robots d'IA ? robots.txt de 3 581 domaines (aout 2026)
Leroy LeroyUpdated 27 Aug 2026
Mesure du fichier `robots.txt` de 3 581 noms de domaine declares par des administrations et organismes publics …
- HTML
- JSON
- CSV