robots.txt et sitemap.xml sur 1 000 sites publics locaux français (octobre 2026)
Published by Leroy Leroy
About this dataset
Relevé reproductible, mesuré le 16 octobre 2026, de la présence d'un fichier `robots.txt` et d'un `sitemap.xml` sur 1 000 sites web de collectivités et services publics locaux français. Population : l'annuaire officiel Service-public.gouv.fr, base de données locales (DILA, Licence Ouverte), version du 31 juillet 2026. Échantillon : 1 000 domaines tirés au hasard avec la graine fixe `20260802`, le même que les relevés publiés en août et les 14, 15 et 16 octobre 2026. Méthode : GET de `/robots.txt`, de `/sitemap.xml` et d'une adresse inexistante en contrôle (les domaines qui répondent 200 à tout sont écartés). Un robots.txt compte s'il est servi en 200 et n'est pas une page HTML ; un sitemap.xml s'il est réellement du XML de sitemap. Témoins : service-public.fr et cloudflare.com valides, example.com sans les deux fichiers. Résultats : 783 domaines concluants (138 sans réponse HTTPS, 79 répondent 200 à tout). robots.txt valide : 651 (83,1 %), dont 409 (52,2 %) déclarent un sitemap. sitemap.xml valide : 512 (65,4 %). Ni l'un ni l'autre : 110 (14,0 %). Blocage général (`User-agent: *` puis `Disallow: /`) : 4, relus à la main ; l'un n'autorise que les robots de Google, ce qui exclut Bing et les moteurs qu'il alimente. Ce que ce n'est pas : un audit de référencement ; un sitemap peut être déclaré ailleurs que dans robots.txt. Citer la date de mesure. Producteur : ZAX, référencement naturel et création de sites. Ce que coûte le référencement d'un site : https://z-ax.com/fr/blog/prix-referencement-naturel-2026/