Skip to content
Open Data Finder
data.gouv.fr

Benchmark IA sur matériel

Published by Guillaume SERRAND

About this dataset

# Bancs d'essai d'IA locale, débit mesuré par matériel et par modèle Ce jeu de données rassemble 2596 mesures de débit d'IA locale, une ligne par grappe de matériel, modèle, quantification, moteur et nombre de cartes. Il répond à une question concrète : quelle machine fait tourner quel modèle, à quelle vitesse, dans quelle configuration. Les mesures sont publiées par la communauté de LocalMaxxing, qui en expose l'API publique. Le tri, l'agrégation et la sélection sont faits par gyom.fr, qui documente la méthode sur cette page et sur Matériel. ## Ce que contient le fichier 34 colonnes, 2596 lignes, 589 grappes de matériel et 661 modèles distincts, du 2026-04-25 au 2026-10-05. * Matériel : identifiant et nom de la grappe, classe (carte graphique ou mémoire unifiée), carte ou puce, vendeur, famille, variante, nombre de cartes, mémoire, processeur, système. * Modèle : nom, identifiant Hugging Face, taille en milliards de paramètres, famille. * Configuration : moteur et sa version, quantification, longueur de contexte, taille de lot, décodage spéculatif, Multi Token Prediction. * Mesures : débit de génération en tokens par seconde, temps jusqu'au premier token en millisecondes, VRAM de pointe, puissance annoncée du matériel. * Traçabilité : adresse de l'exécution retenue chez la source, contrôle de la mesure par la source (oui ou non), nombre d'exécutions derrière la ligne, date. ## Méthode de sélection 1. Seules les exécutions approuvées et portant un débit de génération mesuré sont retenues, 8585 sur 8585 lues à la source. 2. Une ligne par combinaison grappe, modèle, quantification, moteur et nombre de cartes, 2596 combinaisons retenues. 3. Dans une combinaison, la meilleure exécution contrôlée par la source ; à défaut la meilleure non contrôlée, et la colonne `metrique_verifiee` le dit. 88 lignes sur 2596 portent une mesure contrôlée. 4. Lot de 1 privilégié, parce qu'il décrit la vitesse qu'un particulier obtient. Quand seul un lot plus grand est publié, la colonne `taille_lot` le dit : 2439 lignes sur 2596 sont au lot de 1. 5. Aucune donnée personnelle : ni identifiant ni nom de contributeur, ni extrait de prompt ou de réponse exécutés. La colonne `metrique_verifiee` dit qu'une mesure a été contrôlée, jamais par qui. ## Limites * La couverture des colonnes secondaires est partielle : temps jusqu'au premier token 71 %, VRAM de pointe 40 %, puissance 16 %. Les cellules vides veulent dire non renseigné à la source, pas zéro. * Un débit mesuré dépend de la quantification, du moteur, de sa version et de la longueur de contexte. Une ligne se lit avec ces colonnes, jamais seule. * La colonne `moteur_version` reprend la chaîne publiée par la source : elle est hétérogène, et elle nomme parfois le dépôt public du moteur employé. * 474 lignes sur 2596 ont été mesurées avec le décodage spéculatif actif, ce qui augmente le débit sans augmenter la qualité du modèle. La colonne le signale. * Ce jeu n'est pas exhaustif : il agrège, il ne recopie pas la source, et il renvoie à chaque exécution retenue pour la vérification.

Benchmark IA sur matériel · Open Data Finder