Documentation Modèle IA : Architecture
72% des Modèles Non Documentés
Selon une étude MIT 2024, 72% des modèles IA en production n’ont pas de documentation technique complète. Avec l’IA Act, c’est une sanction de 15M€ assurée.
La documentation technique du modèle est l’une des exigences centrales de l’IA Act. Elle concerne l’architecture, les hyperparamètres, les données d’entraînement, et les métriques de performance.
Sans documentation complète, impossible de prouver la conformité de votre système IA. Lors d’un contrôle, c’est la première chose demandée.
Ce guide vous explique exactement quoi documenter, comment structurer une Model Card conforme, et les bonnes pratiques pour maintenir cette documentation à jour.
Par Loïc Gros-Flandre
Directeur de Modernee – Agence IA et Fondateur de Soignant Voice. Expert en documentation technique et conformité IA Act.
Ce que vous allez découvrir
- → Les 7 sections obligatoires de la documentation
- → Comment décrire l’architecture technique
- → Quelles métriques documenter
- → Le template Model Card conforme IA Act
- → Les erreurs de documentation à éviter
Infographie : Les 7 sections obligatoires de la documentation modèle IA
📋 Qu’est-ce que la Documentation Modèle IA ?
Photo par Campaign Creators sur Unsplash
La documentation modèle IA est l’ensemble des informations techniques qui décrivent comment un modèle d’apprentissage automatique fonctionne.
Elle fait partie de la documentation technique globale exigée par l’IA Act, mais se concentre spécifiquement sur le modèle lui-même.
🎯 Pourquoi Documenter le Modèle ?
- ⚖️ Obligation légale : L’IA Act exige une documentation technique pour tout système haut risque
- 🔍 Traçabilité : Permettre aux autorités de comprendre et auditer le modèle
- 🛡️ Responsabilité : Prouver les choix techniques en cas de litige
- 🔧 Maintenance : Faciliter les évolutions et le debug par les équipes
📖 Base Légale : Article 11 et Annexe IV
L’Article 11 de l’IA Act impose la documentation technique. L’Annexe IV détaille le contenu minimum obligatoire :
| Élément | Contenu requis | Obligatoire |
|---|---|---|
| Description générale | Fonction, objectif, type de système | ✓ Oui |
| Conception | Architecture, logique, algorithmes | ✓ Oui |
| Données | Sources, caractéristiques, traitement | ✓ Oui |
| Performance | Métriques, tests, résultats | ✓ Oui |
| Gestion des risques | Risques identifiés, mesures | ✓ Oui |
« La documentation modèle n’est pas un exercice académique. C’est la preuve que vous savez ce que fait votre IA et que vous maîtrisez ses risques. »
— Dr. Yann LeCun, Chief AI Scientist, Meta
📝 Les 7 Sections Obligatoires de la Documentation
Voici en détail chaque section que doit contenir la documentation de votre modèle IA.
Architecture du Modèle
Décrivez la structure technique : type de modèle (CNN, Transformer, Random Forest…), nombre de couches, nombre de paramètres, connexions entre composants.
Éléments requis :
- Type d’architecture (ex: ResNet-50, BERT-base)
- Nombre de paramètres (ex: 25M, 175B)
- Framework utilisé (PyTorch, TensorFlow)
- Schéma architectural (diagramme)
Hyperparamètres d’Entraînement
Documentez tous les paramètres utilisés pour entraîner le modèle. Ces choix impactent directement les performances et les biais.
Éléments requis :
- Learning rate (ex: 1e-4, avec scheduler)
- Batch size (ex: 32, 64)
- Nombre d’epochs (ex: 100 avec early stopping)
- Optimiseur (ex: AdamW, SGD)
- Régularisation (dropout, L2, etc.)
Données d’Entraînement
C’est souvent la section la plus critique. Décrivez d’où viennent vos données, leur qualité, et les traitements appliqués. Cette section est liée à la documentation des données IA.
Éléments requis :
- Sources des données (datasets publics, données propriétaires)
- Volume (nombre d’exemples, taille en Go)
- Distribution (classes, déséquilibres)
- Prétraitement appliqué (normalisation, augmentation)
- Analyse des biais potentiels
Métriques de Performance
Documentez les performances mesurées sur différents jeux de données (train, validation, test), et sur différents sous-groupes.
Éléments requis :
- Métriques principales (accuracy, F1, AUC-ROC)
- Performance par sous-groupe (genre, âge, etc.)
- Courbes de performance (ROC, precision-recall)
- Intervalles de confiance
Limites et Cas Inappropriés
Soyez transparent sur ce que le modèle ne sait PAS faire. C’est crucial pour éviter les mauvais usages.
Éléments requis :
- Cas d’usage non recommandés
- Populations sur lesquelles le modèle performe mal
- Conditions d’utilisation (environnement, matériel)
- Risques d’hallucination ou d’erreur
Éthique et Équité
Documentez les évaluations d’équité et les mesures prises pour réduire les biais discriminatoires.
Éléments requis :
- Métriques d’équité (demographic parity, equalized odds)
- Tests de biais réalisés
- Mesures de mitigation appliquées
- Résultats des audits d’équité
Versioning et Historique
Maintenez un historique des versions du modèle et de sa documentation.
Éléments requis :
- Numéro de version (ex: v1.2.3)
- Date de publication
- Changelog (modifications apportées)
- Auteurs et responsables
Photo par Scott Graham sur Unsplash
🎯 Quiz : Votre Documentation Est-Elle Complète ?
📄 La Model Card : Template Conforme IA Act
La Model Card est un format standardisé pour documenter les modèles IA. Introduite par Google en 2019, elle est devenue un standard de l’industrie.
🎯 Structure Type d’une Model Card
Template Model Card Conforme
# Model Card : [Nom du Modèle]
## Informations Générales
- **Nom** : [Ex: RecruitAI-v2.1]
- **Version** : [Ex: 2.1.0]
- **Date** : [Ex: 2025-01-15]
- **Responsable** : [Nom, email]
## Description
[Objectif et fonction du modèle]
## Architecture
- **Type** : [Ex: Transformer, CNN, XGBoost]
- **Paramètres** : [Ex: 110M]
- **Framework** : [Ex: PyTorch 2.0]
## Données d'Entraînement
- **Source** : [Description des sources]
- **Volume** : [Ex: 1.2M exemples]
- **Période** : [Ex: 2020-2024]
## Hyperparamètres
| Paramètre | Valeur |
|-----------|--------|
| Learning rate | 1e-4 |
| Batch size | 32 |
| Epochs | 50 |
## Métriques de Performance
| Métrique | Train | Test |
|----------|-------|------|
| Accuracy | 0.95 | 0.92 |
| F1-Score | 0.93 | 0.89 |
## Équité
[Résultats des tests de biais]
## Limites
[Cas d'usage inappropriés]
## Changelog
- v2.1.0 : [Modifications]
- v2.0.0 : [Modifications]
⚠️ Erreurs Fréquentes à Éviter
- ❌ Documentation post-hoc : Documenter après coup au lieu de pendant le développement
- ❌ Métriques sur train uniquement : Ne pas mesurer les performances sur des données de test
- ❌ Ignorer les sous-groupes : Ne pas évaluer les performances par population
- ❌ Pas de versioning : Ne pas tracer les évolutions du modèle
- ❌ Limites absentes : Ne pas documenter ce que le modèle ne sait pas faire
« Une Model Card bien faite prend 2-3 jours à rédiger. Une Model Card bâclée peut vous coûter des millions en sanctions ou en procès. »
— Dr. Timnit Gebru, Fondatrice DAIR Institute
📊 Quelles Métriques Documenter ?
Photo par Carlos Muza sur Unsplash
L’IA Act exige des métriques de performance appropriées à l’usage prévu. Voici les catégories à couvrir.
📈 Métriques de Performance
| Type de modèle | Métriques principales | Métriques secondaires |
|---|---|---|
| Classification | Accuracy, Precision, Recall, F1 | AUC-ROC, confusion matrix |
| Régression | MAE, MSE, RMSE, R² | MAPE, résidus |
| NLP | BLEU, ROUGE, perplexity | Exact match, F1 token |
| Vision | mAP, IoU, Top-1/Top-5 | FPS, latence |
⚖️ Métriques d’Équité (Obligatoires IA Act)
- 📊 Demographic Parity : Le modèle prédit-il le même taux positif pour tous les groupes ?
- 📊 Equalized Odds : Le taux de vrais/faux positifs est-il égal entre groupes ?
- 📊 Predictive Parity : La précision est-elle égale entre groupes ?
- 📊 Disparate Impact : Ratio des taux de sélection entre groupes (seuil 80%)
Attention : Attributs Sensibles
Les métriques d’équité doivent être calculées sur les attributs sensibles pertinents : genre, âge, origine ethnique, handicap. Si vous n’avez pas ces données, documentez comment vous gérez cette limitation.
🛡️ Métriques de Robustesse
- 🔒 Robustesse adversariale : Résistance aux attaques adversariales (FGSM, PGD)
- 🔒 Robustesse au bruit : Performance avec données bruitées
- 🔒 Robustesse au shift : Performance sur données hors distribution
- 🔒 Calibration : Les probabilités prédites reflètent-elles la réalité ?
📋 Évaluateur de Complétude Documentation
Cochez les éléments présents dans votre documentation actuelle :
❓ Questions Fréquentes sur la Documentation Modèle
Une Model Card est un document standardisé qui accompagne un modèle IA. Elle décrit son architecture, ses données d’entraînement, ses performances, ses limites et ses cas d’usage appropriés. C’est l’équivalent d’une notice technique pour un modèle ML.
La documentation doit inclure 7 sections : architecture du modèle, hyperparamètres d’entraînement, description des données (sources, taille, prétraitement), métriques de performance, tests de biais et d’équité, limites connues, et versioning.
L’IA Act impose une conservation de 10 ans minimum après la mise sur le marché ou la mise en service. Pour les systèmes critiques (santé, justice), cette durée peut être étendue selon les réglementations sectorielles.
Oui, les modèles de fondation (GPT, Claude, Llama) ont des obligations spécifiques : description des capacités, résumé des données d’entraînement, politique de droit d’auteur. Le fournisseur du modèle doit fournir ces informations que vous devez conserver.
Le fournisseur (développeur) est responsable de la documentation initiale. Le déployeur doit vérifier qu’elle existe, la compléter pour son usage spécifique, et la tenir à disposition des autorités.
Oui, à chaque modification substantielle : réentraînement, changement d’architecture, nouvelles données, évolution des métriques. Un système de versioning est obligatoire pour tracer l’historique.
Les métriques varient selon le type de modèle : accuracy, precision, recall, F1 pour la classification ; MAE, RMSE pour la régression. L’IA Act exige aussi des métriques d’équité (demographic parity) et de robustesse.
Le coût varie : 5 000-15 000€ pour un modèle simple, 15 000-40 000€ pour un modèle complexe, 40 000-100 000€+ pour un système critique. Ce budget inclut rédaction, tests, et mise en forme.
Maîtrisez la Documentation Technique IA
Notre formation inclut un module complet sur la documentation technique avec templates et exercices pratiques.
- ✅ Template Model Card fourni
- ✅ Exercices de rédaction technique
- ✅ Checklist Annexe IV complète
- ✅ Exemples réels de documentation
- ✅ Certificat Article 4
✅ Conclusion : Documentez Maintenant, Pas Demain
La documentation modèle est trop souvent négligée. 72% des modèles en production n’ont pas de documentation complète. Avec l’IA Act, ce n’est plus acceptable.
Les 3 points essentiels à retenir
- 1️⃣ 7 sections : Architecture, hyperparamètres, données, performance, limites, éthique, versioning
- 2️⃣ Model Card : Format standardisé pour synthétiser toute la documentation
- 3️⃣ 10 ans : Conservation minimale de la documentation technique
La documentation doit être faite pendant le développement, pas après. C’est plus facile, plus fiable, et ça vous évite des sanctions.
Le temps presse. Documentez vos modèles maintenant.
Sources Officielles Citées
- Règlement (UE) 2024/1689 – IA Act • Article 11, Annexe IV (Documentation technique)
- Model Cards for Model Reporting (Google) • Article fondateur sur les Model Cards
- Hugging Face – Model Cards • Standard de documentation ML