Surveillance Continue Systèmes IA : Obligations
⚠️ Réalité Terrain
67% des incidents IA graves auraient pu être évités avec une surveillance proactive. Le déploiement n'est pas la fin, c'est le début de votre responsabilité.
Vous avez déployé votre système IA, obtenu votre marquage CE, formé vos équipes. Mission accomplie ? Pas du tout. L'AI Act impose une surveillance continue tout au long du cycle de vie.
Un système IA n'est pas statique. Il peut dériver, se dégrader, développer des biais, causer des incidents. La surveillance post-déploiement n'est pas une option : c'est une obligation légale pour les systèmes à haut risque.
Ce guide détaille tout ce que vous devez surveiller, comment le faire, et les conséquences d'un monitoring défaillant.
Par Loïc Gros-Flandre
Directeur de Modernee - Agence IA & Fondateur de Soignant Voice Application médical. Expert en conformité IA et transformation digitale des entreprises.
📚 Ce que vous allez apprendre
- → Ce qu'est la surveillance post-commercialisation (Article 72)
- → Les 8 indicateurs clés à monitorer obligatoirement
- → Comment détecter le drift et les biais émergents
- → La procédure de signalement des incidents graves
- → Les outils et dashboards recommandés
Infographie : Les 6 phases du cycle de surveillance continue AI Act
📊 Qu'est-ce que la Surveillance Post-Commercialisation ?
L'Article 72 de l'AI Act définit un cadre précis pour la surveillance des systèmes IA après leur mise sur le marché.
📖 Définition Officielle (Article 72)
"Les fournisseurs de systèmes IA à haut risque établissent et documentent un système de surveillance après commercialisation proportionné à la nature des technologies et des risques du système IA."
🎯 Objectifs de la Surveillance Continue
La surveillance post-commercialisation vise à :
- 🔍 Détecter les incidents : Identifier rapidement tout dysfonctionnement ou mauvaise utilisation
- 📉 Surveiller le drift : Repérer la dégradation des performances dans le temps
- ⚖️ Identifier les biais : Détecter les biais émergents non présents lors de l'entraînement
- 🛡️ Protéger les droits : Prévenir les atteintes aux droits fondamentaux
- 📊 Améliorer le système : Collecter les données pour les mises à jour
👥 Qui Est Concerné ?
Les obligations varient selon votre rôle :
| Acteur | Obligations de Surveillance | Articles |
|---|---|---|
| Fournisseur | Système complet de surveillance post-commercialisation, plan documenté, signalement incidents graves | Art. 72, 73 |
| Déployeur | Surveillance de l'utilisation concrète, supervision humaine, signalement au fournisseur | Art. 26 |
| Importateur | Vérification que le fournisseur a un système de surveillance, transmission des retours | Art. 23 |
| Distributeur | Remontée des informations sur les incidents constatés | Art. 24 |
Pour comprendre les différences entre ces rôles, consultez les obligations de surveillance du marché.
"La surveillance post-commercialisation n'est pas un nice-to-have. C'est la seule façon de détecter les problèmes avant qu'ils ne deviennent des crises."
— Considérant 93, Règlement AI Act
📈 Les 8 Indicateurs Clés à Surveiller
Voici les KPIs essentiels que tout système de surveillance doit monitorer.
📊 Bloc 1 : Performance du Modèle
| Indicateur | Description | Seuil d'Alerte Typique |
|---|---|---|
| 1. Taux de précision | Exactitude des prédictions/décisions | Baisse de >5% vs baseline |
| 2. Taux faux positifs | Erreurs de type I (fausse alerte) | Hausse de >10% vs baseline |
| 3. Taux faux négatifs | Erreurs de type II (manqué) | Hausse de >10% vs baseline |
| 4. Drift du modèle | Dérive des distributions de données | Score drift >0.1 (PSI/KL) |
⚖️ Bloc 2 : Équité et Biais
| Indicateur | Description | Seuil d'Alerte Typique |
|---|---|---|
| 5. Disparité démographique | Écart de performance entre groupes | Ratio <0.8 (4/5 rule) |
| 6. Taux d'intervention humaine | % de décisions corrigées/overridées | Hausse de >20% vs baseline |
🔧 Bloc 3 : Opérationnel
| Indicateur | Description | Seuil d'Alerte Typique |
|---|---|---|
| 7. Temps de réponse | Latence des inférences | Hausse de >50% vs SLA |
| 8. Incidents/réclamations | Nombre de signalements utilisateurs | Hausse de >100% vs moyenne |
⚠️ Personnalisez Vos Seuils
Les seuils ci-dessus sont indicatifs. Définissez vos propres seuils en fonction de la criticité de votre système et documentez-les dans votre plan de surveillance.
🔄 Détecter le Drift : Un Enjeu Critique
Le drift (dérive) est l'ennemi silencieux de tout système IA en production :
- 📊 Data Drift : Les données réelles diffèrent des données d'entraînement
- 🔀 Concept Drift : La relation entrée/sortie a changé
- 📉 Performance Drift : Dégradation progressive des métriques
Un système non surveillé peut dériver sans que personne ne s'en aperçoive pendant des mois, causant des dommages significatifs.
Pour assurer une conformité continue, le monitoring du drift est essentiel.
🎯 Votre Surveillance IA est-elle à Niveau ? (Quiz 3 min)
🚨 Gestion et Signalement des Incidents
L'Article 73 impose des obligations strictes en cas d'incident. Voici ce que vous devez savoir.
❓ Qu'est-ce qu'un Incident Grave ?
🔴 Définition Incident Grave (Article 3, §49)
Tout incident ou dysfonctionnement d'un système IA qui, directement ou indirectement, a conduit, aurait pu conduire ou pourrait conduire à :
- 💀 Le décès d'une personne ou une atteinte grave à sa santé
- 🏭 Une perturbation grave de la gestion d'infrastructures critiques
- ⚖️ Une violation des droits fondamentaux
- 🏠 Des dommages graves à la propriété ou à l'environnement
⏰ Délais de Signalement
Prise de connaissance : Dès qu'un lien de causalité est établi ou suspecté avec le système IA
Signalement formel : Notification aux autorités de surveillance du marché de l'État membre concerné
Rapports de suivi : Mise à jour régulière sur l'enquête et les mesures correctives
Rapport final : Conclusions, causes racines, actions correctives définitives
📝 Processus de Gestion des Incidents
Détection
Via le monitoring automatique, signalement utilisateur, ou remontée déployeur. Enregistrement immédiat dans le registre des incidents.
Qualification
Évaluation de la gravité : incident mineur, incident significatif, ou incident grave nécessitant signalement.
Mesures Immédiates
Actions de containment : suspension temporaire, limitation d'usage, communication aux utilisateurs impactés.
Investigation
Analyse des causes racines, examen des logs, identification des facteurs contributifs.
Signalement (si grave)
Notification formelle aux autorités via le formulaire officiel, dans les 15 jours.
Correction et Clôture
Mise en œuvre des actions correctives, vérification d'efficacité, rapport final.
En cas de surveillance insuffisante, les sanctions peuvent être considérablement aggravées.
🏢 Cas Pratiques : 3 Systèmes de Surveillance
Voyons comment différentes organisations ont mis en place leur surveillance continue.
🏥 Cas 1 : Logiciel de Diagnostic Médical
Contexte
Système : IA d'aide au diagnostic dermatologique (détection mélanomes)
Classification : HAUT RISQUE (dispositif médical classe IIa)
Volume : 15 000 analyses/mois
KPIs surveillés :
- 📊 Sensibilité (taux vrais positifs) - Seuil : >95%
- 📊 Spécificité (taux vrais négatifs) - Seuil : >90%
- ⚖️ Disparité par type de peau (Fitzpatrick I-VI) - Seuil : ratio >0.9
- 👤 Taux de second avis demandé par dermatologues - Seuil : <15%
Incident détecté : Drift de sensibilité sur peaux foncées (Fitzpatrick V-VI) passée de 96% à 89% sur 3 mois.
Action : Alerte automatique → Réentraînement avec dataset enrichi → Déploiement nouvelle version en 6 semaines.
Budget surveillance annuel : 45 000€ (outils + 0.3 ETP data scientist)
🏦 Cas 2 : Système de Scoring Crédit
Contexte
Système : Scoring automatisé pour prêts à la consommation
Classification : HAUT RISQUE (évaluation solvabilité)
Volume : 50 000 demandes/mois
KPIs surveillés :
- 📊 Taux de défaut par catégorie de score - Seuil : cohérence avec historique
- ⚖️ Disparité taux d'approbation H/F et par origine - Seuil : ratio >0.8
- 📉 Drift des features macroéconomiques - Seuil : PSI <0.1
- 🔄 Taux d'override par les analystes - Seuil : <10%
Incident détecté : Hausse du taux d'override à 18% après changement de politique économique (inflation).
Action : Recalibration du modèle avec nouvelles données macro, ajustement des seuils.
Budget surveillance annuel : 85 000€ (équipe MLOps dédiée + outils)
🤖 Cas 3 : Chatbot Service Client (Risque Limité)
Contexte
Système : Chatbot IA pour support client e-commerce
Classification : RISQUE LIMITÉ (chatbot avec obligation transparence)
Volume : 200 000 conversations/mois
KPIs surveillés (bonnes pratiques) :
- 📊 Taux de résolution sans escalade humaine - Seuil : >70%
- 😊 Score de satisfaction post-conversation - Seuil : >4/5
- 🚫 Taux de contenu inapproprié généré - Seuil : <0.1%
- 📝 Conformité transparence (mention "vous parlez à une IA") - Seuil : 100%
Incident détecté : Hallucinations sur politique de retour (informations erronées dans 2% des cas).
Action : Amélioration du RAG (Retrieval-Augmented Generation) avec base documentaire mise à jour.
Budget surveillance annuel : 12 000€ (monitoring intégré à la plateforme)
🛠️ Outils et Technologies de Surveillance
Les bons outils sont essentiels pour une surveillance efficace. Voici les principales catégories.
📊 Plateformes MLOps
| Outil | Forces | Prix |
|---|---|---|
| MLflow | Open source, tracking expériences, registry modèles | Gratuit (self-hosted) |
| Weights & Biases | Visualisation avancée, collaboration équipe | À partir de 50$/user/mois |
| Neptune.ai | Léger, intégration facile, comparaison runs | À partir de 49$/mois |
🔍 Solutions de Monitoring IA Spécialisées
| Outil | Forces | Prix |
|---|---|---|
| Evidently AI | Open source, détection drift, rapports automatiques | Gratuit (open source) |
| Fiddler AI | Explicabilité, détection biais, alertes | Enterprise (sur devis) |
| Arthur AI | Monitoring temps réel, compliance ready | Enterprise (sur devis) |
| WhyLabs | Profiling données, détection anomalies | Freemium + Enterprise |
📈 Outils de Visualisation
- 📊 Grafana : Dashboards temps réel, alerting intégré (gratuit)
- 📊 Tableau : Visualisation avancée, rapports automatisés (payant)
- 📊 Metabase : Business intelligence simple (open source)
💡 Conseil : Commencez Simple
Pour une PME avec peu de systèmes IA, Evidently AI + Grafana (tous deux gratuits) peuvent suffire. Évoluez vers des solutions enterprise si le volume justifie l'investissement.
La formation continue IA de vos équipes est essentielle pour exploiter ces outils efficacement.
🚀 Plan d'Action en 7 Étapes
Voici comment mettre en place votre système de surveillance de A à Z.
Définir les KPIs et Seuils (Semaine 1-2)
Identifiez les indicateurs pertinents pour chaque système IA. Définissez les seuils d'alerte en fonction de la criticité et des performances baseline.
Livrable : Tableau des KPIs avec seuils documentés
Déployer l'Infrastructure de Collecte (Semaine 2-4)
Mettez en place les pipelines de collecte des logs, métriques et données de performance. Assurez la traçabilité complète.
Livrable : Pipeline de collecte opérationnel
Configurer les Dashboards (Semaine 3-4)
Créez les tableaux de bord de visualisation avec les métriques clés. Configurez les alertes automatiques selon les seuils définis.
Livrable : Dashboards opérationnels + alertes configurées
Établir le Processus Incidents (Semaine 4-5)
Documentez la procédure de gestion des incidents : détection, qualification, escalade, signalement, correction.
Livrable : Procédure de gestion des incidents
Former les Équipes (Semaine 5-6)
Formez les opérateurs, data scientists et responsables aux outils, dashboards et procédures. Simulez des incidents.
Livrable : Équipes formées + exercice de simulation
Rédiger le Plan de Surveillance (Semaine 6)
Documentez formellement le plan de surveillance post-commercialisation requis par l'Article 72. C'est ce document que les autorités demanderont.
Livrable : Plan de surveillance post-commercialisation formel
Auditer et Améliorer (Continu)
Réalisez des audits réguliers de votre système de surveillance. Améliorez-le continuellement en fonction des retours d'expérience.
Livrable : Rapports d'audit + plan d'amélioration continue
💰 Simulateur Budget Surveillance Continue
📋 Documentation Requise
Voici les documents que vous devez produire et conserver.
📄 Le Plan de Surveillance Post-Commercialisation
Ce document formel doit contenir :
- 📊 Méthodologie : Comment les données sont collectées et analysées
- 📈 KPIs et seuils : Indicateurs surveillés et valeurs déclenchant une action
- ⏰ Fréquence : Périodicité des analyses (temps réel, quotidien, hebdomadaire)
- 👥 Responsabilités : Qui fait quoi dans le processus de surveillance
- 🚨 Procédure d'escalade : Comment les alertes sont traitées
- 📝 Reporting : Format et destinataires des rapports
📁 Documents à Conserver (10 ans)
- 📋 Plan de surveillance post-commercialisation
- 📊 Rapports de performance périodiques
- 🚨 Registre des incidents (graves et non graves)
- 🔧 Documentation des mesures correctives
- 👤 Preuves d'intervention humaine effective
- ✅ Rapports d'audit interne
- 📤 Copies des signalements aux autorités
❓ Questions Fréquentes - Surveillance Continue IA
La surveillance post-commercialisation (Article 72) est un système que les fournisseurs de systèmes IA à haut risque doivent établir et documenter pour collecter, analyser et évaluer activement les données pertinentes sur les performances de leurs systèmes tout au long de leur cycle de vie. Elle vise à détecter les incidents, dérives de performance, biais émergents et tout risque pour la santé, la sécurité ou les droits fondamentaux.
Le fournisseur doit mettre en place un système de surveillance post-commercialisation global, collectant les retours de tous les déployeurs et analysant les tendances macro. Le déployeur doit surveiller l'utilisation concrète du système dans son contexte spécifique : logs d'utilisation, supervision humaine effective, incidents locaux. Les deux doivent coopérer et partager les informations pertinentes.
Non, seuls les incidents graves doivent être signalés aux autorités de surveillance du marché. Un incident grave est défini comme tout dysfonctionnement ayant causé ou pouvant causer : un décès ou une atteinte grave à la santé, une perturbation grave d'infrastructures critiques, une violation grave des droits fondamentaux. Les autres incidents sont à documenter en interne et à analyser pour amélioration.
Selon l'Article 73, les fournisseurs doivent signaler tout incident grave aux autorités de surveillance immédiatement après avoir établi un lien de causalité (ou dès que ce lien est suspecté), et au plus tard dans les 15 jours suivant la prise de connaissance de l'incident. Des rapports de suivi doivent ensuite être fournis régulièrement jusqu'à la clôture.
Le drift désigne la dégradation progressive des performances d'un modèle IA dans le temps, due à l'évolution des données réelles par rapport aux données d'entraînement. Il existe deux types : le data drift (changement dans la distribution des données d'entrée) et le concept drift (changement dans la relation entre entrées et sorties). La détection du drift est essentielle pour déclencher un réentraînement à temps.
L'obligation formelle de surveillance post-commercialisation (Article 72) ne s'applique qu'aux systèmes à haut risque. Cependant, les bonnes pratiques recommandent une surveillance proportionnée pour tous les systèmes IA. Pour les chatbots et IA génératives (risque limité), surveillez au minimum la conformité transparence et les dérives de contenu (hallucinations, biais, contenu inapproprié).
Les outils recommandés incluent : plateformes MLOps (MLflow, Weights & Biases), solutions de monitoring spécialisées (Evidently AI, Fiddler, Arthur AI), outils APM adaptés IA (Datadog ML Monitoring), dashboards (Grafana, Tableau). Pour une PME, Evidently AI (open source) + Grafana (gratuit) peuvent suffire. Le choix dépend de la complexité et du budget.
Le non-respect des obligations de surveillance post-commercialisation pour les systèmes à haut risque expose à des sanctions pouvant atteindre 15 millions d'euros ou 3% du chiffre d'affaires annuel mondial. En cas d'incident grave non signalé ou de dissimulation, les sanctions peuvent être aggravées. La responsabilité personnelle des dirigeants peut également être engagée.
"La surveillance continue n'est pas un coût, c'est une assurance. Le coût d'un incident non détecté est toujours supérieur au coût du monitoring."
— Best Practices MLOps, Google Cloud 2025
✅ Conclusion : La Surveillance, Garante de la Confiance
La surveillance continue n'est pas une contrainte bureaucratique. C'est le filet de sécurité qui protège vos utilisateurs, votre réputation et votre entreprise.
🎯 Les 3 Priorités Immédiates
- 1️⃣ Définir vos KPIs : Identifiez ce que vous devez surveiller pour chaque système
- 2️⃣ Mettre en place les alertes : Ne découvrez pas les problèmes par vos utilisateurs
- 3️⃣ Documenter le processus incidents : Soyez prêt à réagir en cas de problème grave
Un système IA déployé sans surveillance est une bombe à retardement. Chaque jour sans monitoring est un jour où un problème peut se développer sans être détecté.
Investissez maintenant dans votre système de surveillance. Le coût est dérisoire comparé aux conséquences d'un incident non détecté.
🚀 Formez Vos Équipes au Monitoring IA
La formation AI Act inclut un module complet sur la surveillance continue et la gestion des incidents. Indispensable pour vos équipes MLOps et conformité.
Accéder à la Formation Certifiante → 500€✅ Finançable OPCO • ✅ Certificat nominatif • ✅ Module surveillance inclus
L'échéance Article 4 approche. Préparez votre surveillance maintenant !
📚 Sources Officielles
- Règlement (UE) 2024/1689 - Articles 72-73 (Surveillance Post-Commercialisation) • Journal officiel de l'UE
- Commission européenne - Cadre réglementaire IA • Documentation officielle
- AI Act Explorer - Article 72 (Post-Market Monitoring) • Analyse détaillée
- CNIL - Dossier Intelligence Artificielle • Autorité française