Discriminations et IA Act : Interdiction
⚖️ Équité Algorithmique : Obligation Légale
Une IA de recrutement qui écarte 70% des CV féminins. Un scoring crédit qui pénalise certains quartiers. L'AI Act interdit ces discriminations algorithmiques et impose des obligations de test, transparence et correction des biais.
Les algorithmes ne sont pas neutres. Ils reproduisent — et parfois amplifient — les biais présents dans leurs données d'entraînement.
L'AI Act établit un cadre strict pour prévenir les discriminations causées par les systèmes IA. Critères protégés, métriques de fairness, obligations de test : voici tout ce que vous devez savoir.
Ce guide détaille les exigences réglementaires et les méthodes pratiques pour garantir l'équité de vos systèmes IA.
Par Loïc Gros-Flandre
Directeur de Modernee - Agence IA & Fondateur de Soignant Voice Application médical. Expert en conformité IA et transformation digitale des entreprises.
📚 Ce que vous allez apprendre
- → Les 9+ critères protégés par l'AI Act
- → Les 3 types de biais algorithmiques
- → Les métriques de fairness à utiliser
- → Les obligations de test et documentation
- → Les cas pratiques (recrutement, crédit, justice)
- → Le plan d'action anti-discrimination
Infographie : Discriminations algorithmiques - Critères protégés, biais et métriques de fairness
🛡️ Les Critères Protégés par l'AI Act
L'AI Act s'aligne sur la Charte des droits fondamentaux de l'UE pour définir les critères protégés.
📋 Les 9+ Critères Protégés
Un système IA ne doit pas discriminer sur la base de :
- 🌍 Origine raciale ou ethnique — Aucune distinction basée sur la race, la couleur de peau, l'ascendance
- 👤 Sexe / Genre — Homme, femme, non-binaire, identité de genre
- 📅 Âge — Jeunes comme seniors protégés
- ♿ Handicap — Physique, mental, sensoriel, psychique
- 🙏 Religion ou convictions — Croyances religieuses ou philosophiques
- 🏳️🌈 Orientation sexuelle — Hétérosexuelle, homosexuelle, bisexuelle, etc.
- 🗣️ Appartenance minorité nationale — Langues, cultures minoritaires
- 🗳️ Opinion politique — Affiliation, engagement politique
- 👨👩👧 Situation familiale — Mariage, enfants, grossesse
- 🧬 Caractéristiques génétiques — ADN, prédispositions génétiques
⚠️ Discrimination Indirecte = Aussi Interdite
Une variable apparemment neutre (code postal, prénom) peut être un proxy d'un critère protégé (origine, religion). L'AI Act interdit aussi ces discriminations indirectes. Utiliser le code postal pour discriminer sur l'origine ethnique est illégal.
Les entreprises risquent une interdiction définitive de leurs systèmes IA en cas de discrimination avérée.
⚖️ Base Juridique
| Texte | Article | Protection |
|---|---|---|
| AI Act | Article 10 | Qualité des données, absence de biais |
| AI Act | Article 5 | Systèmes interdits (scoring social, manipulation) |
| Charte UE | Article 21 | Non-discrimination |
| Directive 2000/43 | - | Égalité raciale |
| Directive 2000/78 | - | Égalité emploi |
"Les systèmes IA doivent être conçus et développés de manière à garantir un niveau approprié d'exactitude, de robustesse et de cybersécurité, et à éviter les biais."
— AI Act, Considérant 47
⚠️ Les 3 Types de Biais Algorithmiques
Les biais peuvent apparaître à différentes étapes du cycle de vie d'un système IA.
📊 1. Biais de Données
Définition
Les données d'entraînement ne reflètent pas la réalité de manière équitable. Elles contiennent des biais historiques ou une sous-représentation de certains groupes.
Exemples :
- 📝 CV d'entraînement majoritairement masculins → IA de recrutement discriminant les femmes
- 🏠 Données de crédit historiques → Perpétuation des inégalités passées
- 📷 Images de visages peu diversifiées → Reconnaissance faciale défaillante sur certaines ethnies
🧠 2. Biais de Modèle
Définition
Les choix de conception du modèle introduisent des discriminations : variables utilisées, architecture, fonction de coût.
Exemples :
- 📍 Utilisation du code postal comme variable → Proxy de l'origine ethnique
- 📧 Analyse du prénom dans un CV → Discrimination sur l'origine
- 🎓 Pondération excessive du parcours scolaire → Discrimination sociale
🚀 3. Biais de Déploiement
Définition
Le système est utilisé dans un contexte différent de celui prévu, ou les décisions créent des boucles de rétroaction qui amplifient les biais.
Exemples :
- 🚔 Police prédictive → Plus de patrouilles dans certains quartiers → Plus d'arrestations → Confirmation du biais
- 💳 Scoring crédit → Refus → Pas d'historique → Score encore plus bas
- 👔 IA de recrutement utilisée pour un poste différent de l'entraînement
⚖️ Vos Systèmes IA sont-ils à Risque de Discrimination ? (Quiz 3 min)
📐 Métriques de Fairness : Comment Mesurer l'Équité ?
Plusieurs métriques permettent de quantifier l'équité d'un système IA.
📊 Les 4 Métriques Principales
| Métrique | Définition | Cas d'Usage |
|---|---|---|
| Demographic Parity | Taux de décision positive égal entre groupes | Recrutement (même % d'embauche H/F) |
| Equalized Odds | Taux de vrais/faux positifs égaux entre groupes | Crédit (même taux d'erreur par groupe) |
| Predictive Parity | Précision des prédictions égale entre groupes | Santé (même fiabilité diagnostic) |
| Individual Fairness | Cas similaires → décisions similaires | Justice (sentences cohérentes) |
⚠️ Incompatibilité des Métriques
Ces métriques sont souvent mathématiquement incompatibles. Optimiser l'une peut dégrader l'autre. Le choix de la métrique dépend du contexte et des valeurs à privilégier. Ce choix doit être documenté et justifié.
🛠️ Outils de Mesure
- 🔧 AI Fairness 360 — Bibliothèque IBM open source
- 🔧 Fairlearn — Outil Microsoft pour Python
- 🔧 What-If Tool — Visualisation Google TensorBoard
- 🔧 Aequitas — Audit d'équité par University of Chicago
🏢 Cas Pratiques : Discriminations par Secteur
👔 Cas 1 : IA de Recrutement
Cas Amazon (2018)
Amazon a abandonné son IA de tri de CV car elle discriminait les femmes. Entraînée sur 10 ans de CV (majoritairement masculins), l'IA pénalisait les CV contenant "women's" (ex: "women's chess club").
Risques identifiés :
- ❌ Biais sur le prénom (discrimination origine/genre)
- ❌ Biais sur l'école (discrimination sociale)
- ❌ Biais sur les trous de carrière (discrimination parentalité)
- ❌ Biais sur l'analyse faciale (entretiens vidéo)
Obligations AI Act : L'IA de recrutement est classée haut risque (Annexe III). Tests d'équité obligatoires, supervision humaine, droit d'explication au candidat.
💳 Cas 2 : Scoring Crédit
Cas Apple Card (2019)
L'Apple Card de Goldman Sachs accordait des limites de crédit inférieures aux femmes, même à revenu et historique équivalents. Enquête du régulateur New York.
Risques identifiés :
- ❌ Biais historiques dans les données de crédit
- ❌ Proxy géographique (code postal → origine)
- ❌ Discrimination indirecte par profession
Obligations AI Act : Le scoring crédit est classé haut risque. Droit d'explication du score, tests d'équité par groupe protégé, audit externe recommandé.
⚖️ Cas 3 : IA en Justice
Cas COMPAS (USA)
L'algorithme COMPAS d'évaluation du risque de récidive classait les accusés noirs comme plus à risque que les blancs, à profil équivalent. Faux positifs 2x plus élevés pour les Afro-Américains.
Obligations AI Act : Les systèmes d'IA utilisés dans la justice sont haut risque. Transparence sur le fonctionnement, droit de contestation, supervision humaine obligatoire pour toute décision.
Les systèmes discriminatoires peuvent faire l'objet d'une interdiction de traitement par les autorités.
✅ Obligations AI Act : Prévenir les Discriminations
L'AI Act impose des obligations spécifiques pour garantir l'équité.
📊 Article 10 : Qualité des Données
- ✅ Représentativité — Les données doivent refléter la diversité des personnes concernées
- ✅ Absence de biais — Examiner et corriger les biais possibles
- ✅ Pertinence — Seules les données nécessaires à l'objectif
- ✅ Documentation — Traçabilité des sources et traitements
🧪 Tests et Validation
- ✅ Tests d'équité — Mesurer les métriques de fairness par groupe protégé
- ✅ Tests de robustesse — Comportement sur données atypiques
- ✅ Tests adversariaux — Résistance aux manipulations
- ✅ Validation externe — Audit par tiers indépendant recommandé
👤 Supervision Humaine
💡 Rôle de la Supervision
La supervision humaine doit permettre de détecter les décisions potentiellement discriminatoires, intervenir pour les corriger, et suspendre le système si nécessaire. L'humain reste responsable de la décision finale.
📋 Plan d'Action Anti-Discrimination
Voici les étapes pour garantir l'équité de vos systèmes IA.
Cartographier les Critères Protégés (Semaine 1)
Identifiez tous les critères protégés pertinents pour votre domaine. Quels groupes pourraient être affectés différemment par votre système ?
Auditer les Données d'Entraînement (Semaine 2-3)
Analysez la représentativité des groupes dans vos données. Identifiez les biais historiques et les déséquilibres. Utilisez des outils comme AI Fairness 360.
Identifier les Variables Proxy (Semaine 3-4)
Repérez les variables corrélées aux critères protégés (code postal, prénom, école...). Évaluez si leur utilisation est justifiée ou discriminante.
Choisir les Métriques de Fairness (Semaine 4)
Sélectionnez les métriques adaptées à votre contexte. Documentez et justifiez ce choix. Définissez les seuils acceptables.
Tester et Corriger (Semaine 5-7)
Mesurez les métriques de fairness. Appliquez les techniques de mitigation si nécessaire (rééquilibrage, contraintes d'équité, ajustement seuils).
Mettre en Place le Monitoring (Semaine 8)
Définissez les indicateurs d'équité à suivre en production. Alertes automatiques en cas de dérive. Révision régulière des métriques.
⚖️ Simulateur Risque Discriminatoire
❓ Questions Fréquentes - Discriminations IA
L'AI Act protège contre la discrimination basée sur : origine raciale/ethnique, sexe, âge, handicap, religion, orientation sexuelle, appartenance à une minorité nationale, et tout autre critère reconnu par le droit de l'UE ou national. La liste est alignée avec la Charte des droits fondamentaux.
Un biais algorithmique est une erreur systématique qui produit des résultats injustes pour certains groupes. Il peut provenir des données (biais historiques), du modèle (choix de variables), ou du déploiement (contexte différent de l'entraînement).
OUI. L'AI Act interdit aussi la discrimination indirecte via des proxies. Une variable neutre (code postal) corrélée à un critère protégé (origine) qui produit des effets discriminatoires est interdite, même si le critère n'est pas directement utilisé.
Les principales métriques sont : Demographic Parity (taux de décision positive égal), Equalized Odds (TPR/FPR égaux), Predictive Parity (précision égale). Le choix dépend du contexte et doit être documenté et justifié.
Les secteurs à haut risque : recrutement (tri CV), crédit/assurance (scoring), justice (récidive), santé (diagnostic), éducation (notation), logement (sélection), police (surveillance). Tous classés haut risque par l'AI Act.
La détection passe par : audit des données (représentativité), tests d'équité (métriques par groupe), outils spécialisés (AI Fairness 360, Fairlearn), et monitoring continu en production pour détecter les dérives.
NON par défaut. Un algorithme reproduit les biais des données et reflète les choix de conception. L'objectivité est un mythe. L'enjeu est l'équité mesurable et la transparence sur les compromis effectués.
Sanctions AI Act : jusqu'à 35M€ ou 7% CA (systèmes interdits comme le scoring social), 15M€ ou 3% CA (haut risque non conforme). S'ajoutent les sanctions du droit anti-discrimination et les dommages-intérêts aux victimes.
"L'équité algorithmique n'est pas un problème technique à résoudre une fois pour toutes. C'est un processus continu qui exige vigilance, transparence et responsabilité."
— AI Ethics Lab, MIT, 2024
✅ Conclusion : 3 Priorités Anti-Discrimination
L'équité algorithmique est une obligation légale et éthique.
⚖️ Vos 3 Priorités
- 1️⃣ Auditez vos données : Vérifiez la représentativité et les biais historiques de vos jeux d'entraînement
- 2️⃣ Testez l'équité : Mesurez les métriques de fairness par groupe protégé avant et après déploiement
- 3️⃣ Documentez vos choix : Justifiez les métriques choisies et les compromis effectués
Les entreprises en infraction risquent une interdiction d'export de leurs systèmes IA discriminatoires.
⚖️ Formation AI Act : Module Équité & Éthique
Notre formation inclut un module complet sur la détection et la correction des biais discriminatoires. Métriques de fairness, outils pratiques, cas d'étude.
Accéder à la Formation Certifiante → 500€✅ Finançable OPCO • ✅ Certificat nominatif • ✅ Module Équité inclus
L'échéance approche. Garantissez l'équité de vos systèmes IA !
📚 Sources Officielles
- Règlement (UE) 2024/1689 - AI Act (Articles 5, 10) • Journal officiel de l'UE
- Charte des droits fondamentaux de l'UE • Article 21 Non-discrimination
- AI Fairness 360 - IBM Research • Outil open source