Explicabilité (Explainable AI, XAI)
Matthieu Ferry ⇄ IAEn bref : Capacité d’un système d’IA à rendre ses décisions compréhensibles pour un humain. C’est le cinquième principe du cadre éthique de l’IA — celui qui rend les quatre autres vérifiables. Mais l’explicabilité est un continuum, pas un état : les techniques actuelles fournissent des approximations après coup, pas un accès au mécanisme réel.
Cadre de référence
Cette fiche adopte le cadre XAI dominant, qui traite l’explication comme une propriété technique du système qu’on pourrait extraire et livrer. Ce présupposé objectiviste est discuté : une explication n’existe que pour quelqu’un, dans un contexte et pour un usage. → Voir d’autres perspectives
Pourquoi ce concept est utile
Les outils d’IA qui arrivent dans le champ de la santé mentale ne se contentent plus de converser : ils scorent (risque suicidaire, sévérité), priorisent (files d’attente, alertes) et synthétisent (comptes rendus, hypothèses). Chacune de ces sorties pré-forme une décision clinique.
Pour exercer votre jugement — et non l’abdiquer — vous devez pouvoir comprendre pourquoi l’outil suggère ce qu’il suggère. Et pour que votre patient consente de façon éclairée à un dispositif qui le concerne, il doit pouvoir en recevoir une explication à sa portée.
C’est pourquoi Floridi et Cowls (2019) font de l’explicabilité le cinquième principe éthique de l’IA, le seul sans équivalent en bioéthique classique : sans lui, impossible de constater qu’un système est injuste, malfaisant ou qu’il érode l’autonomie. C’est le principe qui rend les autres vérifiables — voir la fiche Cadres éthiques de l’IA.
Ce que recouvre (vraiment) l’explicabilité
1. Un continuum, pas un interrupteur
Un système peut être partiellement explicable (on identifie les facteurs principaux d’une prédiction) sans être transparent (on ne comprend pas le mécanisme complet). Image utile : une vitre givrée — on distingue les silhouettes, jamais le détail.
Pour le clinicien :
Quand un éditeur affirme que son outil est « explicable », demandez : explicable à quel degré, pour qui, et sous quelle forme ?
2. Deux faces : intelligibilité et redevabilité
Le cadre AI4People (Floridi et al., 2018) décompose le principe en intelligibilité (comment le système fonctionne-t-il ?) et redevabilité (accountability : qui répond de ses effets ?). Un système peut être opaque techniquement mais adossé à une chaîne de responsabilité claire — et inversement.
Pour le clinicien :
Des deux faces, la redevabilité est souvent la plus décisive en pratique : en cas de dommage, existe-t-il un responsable identifiable — éditeur, déployeur, prescripteur ?
3. Les techniques post hoc : des approximations
Les méthodes les plus répandues (SHAP, LIME, cartes d’attention) produisent une explication après coup : elles identifient les variables qui ont pesé sur ce résultat, par approximation locale. Rien ne garantit que cette explication reflète le processus réel du modèle.
Pour le clinicien :
« Score de risque élevé : idéation + isolement + antécédents » est une approximation plausible du calcul — pas le calcul. L’exiger reste indispensable ; s’y fier aveuglément est une erreur.
4. Les explications contrefactuelles
Approche proposée par Wachter, Mittelstadt et Russell (2018) : plutôt que d’ouvrir la boîte noire, dire ce qu’il aurait fallu changer pour obtenir un autre résultat (« sans l’item isolement social, le score serait passé de élevé à modéré »). Actionnable et compréhensible sans accès au mécanisme.
Pour le clinicien :
La question contrefactuelle est un excellent test à poser à tout outil : « qu’est-ce qui ferait changer cette recommandation ? ». Si personne ne peut répondre, méfiance.
Le piège central : l’illusion de compréhension
Une explication plausible n’est pas une explication vraie. Le risque documenté des interfaces XAI est de produire un sentiment de compréhension qui renforce la confiance dans le système au lieu de l’étalonner : l’explication devient un argument de vente cognitif.
Ce mécanisme aggrave le biais d’automatisation : un clinicien qui reçoit un score accompagné d’une justification apparemment sensée est encore moins enclin à vérifier qu’un clinicien qui reçoit un score brut. L’explicabilité mal comprise peut donc produire l’inverse de ce qu’elle promet — moins de vigilance, pas plus.
Cas illustratif
Un service de télé-suivi équipe ses psychologues d’un outil qui analyse les messages des patients entre les séances et produit un score de risque hebdomadaire, accompagné de trois facteurs explicatifs générés automatiquement.
Pour M. R., l’outil affiche : risque en hausse — facteurs : tonalité négative, mention de troubles du sommeil, baisse de fréquence des messages. L’explication paraît cliniquement cohérente ; la psychologue référente déclenche un appel. Bonne décision — mais en séance, elle découvre que la « baisse de fréquence » tenait à une semaine de vacances, et que le modèle avait surtout réagi à des horaires d’envoi nocturnes, facteur qui ne figurait pas dans l’explication.
L’explication post hoc était plausible, partiellement fausse, et impossible à distinguer d’une explication exacte sans vérification humaine. Elle a bien servi — comme alerte à instruire, pas comme diagnostic. C’est exactement le statut qu’il faut donner aux sorties XAI en clinique.
En pratique pour le clinicien
- Exigez l’explicabilité, sans vous y fier aveuglément : traitez toute explication automatique comme une hypothèse à instruire cliniquement, jamais comme un fait établi.
- Demandez le type d’explication : modèle interprétable par construction, ou boîte noire habillée d’explications post hoc ? La différence (Rudin) change le crédit à accorder aux justifications affichées.
- Posez la question contrefactuelle : « qu’est-ce qui ferait changer ce score, cette alerte, cette recommandation ? » — le test le plus rapide de la maîtrise réelle qu’a l’éditeur de son propre système.
- Pensez au patient : le consentement éclairé exige une explication à la portée du patient, pas seulement du professionnel — voir la fiche Consentement éclairé et IA.
- Distinguez intelligibilité et redevabilité : quand l’explication technique atteint ses limites, la question qui reste décisive est « qui répond des effets de ce système ? ».
Ce que ce concept ne dit pas
Précautions d’interprétation :
- Explicabilité ≠ validité clinique : un système peut fort bien s’expliquer et se tromper — l’explication ne dit rien de la justesse
- Explication ≠ causalité : les facteurs mis en avant sont des corrélations influentes dans un calcul, pas des causes cliniques
- En santé mentale, on explique mal ce qu’on comprend mal : le diagnostic psychiatrique est lui-même plurifactoriel et débattu — exiger d’un outil une explication univoque d’un phénomène qui ne l’est pas est un piège épistémique
- L’explicabilité robuste coûte cher : les méthodes rigoureuses (contrefactuels validés) sont rarement déployées en production temps réel — la mention marketing « XAI » recouvre souvent le minimum
Autres regards
Le cadre XAI dominant traite l’explication comme une propriété du système, à extraire par des techniques. Ce présupposé objectiviste embarque des angles morts que d’autres perspectives éclairent.
Rudin : la boîte noire n’est pas une fatalité
Pour Cynthia Rudin (2019), expliquer des boîtes noires est la mauvaise bataille : pour les décisions à fort enjeu, il faut exiger des modèles interprétables par construction — souvent aussi performants. L’opacité est fréquemment un choix économique (protection de la propriété intellectuelle), pas une nécessité technique.
Pour le clinicien : Face à un outil opaque, la bonne question n’est pas seulement « expliquez-moi » mais « pourquoi avoir choisi une boîte noire pour une décision à fort enjeu clinique ? »
L’explication comme acte relationnel
Pour les sciences sociales de l’explication, expliquer n’est pas exhiber un mécanisme mais répondre à la question de quelqu’un, dans un contexte, à des fins précises. La « bonne » explication du même score diffère pour le régulateur, le clinicien et le patient — il n’existe pas d’explication en soi.
Pour le clinicien : Évaluez les explications d’un outil comme vous évaluez une restitution de bilan : adaptée au destinataire, ou plaquée ?
Le miroir clinique : la rationalisation
Une justification produite après coup, cohérente mais déconnectée du processus réel : la clinique connaît cela sous le nom de rationalisation. L’humain non plus n’a pas d’accès transparent à ses propres processus décisionnels — ce qu’on exige de lui n’est pas la transparence mécanistique, mais la redevabilité : supervision, déontologie, justification devant les pairs.
Pour le clinicien : Ce parallèle calibre l’exigence : réclamer du système ce qu’on exige d’un professionnel — non pas « montre-moi tes neurones », mais « devant qui réponds-tu, et selon quelles règles ? » Voir la fiche Double standard épistémique.
L’explicabilité technique est une pièce du dispositif, pas le tout : sans redevabilité institutionnelle (audits, responsabilité, recours), la meilleure explication reste un affichage. Et inversement, une chaîne de responsabilité solide peut compenser une intelligibilité partielle.
Pour aller plus loin
Les flèches ↩ renvoient au passage de la fiche qui cite la référence.
Le cinquième principe : Floridi, L. & Cowls, J. (2019). A Unified Framework of Five Principles for AI in Society. Harvard Data Science Review, 1(1). DOI ↩
Intelligibilité + redevabilité : Floridi, L., Cowls, J., Beltrametti, M. et al. (2018). AI4People — An Ethical Framework for a Good AI Society: Opportunities, Risks, Principles, and Recommendations. Minds and Machines, 28(4), 689-707. DOI ↩
Les contrefactuels : Wachter, S., Mittelstadt, B. & Russell, C. (2018). Counterfactual Explanations without Opening the Black Box: Automated Decisions and the GDPR. Harvard Journal of Law & Technology, 31(2), 841-887. DOI ↩
La contre-position : Rudin, C. (2019). Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead. Nature Machine Intelligence, 1, 206-215. DOI ↩
Tous les concepts
Fiche mise à jour : juillet 2026