Résumé
Les systèmes d’intelligence artificielle sont de plus en plus accompagnés de claims de transparence, d’équité, de robustesse, d’alignement éthique ou de responsabilité, mais les dispositifs d’audit disponibles restent souvent centrés sur la procédure, la présence documentaire ou la vérification technique isolée. Ils permettent de vérifier que des politiques existent, que des contrôles sont définis ou que des tests ont été réalisés, mais ils donnent peu de moyens pour mesurer si les engagements déclarés restent effectivement cohérents avec le comportement du système dans la durée.
Ce papier introduit une instanciation du framework NAS–BCI appliquée à la gouvernance des systèmes d’IA. Le Narrative Alignment Score mesure la stabilité, la cohérence interne et l’alignement inter-artefacts des claims déclarés par le système ou par l’organisation qui le déploie. Le Behavioral Coherence Index mesure la stabilité temporelle, la cohérence inter-composants et la résistance aux contradictions des comportements observables, à partir de logs, de traces de décision, de distributions de sortie, de métadonnées d’API ou de signaux opérationnels structurés. Le gap NAS–BCI devient alors un indicateur diagnostique de l’écart entre intention affichée et exécution effective.
L’originalité du papier tient à l’ajout d’une architecture d’audit blockchain. La blockchain n’y est jamais traitée comme un arbitre de vérité, ni comme une garantie de qualité sémantique des données, mais comme une couche d’horodatage, d’immutabilité, de provenance et de non-répudiation. Les artefacts sensibles restent hors chaîne, tandis que les hashes cryptographiques, les scores versionnés et les métadonnées d’audit peuvent être ancrés sur chaîne afin de permettre une vérification indépendante sans exposition des données propriétaires ou confidentielles.
Problème de recherche : la confiance ne se vérifie pas par déclaration
La confiance dans les systèmes d’IA est fréquemment formulée dans un langage de promesse : le système est présenté comme transparent, robuste, juste, sûr, aligné ou responsable. Or ces qualités ne deviennent auditables que si elles sont converties en engagements observables, en traces comparables et en critères capables de relier la formulation narrative du système à son comportement réel. Sans cette médiation, l’audit risque de rester prisonnier d’un paradoxe : il vérifie l’existence d’un discours de gouvernance sans pouvoir mesurer la cohérence de ce discours avec l’exécution effective du système.
Ce déplacement est essentiel parce que les systèmes d’IA ne se comportent pas comme des objets statiques. Leur crédibilité se joue dans le temps, à travers des mises à jour de modèles, des changements de paramètres, des variations de distribution, des interactions utilisateurs, des ajustements de politiques internes et des signaux comportementaux qui peuvent confirmer ou contredire les engagements publics. La question d’audit n’est donc pas seulement de savoir si une documentation existe, mais de savoir si les claims qu’elle contient restent cohérents avec les comportements observables au fil des versions et des contextes d’usage.
Le papier propose de traiter cette relation comme un objet d’audit à part entière. La cohérence narrative-comportementale n’est pas réduite à une conformité déclarative, ni à une performance technique isolée : elle devient une propriété longitudinale du système, mesurable par comparaison entre ce qui est annoncé, ce qui est observé et ce qui peut être vérifié après coup par un tiers autorisé.
Transposition du NAS–BCI à l’audit des systèmes d’IA
La transposition du NAS–BCI aux systèmes d’IA repose sur une distinction simple : d’un côté, les claims narratifs, c’est-à-dire les engagements formulés dans les system cards, rapports de transparence, documentations techniques, déclarations publiques, politiques internes ou dossiers de conformité ; de l’autre, les comportements observables, c’est-à-dire les traces issues du fonctionnement réel du système, de ses sorties, de ses décisions, de ses logs, de ses erreurs, de ses latences ou de ses mécanismes d’application de politiques.
Le NAS est calculé à partir de représentations sémantiques des claims. Les engagements sont extraits comme unités textuelles, transformés en embeddings, puis comparés dans le temps et entre artefacts afin de détecter la dérive sémantique, les contradictions internes ou l’incohérence entre supports. Cette approche ne prétend pas établir la vérité éthique d’un claim ; elle mesure la stabilité et la compatibilité de ce que le système affirme à propos de lui-même.
Le BCI est construit depuis les traces comportementales. Les logs et signaux opérationnels sont normalisés, mappés vers une taxonomie de comportements, puis agrégés en vecteurs de caractéristiques permettant de comparer la stabilité des sorties, la cohérence des composants et la fréquence de comportements contradictoires. Le gap NAS–BCI produit trois profils diagnostiques : le sur-engagement, lorsque les claims sont plus cohérents que les comportements ; la sous-communication, lorsque les comportements sont plus cohérents que les claims ; et le désalignement structurel, lorsque claims et comportements évoluent indépendamment.
Architecture blockchain : preuve d’audit, pas preuve de vérité
L’architecture proposée utilise la blockchain comme couche de mémoire d’audit. Son rôle n’est pas de certifier qu’un système est juste, transparent ou robuste, mais de rendre vérifiable le fait qu’un artefact d’audit, un score NAS–BCI, une classification de gap ou une métadonnée de validation existait à un moment donné et n’a pas été altéré depuis son enregistrement. Cette distinction est centrale : l’immutabilité cryptographique protège l’intégrité de la trace, mais elle ne garantit ni la qualité des données, ni la pertinence des critères, ni la validité sémantique de l’interprétation.
Le design retenu est hybride. Les données sensibles, logs complets, corpus documentaires, représentations dérivées et traces propriétaires, restent hors chaîne dans des dépôts contrôlés, chiffrés et soumis à des règles d’accès. La chaîne conserve uniquement les hashes SHA-256 des artefacts, les scores versionnés, les timestamps et les signatures numériques attestant l’exécution de l’audit. Un auditeur tiers peut ainsi recomposer le protocole : récupérer les artefacts hors chaîne, recalculer les scores, produire de nouveaux hashes et les comparer aux enregistrements ancrés sur chaîne.
Cette architecture est particulièrement adaptée aux contextes multi-acteurs ou adversariaux, dans lesquels aucune partie ne devrait contrôler seule la mémoire de l’audit. Elle ne remplace pas la gouvernance organisationnelle, mais elle la renforce en rendant les preuves temporelles plus difficiles à contester, à réécrire ou à effacer.
Démonstration : scénario synthétique et mini-audit public
Le papier combine deux niveaux de démonstration. Le premier est un scénario synthétique contrôlé, construit pour tester la logique interne du framework, sa sensibilité temporelle et sa capacité à détecter différents types de gap. Le corpus simule environ 400 documents narratifs et 600 entrées de logs comportementaux répartis sur huit trimestres, couvrant des thèmes récurrents de gouvernance comme la fairness, la transparence, la robustesse, la privacy, l’accountability et la performance.
Le second niveau est une mini-audit public limité du GPT-4o sycophancy update. L’objectif n’est pas de produire un audit opérationnel certifié, faute d’accès aux logs internes, aux jeux d’évaluation, aux paramètres de déploiement ou aux traces complètes de décision, mais de montrer que le framework peut structurer un raisonnement d’audit sur des artefacts publics. Dans ce cas, les claims de sécurité, d’alignement, de monitoring et de mitigation restent relativement cohérents, tandis que le comportement conversationnel déployé diverge temporairement de l’objectif affiché de réponse équilibrée, avant rollback correctif.
Le résultat proxy, NAS ≈ 79 et BCI ≈ 61, produit un gap positif d’environ +18. Ce signal correspond à un cas temporaire de sur-engagement : la cohérence narrative publique reste supérieure à la cohérence comportementale observable durant la fenêtre d’incident. L’interprétation reste volontairement bornée : le rollback réduit la durée du gap, le cas ne prouve pas un désalignement structurel persistant et l’analyse illustre une méthode d’applicabilité plutôt qu’une validation forensique du système.
Implications pour la gouvernance et l’assurance des systèmes d’IA
La contribution centrale du papier est de déplacer l’audit des systèmes d’IA d’une logique principalement documentaire vers une logique de cohérence mesurable. Il ne suffit pas qu’un système dispose d’une documentation de gouvernance, d’un discours de transparence ou d’un cadre de conformité ; encore faut-il pouvoir vérifier que les engagements contenus dans ces artefacts restent alignés avec le comportement du système au fil des versions, des usages et des incidents.
Cette perspective complète les approches existantes de conformité, de risk management et d’auditabilité en introduisant une métrique relationnelle. Le NAS–BCI ne remplace ni les tests techniques, ni les audits réglementaires, ni les évaluations de biais, ni les exigences documentaires : il crée une couche d’analyse qui relie ces éléments dans le temps et rend visible ce que les audits purement procéduraux peuvent manquer, à savoir la dérive progressive entre ce qui est déclaré et ce qui est effectivement réalisé.
L’ancrage blockchain ajoute une couche de vérifiabilité à cette logique. Il rend possible une mémoire d’audit robuste, versionnée et contrôlable par des tiers, tout en évitant l’erreur conceptuelle consistant à confondre traçabilité et vérité. La confiance vérifiable n’est donc pas la croyance naïve dans la blockchain ou dans l’IA ; c’est la capacité à reconstruire, vérifier et discuter les preuves d’un alignement dans le temps.
Contribution centrale : ce papier propose de traiter la confiance dans les systèmes d’IA comme une propriété longitudinale auditable, située entre claims narratifs, comportements observables et preuves d’intégrité vérifiables.