La FDA écrit les règles pour des dispositifs d'IA que personne n'a encore construits

Les régulateurs réagissent généralement. Un produit est mis sur le marché, quelque chose tourne mal, et les lignes directrices suivent. Le centre des dispositifs de la FDA vient de faire l'inverse. Le 1er octobre, il a publié son programme de lignes directrices proposé pour l'exercice 2027, et près du sommet de la liste figure un projet de document d'orientation pour une catégorie de dispositif dont il n'a pas encore autorisé un seul exemple.

La catégorie concerne les dispositifs conversationnels intégrant l'IA générative destinés aux troubles de santé mentale. Le Center for Devices and Radiological Health de la FDA a autorisé à ce jour plus de 1 200 dispositifs médicaux intégrant l'IA. Aucun d'entre eux n'utilise l'IA générative pour une indication en santé mentale. L'agence rédige des recommandations en matière de preuves avant l'arrivée de la première demande, ce qui revient à fixer la barre tôt plutôt qu'à la négocier au cas par cas plus tard.

Cette initiative s'ajoute à un document de discussion publié par le CDRH en août, intitulé Considerations for the Regulation of Generative AI-Enabled Medical Devices. Il s'agit explicitement d'un document de discussion, et non d'une politique, et il comporte 26 questions auxquelles le public est invité à répondre. La période de commentaires se clôt le 19 octobre. Quiconque construit un produit clinique sur un grand modèle de langage dispose d'environ deux semaines pour se prononcer sur la manière dont il souhaite être régulé.

Un cadre de risque à deux axes

L'idée centrale du document est que les dispositifs d'IA générative échouent d'une manière que les anciennes règles sur les logiciels n'avaient pas anticipée. L'agence propose d'évaluer le risque selon deux axes. Le premier est la conséquence d'un résultat incorrect, c'est-à-dire à quel point une mauvaise réponse nuit au patient. Le second est le niveau d'indépendance, c'est-à-dire dans quelle mesure le système agit seul plutôt que de remettre une suggestion à un humain.

Cette combinaison est familière dans l'esprit. Un logiciel de radiologie qui signale une fracture à un radiologue présente un profil de risque différent d'un logiciel qui pose le diagnostic sans revue. Ce qui est nouveau, c'est de l'appliquer à des systèmes non déterministes, c'est-à-dire qu'une même entrée peut produire des sorties différentes, et qui peuvent continuer à s'ajuster après le déploiement. La validation logicielle traditionnelle suppose un artefact fixe. Un modèle qui dérive ne correspond pas à cette hypothèse.

Pour y répondre, le document propose une approche inspirée de la façon dont les cliniciens sont accrédités. L'argument est que les médecins ne sont pas testés sur chaque scénario qu'ils pourraient rencontrer. Ils réussissent des évaluations structurées de leurs connaissances et de leur raisonnement sous-jacents, puis exercent sous supervision. La FDA demande si un dispositif génératif pourrait être évalué de la même manière, avec une évaluation comparative non clinique par rapport à des normes définies, suivie d'une confirmation clinique dans des environnements réels ou simulés.

La surveillance après mise sur le marché reçoit la tâche la plus difficile. Parce que ces systèmes peuvent changer, le document suggère de suivre la dérive des performances, les hallucinations et les sorties inattendues, tant du modèle propre au dispositif que de tout modèle de fondation sous-jacent. Cette seconde partie compte. Un fabricant de dispositif qui affine le modèle de quelqu'un d'autre hérite d'un comportement qu'il ne peut pas entièrement voir, et le document demande directement comment les attentes pré-commercialisation et post-commercialisation devraient s'appliquer lorsque le fabricant ne contrôle pas le modèle sous-jacent.

Ce que le document évite de dire

Lisez le document pour ce qu'il abandonne, et la direction devient plus claire. Il n'utilise jamais l'ancienne distinction de la FDA entre algorithmes verrouillés et adaptatifs. Il évite les termes « logiciel dans un dispositif médical » et « logiciel en tant que dispositif médical », qui constituaient le vocabulaire d'une décennie d'évaluation des dispositifs. L'aide à la décision clinique n'apparaît que dans une note de bas de page.

Ces omissions semblent délibérées. Les anciennes catégories ont été conçues pour des logiciels au comportement prévisible une fois validés. Les systèmes génératifs brouillent la frontière entre l'outil et le résultat, et l'agence semble ouvrir la voie à un cadre qui n'hérite pas de ces hypothèses. Savoir s'il s'agit d'une véritable remise à zéro ou d'un simple réemballage des mêmes principes est précisément ce sur quoi les parties prenantes sont invitées à commenter.

Le programme de lignes directrices indique où va l'argent

Le programme de l'exercice 2027, qui accepte les commentaires jusqu'au 30 novembre, vous indique quels projets l'agence considère comme proches d'être finalisés. Trois figurent en tête. Premièrement, finaliser les lignes directrices sur le cycle de vie des logiciels des dispositifs intégrant l'IA, dont le premier projet date de janvier 2025, qui couvrent la manière dont un modèle est surveillé, mis à jour et revalidé tout au long de sa vie, et pas seulement lors de son autorisation. Deuxièmement, finaliser les lignes directrices sur le plan de contrôle des changements prédéterminés d'août 2024, qui définissent ce qu'un promoteur doit spécifier à l'avance pour effectuer certains changements d'algorithme après la mise sur le marché sans déposer une nouvelle demande. Troisièmement, finaliser les lignes directrices pour les dispositifs chirurgicaux assistés par robot, y compris un projet distinct publié fin septembre couvrant le contrôle des instruments, la latence, la cybersécurité et la stérilisation.

Ces trois points signifient que l'agence dit : voici où en est déjà le déploiement. Les plans de contrôle des changements prédéterminés sont le mécanisme qui permet à une fonction d'IA approuvée de continuer à apprendre sans nouvelle évaluation, et ils font la différence entre un modèle livré une fois et un modèle qui s'améliore. Les lignes directrices sur le cycle de vie transforment cette permission en exigence opérationnelle. Ensemble, elles décrivent un dispositif régulé comme un processus continu plutôt que comme un produit scellé.

Le problème du modèle tiers

Une question du document mérite plus d'attention que les autres. Elle demande comment les attentes pré-commercialisation et post-commercialisation devraient s'appliquer lorsque le fabricant ne contrôle pas le modèle de fondation sous-jacent. Cette situation est désormais la norme plutôt que l'exception. Un système hospitalier qui enveloppe un modèle polyvalent pour le triage ne le réentraîne pas, et il n'a pas accès aux données d'entraînement, à la procédure d'affinage ni au calendrier des changements.

La formulation même de l'agence reconnaît la difficulté. Dans son modèle, la surveillance après mise sur le marché devrait suivre la dérive du modèle du dispositif et celle du modèle de fondation qui le sous-tend, ce qui signifie qu'un fabricant de dispositif a besoin d'une visibilité sur des changements qu'il n'a pas effectués et dont il pourrait ne pas être informé. Étendre l'idée de compétence à ce cas soulève la question de savoir qui est accrédité. Le fabricant du dispositif peut démontrer que sa propre couche se comporte correctement, mais il ne peut pas facilement démontrer le comportement d'un composant qu'il sous-licence.

Il y a une comparaison à faire avec la génération précédente de règles sur les dispositifs d'IA. Les plans de contrôle des changements prédéterminés fonctionnent lorsque le promoteur contrôle le modèle et peut spécifier à l'avance les changements qu'il compte apporter. Lorsque le modèle provient d'un tiers, le plan doit accommoder des mises à jour qui arrivent selon le calendrier de quelqu'un d'autre. Aucune des questions de discussion ne résout cela, et les réponses détermineront largement si le cadre final est exploitable pour les petits développeurs ou seulement pour les entreprises assez grandes pour construire leurs propres modèles.

Pourquoi le calendrier est inhabituel

Rédiger des lignes directrices avant une première demande est rare, et la raison pour laquelle cela se produit ici est que le dispositif conversationnel en santé mentale est la version la plus difficile du problème. Ces systèmes parlent aux patients en langage naturel, ce qui rend leurs résultats difficiles à délimiter et à tester. Un modèle diagnostique renvoie un nombre. Un modèle conversationnel renvoie ce qu'il décide de dire ensuite.

L'agence doit aussi concilier sa propre prudence avec la pression politique en faveur d'une accélération de l'innovation médicale, et le document de discussion reflète les deux. Il s'appuie sur une approche fondée sur le risque et la moins contraignante possible, tout en reconnaissant que l'évaluation pré-commercialisation seule ne peut pas évaluer un système qui change. Cette tension explique pourquoi le document se termine par des questions plutôt que par des réponses. C'est aussi pourquoi les 26 questions méritent une lecture attentive. Elles donnent un aperçu des arguments qui façonneront le premier dispositif génératif approuvé en santé mentale, dès que quelqu'un en déposera la demande.

D'autres régulateurs avancent en parallèle. L'autorité britannique des médicaments a transmis trois amendements au Parlement pour moderniser la surveillance des dispositifs, y compris une place explicite pour les logiciels et les dispositifs d'IA dans un cadre d'autorisation fondé sur des niveaux de risque. Le Japon révise ses exigences relatives aux produits biologiques afin d'intégrer des méthodes plus récentes de tests moléculaires. Le schéma est le même dans les trois cas : les règles sont reconstruites avant l'arrivée des produits, en pariant que les rédiger à l'avance coûte moins cher que de les contester ensuite.