A FDA está escrevendo regras para dispositivos de IA que ninguém construiu ainda

Reguladores normalmente reagem. Um produto é lançado, algo dá errado, e a orientação vem depois. O centro de dispositivos da FDA acabou de fazer o oposto. Em 1º de outubro, publicou sua agenda de orientações propostas para o ano fiscal de 2027, e perto do topo da lista está um documento de minuta de orientação para uma categoria de dispositivo da qual não autorizou um único exemplo.

A categoria é a de dispositivos conversacionais habilitados por IA generativa destinados a transtornos de saúde mental. O Centro de Dispositivos e Saúde Radiológica da FDA autorizou mais de 1.200 dispositivos médicos habilitados por IA até o momento. Nenhum deles usa IA generativa para uma indicação de saúde mental. A agência está redigindo recomendações sobre evidências antes de o primeiro pedido chegar, o que é uma forma de estabelecer o padrão desde cedo em vez de negociá-lo caso a caso depois.

Essa medida se soma a um documento de discussão que o CDRH divulgou em agosto, intitulado Considerações para a Regulamentação de Dispositivos Médicos Habilitados por IA Generativa. É explicitamente um documento de discussão, não uma política, e contém 26 perguntas para o público responder. O prazo para comentários termina em 19 de outubro. Qualquer pessoa que esteja construindo um produto clínico sobre um modelo de linguagem de grande porte tem cerca de duas semanas para se manifestar sobre como deseja ser regulamentada.

Um arcabouço de risco com dois eixos

A ideia central do documento é que dispositivos de IA generativa falham de maneiras que as regras mais antigas para software não previam. A agência propõe pontuar o risco em dois eixos. Um é a consequência de uma saída incorreta, ou seja, o quanto uma resposta errada prejudica o paciente. O outro é o nível de independência, ou seja, o quanto o sistema age por conta própria em vez de entregar uma sugestão a um humano.

Essa combinação é familiar em espírito. Um software de radiologia que sinaliza uma fratura para um radiologista tem um perfil de risco diferente de um software que faz o diagnóstico sem revisão. O que é novo é aplicá-la a sistemas não determinísticos, ou seja, nos quais a mesma entrada pode produzir saídas diferentes, e que podem continuar se ajustando após a implantação. A validação tradicional de software pressupõe um artefato fixo. Um modelo que apresenta deriva não se encaixa nessa premissa.

Para lidar com isso, o documento propõe uma abordagem inspirada na forma como os clínicos são credenciados. O argumento é que os médicos não são testados em todos os cenários que podem enfrentar. Eles passam por avaliações estruturadas de conhecimento e raciocínio subjacentes e depois praticam sob supervisão. A FDA pergunta se um dispositivo generativo poderia ser avaliado da mesma forma, com avaliação comparativa não clínica em relação a padrões definidos, seguida de confirmação clínica em ambientes reais ou simulados.

A vigilância pós-comercialização recebe a tarefa mais difícil. Como esses sistemas podem mudar, o documento sugere monitorar a deriva de desempenho, alucinações e saídas inesperadas tanto do modelo do próprio dispositivo quanto de qualquer modelo de base por baixo dele. Essa segunda parte importa. Um fabricante de dispositivos que faz ajuste fino no modelo de outra pessoa herda um comportamento que não consegue ver por completo, e o documento pergunta diretamente como as expectativas de pré-comercialização e pós-comercialização devem se aplicar quando o fabricante não controla o modelo subjacente.

O que o documento evita dizer

Leia o documento pelo que ele omite e a direção fica mais clara. Ele nunca usa a antiga distinção da FDA entre algoritmos bloqueados e adaptativos. Evita os termos software em dispositivo médico e software como dispositivo médico, que foram o vocabulário de uma década de análise de dispositivos. O apoio à decisão clínica aparece apenas em uma nota de rodapé.

As omissões parecem deliberadas. As antigas categorias foram criadas para software que se comporta de forma previsível depois de validado. Sistemas generativos borram a linha entre a ferramenta e a saída, e a agência parece estar abrindo espaço para um arcabouço que não herda essas premissas. Se isso é uma reinicialização genuína ou um reempacotamento dos mesmos princípios é o ponto sobre o qual as partes interessadas estão sendo convidadas a comentar.

A agenda de orientações mostra para onde o dinheiro está indo

A agenda do ano fiscal de 2027, que recebe comentários até 30 de novembro, mostra quais minutas a agência considera quase definidas. Três estão no topo. Primeiro, finalizar a orientação sobre o ciclo de vida do software de dispositivos habilitados por IA, cuja primeira minuta é de janeiro de 2025, que abrange como um modelo é monitorado, atualizado e revalidado ao longo de sua vida, e não apenas no momento da autorização. Segundo, finalizar a orientação sobre o plano de controle de mudanças predeterminadas, de agosto de 2024, que define o que um patrocinador deve especificar previamente para fazer certas mudanças no algoritmo pós-comercialização sem protocolar uma nova submissão. Terceiro, finalizar a orientação para dispositivos cirúrgicos assistidos por robô, incluindo uma minuta separada publicada no final de setembro que abrange controle de instrumentos, latência, segurança cibernética e esterilização.

Essas três são a agência dizendo: é aqui que a implantação já está. Planos de controle de mudanças predeterminadas são o mecanismo que permite a um recurso de IA aprovado continuar aprendendo sem uma nova análise, e são a diferença entre um modelo lançado uma única vez e um modelo que melhora. A orientação sobre o ciclo de vida é o que transforma essa permissão em um requisito operacional. Juntas, elas descrevem um dispositivo que é regulamentado como um processo contínuo, e não como um produto fechado.

O problema do modelo de terceiros

Uma pergunta no documento merece mais atenção do que as outras. Ela pergunta como as expectativas de pré-comercialização e pós-comercialização devem se aplicar quando o fabricante não controla o modelo de base subjacente. Essa situação agora é a norma, e não a exceção. Um sistema hospitalar que encapsula um modelo de propósito geral para triagem não o está retreinando e não tem acesso aos dados de treinamento, ao procedimento de ajuste fino nem ao cronograma de mudanças.

A própria formulação da agência reconhece a dificuldade. A vigilância pós-comercialização, em seu modelo, teria de acompanhar a deriva no modelo do dispositivo e no modelo de base abaixo dele, o que significa que um fabricante de dispositivos precisa de visibilidade sobre mudanças que não fez e sobre as quais talvez não seja informado. Estender a ideia de competência a esse caso levanta a questão de quem recebe o credenciamento. O fabricante do dispositivo pode demonstrar que sua própria camada se comporta bem, mas não consegue demonstrar facilmente o comportamento de um componente que licencia.

Vale fazer uma comparação com a geração anterior de regras para dispositivos de IA. Planos de controle de mudanças predeterminadas funcionam quando um patrocinador controla o modelo e pode especificar previamente as mudanças que pretende fazer. Quando o modelo vem de terceiros, o plano precisa acomodar atualizações que chegam conforme o cronograma de outra pessoa. Nenhuma das perguntas de discussão resolve isso, e as respostas determinarão em grande medida se o arcabouço final será viável para pequenos desenvolvedores ou apenas para empresas grandes o suficiente para construir seus próprios modelos.

Por que o momento é incomum

Redigir orientações antes de um primeiro pedido é raro, e a razão de isso estar acontecendo aqui é que o dispositivo conversacional de saúde mental é a versão mais difícil do problema. Esses sistemas conversam com pacientes em linguagem natural, o que torna suas saídas difíceis de delimitar e de testar. Um modelo de diagnóstico retorna um número. Um conversacional retorna o que quer que decida dizer em seguida.

A agência também precisa conciliar sua própria cautela com a pressão política para acelerar a inovação médica, e o documento de discussão reflete ambos. Ele se apoia em uma abordagem baseada em risco e menos onerosa, ao mesmo tempo que reconhece que a análise pré-comercialização por si só não consegue avaliar um sistema que muda. Essa tensão é a razão pela qual o documento termina em perguntas, e não em respostas. É também por isso que as 26 perguntas valem uma leitura atenta. Elas são uma prévia dos argumentos que moldarão o primeiro dispositivo generativo de saúde mental aprovado, sempre que alguém protocolar um pedido.

Outros reguladores estão avançando em paralelo. O regulador de medicamentos do Reino Unido enviou três emendas ao parlamento para modernizar a supervisão de dispositivos, incluindo espaço explícito para software e dispositivos de IA em uma estrutura de licenciamento escalonada por risco. O Japão está revisando seus requisitos para produtos biológicos a fim de incorporar métodos mais recentes de testes moleculares. O padrão nos três é o mesmo: as regras estão sendo reconstruídas antes de os produtos chegarem, na aposta de que escrevê-las com antecedência é mais barato do que litigar sobre elas depois.