FDA, 아직 아무도 만들지 않은 AI 기기를 위한 규칙을 쓰고 있다

규제 당국은 보통 사후 대응한다. 제품이 출시되고 문제가 생기면 그다음에 지침이 나온다. FDA의 기기 담당 부서는 정반대로 움직였다. 10월 1일, FDA는 2027 회계연도 제안 지침 의제를 발표했고, 그 목록 상단 근처에는 아직 단 하나의 사례도 허가한 적 없는 기기 범주를 위한 지침 초안 문서가 자리한다.

그 범주는 정신 건강 장애를 대상으로 한 생성형 AI 기반 대화형 기기다. FDA의 기기·방사선보건센터(CDRH)는 지금까지 1,200개 이상의 AI 기반 의료기기를 허가했다. 그중 정신 건강 적응증에 생성형 AI를 사용하는 기기는 하나도 없다. FDA는 첫 신청서가 도착하기 전에 증거 요건 권고안을 작성하고 있는데, 이는 나중에 사안별로 기준을 협상하는 대신 미리 기준을 세우는 방식이다.

이 조치는 CDRH가 8월에 발표한 논의 문서 '생성형 AI 기반 의료기기 규제에 관한 고려사항(Considerations for the Regulation of Generative AI-Enabled Medical Devices)' 위에 놓여 있다. 이 문서는 명시적으로 정책이 아닌 논의 문서이며, 대중이 답해야 할 26개의 질문을 담고 있다. 의견 수렴은 10월 19일에 마감된다. 대규모 언어 모델 위에 임상 제품을 구축하는 사람이라면 누구든, 자신이 어떻게 규제받고 싶은지에 대해 이야기할 시간이 약 2주뿐이다.

2축 위험 프레임워크

이 문서의 핵심 아이디어는 생성형 AI 기기가 기존 소프트웨어 규칙이 예상하지 못한 방식으로 실패한다는 것이다. FDA는 두 축으로 위험을 평가하자고 제안한다. 하나는 잘못된 출력의 결과, 즉 오답이 환자에게 얼마나 심각한 해를 끼치는가다. 다른 하나는 독립성 수준, 즉 시스템이 얼마나 스스로 행동하는지, 아니면 인간에게 제안을 넘기는지다.

그 조합은 정신적으로 낯설지 않다. 방사선과 의사에게 골절을 표시해 주는 영상 소프트웨어는 검토 없이 진단을 내리는 소프트웨어와 위험 프로필이 다르다. 새로운 점은 이를 비결정적 시스템, 즉 같은 입력에도 다른 출력을 낼 수 있고 배포 후에도 계속 조정될 수 있는 시스템에 적용한다는 것이다. 전통적인 소프트웨어 검증은 고정된 산출물을 전제한다. 표류하는 모델은 그 전제에 맞지 않는다.

이를 다루기 위해 문서는 임상의가 자격을 인증받는 방식을 모델로 한 접근법을 제시한다. 논리는 의사가 마주칠 수 있는 모든 상황에 대해 시험받지는 않는다는 것이다. 의사는 기초 지식과 추론에 대한 구조화된 평가를 통과한 뒤 감독 아래 진료한다. FDA는 생성형 기기도 같은 방식으로 평가할 수 있는지, 즉 정의된 표준에 대한 비임상 벤치마킹 후 실제 또는 시뮬레이션 환경에서 임상 확인을 거치는 방식이 가능한지 묻는다.

시판 후 감시에는 더 어려운 과제가 주어진다. 이런 시스템은 변할 수 있기 때문에, 문서는 기기 자체 모델과 그 아래에 있는 기반 모델 모두에서 성능 표류, 환각, 예기치 않은 출력을 추적할 것을 제안한다. 두 번째 부분이 중요하다. 다른 회사의 모델을 미세 조정한 기기 제조사는 완전히 볼 수 없는 동작을 물려받게 되며, 문서는 제조사가 기반 모델을 통제하지 못할 때 시판 전과 시판 후 기대치가 어떻게 적용되어야 하는지 직접 묻는다.

문서가 피하고 있는 말

문서에서 무엇을 빼놓았는지 읽으면 방향이 더 분명해진다. 이 문서는 FDA의 옛 구분인 고정형(locked) 알고리즘과 적응형(adaptive) 알고리즘을 한 번도 사용하지 않는다. 10년간 기기 심사의 어휘였던 '의료기기 내 소프트웨어(software in a medical device)'와 '의료기기로서의 소프트웨어(software as a medical device)'라는 용어도 피한다. 임상 의사결정 지원은 각주에만 등장한다.

이런 누락은 의도적으로 보인다. 옛 범주는 일단 검증되면 예측 가능하게 작동하는 소프트웨어를 위해 만들어졌다. 생성형 시스템은 도구와 출력 사이의 경계를 흐리며, FDA는 그러한 전제를 물려받지 않는 프레임워크를 위한 공간을 마련하는 것으로 보인다. 이것이 진정한 재설정인지, 아니면 같은 원칙의 재포장인지가 이해관계자들이 논평하도록 요청받는 사안이다.

지침 의제가 말해주는 자금의 향방

11월 30일까지 의견을 받는 2027 회계연도 의제는 FDA가 어떤 초안을 거의 확정된 것으로 보는지 알려준다. 세 가지가 최상위에 있다. 첫째, 2025년 1월에 처음 초안이 작성된 AI 기반 기기 소프트웨어 수명주기 지침을 최종화하는 일이다. 이 지침은 모델이 허가 시점뿐 아니라 수명 전반에 걸쳐 어떻게 모니터링, 업데이트, 재검증되는지를 다룬다. 둘째, 2024년 8월의 사전 지정 변경 관리 계획(predetermined change control plan) 지침을 최종화하는 일이다. 이는 후원자가 새로운 제출 없이 특정 시판 후 알고리즘 변경을 하기 위해 사전에 명시해야 할 사항을 정의한다. 셋째, 로봇 보조 수술 기기 지침을 최종화하는 일이다. 여기에는 기기 제어, 지연 시간, 사이버보안, 멸균을 다루는 9월 말 별도 초안도 포함된다.

이 세 가지는 FDA가 말하는 것이다. 배포는 이미 여기까지 와 있다. 사전 지정 변경 관리 계획은 승인된 AI 기능이 새 심사 없이 계속 학습할 수 있게 하는 메커니즘이며, 한 번 출시되고 마는 모델과 개선되는 모델의 차이를 만든다. 수명주기 지침은 그 허가를 운영 요건으로 바꾸는 역할을 한다. 이 둘은 함께, 봉인된 제품이 아니라 지속적인 과정으로 규제되는 기기를 설명한다.

제3자 모델 문제

문서의 한 질문은 다른 질문보다 더 주목받을 가치가 있다. 제조사가 기반 모델을 통제하지 못할 때 시판 전과 시판 후 기대치가 어떻게 적용되어야 하는지 묻는다. 이 상황은 이제 예외가 아니라 표준이다. 분류를 위해 범용 모델을 감싸 쓰는 병원 시스템은 그 모델을 재학습하지 않으며, 학습 데이터, 미세 조정 절차, 변경 일정에 접근할 수 없다.

FDA의 표현 자체도 이 어려움을 인정한다. FDA의 모델에서 시판 후 감시는 기기 모델과 그 아래 기반 모델의 표류를 추적해야 하며, 이는 기기 제조사가 자신이 만들지 않았고 통보받지 못할 수도 있는 변경을 볼 수 있어야 한다는 뜻이다. 역량 개념을 이 사례에 확장하면 누가 자격을 인증받는가라는 질문이 생긴다. 기기 제조사는 자기 계층이 제대로 작동함을 입증할 수 있지만, 라이선스 받은 구성 요소의 동작을 쉽게 입증할 수는 없다.

이전 세대 AI 기기 규칙과 비교할 만한 점이 있다. 사전 지정 변경 관리 계획은 후원자가 모델을 통제하고 의도하는 변경을 사전에 명시할 수 있을 때 작동한다. 모델이 제3자로부터 올 때는 계획이 다른 회사의 일정에 따라 도착하는 업데이트를 수용해야 한다. 어떤 논의 질문도 이 문제를 해결하지 못하며, 답변은 최종 프레임워크가 소규모 개발자에게 실행 가능한지, 아니면 자체 모델을 만들 수 있을 만큼 큰 기업에만 해당하는지를 크게 좌우할 것이다.

시점이 이례적인 이유

첫 신청서보다 지침을 먼저 작성하는 일은 드물다. 여기서 그런 일이 벌어지는 이유는 정신 건강 대화형 기기가 문제의 가장 어려운 형태이기 때문이다. 이런 시스템은 자연어로 환자와 대화하며, 그래서 출력을 범위 짓기 어렵고 테스트하기 어렵다. 진단 모델은 숫자를 반환한다. 대화형 모델은 다음에 말하기로 결정한 무엇이든 반환한다.

FDA는 또한 의료 혁신을 가속화하라는 정치적 압력과 자체 신중함을 조화시켜야 하며, 논의 문서는 둘 다 반영한다. 위험 기반의 최소 부담 접근법에 기대면서도 시판 전 심사만으로는 변하는 시스템을 평가할 수 없다는 점을 인정한다. 이러한 긴장이 문서가 답이 아니라 질문으로 끝나는 이유다. 또한 26개 질문을 주의 깊게 읽을 가치가 있는 이유이기도 하다. 언젠가 누군가 신청서를 제출할 때, 첫 승인 생성형 정신 건강 기기를 형성할 논쟁을 미리 보여주기 때문이다.

다른 규제 당국도 병행하여 움직이고 있다. 영국 의약품 규제기관은 기기 감독을 현대화하기 위해 의회에 세 가지 개정안을 보냈으며, 여기에는 위험 등급별 라이선스 체계 아래 소프트웨어와 AI 기기를 위한 명시적 여지를 포함한다. 일본은 더 새로운 분자 검사 방법을 수용하기 위해 생물학적 제품 요건을 개정하고 있다. 세 곳 모두의 패턴은 같다. 제품이 도착하기 전에 규칙을 다시 만들고 있으며, 사전에 작성하는 것이 나중에 소송하는 것보다 저렴하다는 판단에 기대고 있다.