혼자서 AI 만화극 만들기: 대본 작성부터 완성까지의 전체 과정

며칠 전, 오랫동안 연락이 없던 대학 룸메이트가 갑자기 메시지를 보내 물었다. 지금 AI 만화극을 배워도 늦지 않겠냐고. AI로 만든 숏폼 드라마를 여러 개 보다가 마음이 동해서 직접 몇 편 만들어 보고 싶다고 했다.

내 대답은 간단했다. 걱정 말고 해도 된다고.

2025년이었다면 아마 조금 더 기다리라고 했을 것이다. 그때는 도구들이 지금만큼 편하지 않았다. 하지만 2026년이 된 지금, AI 만화극의 진입 장벽은 정말로 낮아졌다. 배우를 구할 필요도 없고, 조명이나 세트를 신경 쓸 필요도 없고, 편집과 특수효과에 돈을 쏟을 필요도 없다. 혼자서 컴퓨터 한 대로 며칠이면 완전한 AI 만화극 한 편을 만들 수 있다. 정말로 필요한 것은 오직 들려주고 싶은 이야기 하나뿐이다.

다섯 단계로 완성하는 AI 만화극

전체 과정은 사실 다섯 가지로 나뉜다. 대본 쓰기, 콘티 만들기, 텍스트로 이미지 생성, 이미지로 비디오 생성, 편집 및 합성.

첫 번째, 대본 쓰기. 이 단계를 얕보면 안 된다. 화면은 AI가 만들어도 이야기는 직접 만들어야 한다. 소재를 정하고, 캐릭터를 정하고, 회차별 개요를 잡는다. 812화 분량의 숏폼 드라마라면 회당 12분 정도인데, 시청자를 붙잡을 도입부와 반전이 있는 결말이 필요하다.

두 번째, 콘티 만들기. 대본을 한 컷 한 컷으로 쪼갠다. 각 컷은 하나의 화면에 대응하며, 컷 번호, 샷 사이즈, 화면 내용, 대사, 길이를 명확히 적는다. 이 단계를 꼼꼼히 해두면 이후 이미지 생성이 훨씬 수월해진다.

세 번째, 텍스트로 이미지 생성. 가장 작업량이 많은 단계다. 각 콘티의 화면 설명을 이미지 생성 프롬프트로 바꿔서 일괄 생성한다. 더우바오(Doubao)나 지멍(Jimeng) 같은 도구를 쓰면 된다.

네 번째, 이미지로 비디오 생성. 핵심 컷을 골라 정지된 이미지를 움직이게 만든다. 머리카락이 흔들리고, 나뭇잎이 떨어지고, 카메라가 천천히 줌인되는 디테일이 화면에 생동감을 불어넣는다.

다섯 번째, 편집 및 합성. 이미지에 키프레임 모션을 넣고, 더빙·자막·효과음·BGM을 입혀 완성본을 추출한다.

가장 골치 아픈 문제: 캐릭터 일관성

AI 만화극을 만드는 사람은 거의 모두 같은 함정에 빠진다. 캐릭터의 모습이 달라지는 것이다. 1화에서는 검은 생머리에 붉은 눈이던 여주인공이 3화에서 갈색 곱슬머리로 변해 있으면 시청자는 바로 몰입이 깨진다.

해결 방법은 “먼저 캐릭터를 확정하고, 그다음 촬영한다”이다.

먼저 AI로 캐릭터의 삼면도(정면·측면·후면)와 표정 팩을 생성해 이미지를 고정한다. 그다음 캐릭터에 고정 설명 문구를 만든다. 예를 들어 “린완, 검은 머리, 붉은 눈, 붉은 한푸, 긴 검을 들고 있음”처럼 말이다. 매 회차마다 이 문구를 그대로 사용하고 바꾸지 않는다. 마지막으로 콘티 이미지를 만들 때 확정해 둔 캐릭터 이미지를 참고 이미지로 업로드하면 캐릭터가 어긋날 확률을 크게 낮출 수 있다.

또 하나 간과하기 쉬운 점은 작품 전체에 하나의 화풍 프리픽스를 통일해서 쓰는 것이다. 한 회는 일본풍, 다른 회는 중국풍이면 안 된다. 스타일이 들쭉날쭉한 것은 AI 만화극에서 가장 피해야 할 실수다.

프롬프트를 안정적으로 쓰는 법

이미지 생성 프롬프트를 쓸 때 공식 하나를 기억하자. 화풍 프리픽스 + 캐릭터 고정 설명 + 동작 + 표정 + 배경 + 조명 + 샷.

예를 들어, 일본 애니메이션 스타일, 린완, 검은 머리, 붉은 눈, 붉은 한푸, 몸을 돌리며 검을 뽑음, 날카로운 눈빛, 대나무 숲, 역광, 미디엄 샷, 모션 블러, 높은 디테일.

화면에 필요한 정보가 이 한 문장에 모두 담겨 있어서 모델이 엉뚱하게 추측하지 않는다.

더빙 단계, 아끼지 마라

화면이 나온 뒤에는 소리가 완성도를 좌우한다. AI 만화극의 더빙은 보통 더우바오(Doubao)나 젠잉(剪映, CapCut)으로 작업한다. 먼저 콘티 대사를 정리하고, 각 문장에 감정·말 속도·강세를 명확히 표시한 다음 AI 더빙에 맡긴다.

프롬프트에 “누님 목소리, 차갑고 맑지만 약간 초조한 느낌, 중간 속도”라고 한 문장 써주는 것만으로도 그냥 텍스트만 던지는 것보다 훨씬 좋은 결과가 나온다. 더빙도 화면과 마찬가지로 설명으로 이끌어내는 것이다.

자막도 빼놓지 마라. 더빙 텍스트를 그대로 SRT 자막 형식으로 변환해 젠잉(剪映)에 바로 불러오면 문장마다 타임라인을 맞추는 수고를 덜 수 있다.

어느 플랫폼에 올릴까

AI 만화극은 현재 주로 더우인(抖音), 샤오홍슈(小红书), 위챗 채널(视频号) 세 곳에 올라간다. 빌리빌리(Bilibili)도 나름 좋은 기반이 된다. 따라서 처음부터 세로 9:16 비율의 이미지를 생성하는 것이 좋다. 이 플랫폼들의 플레이어는 모두 세로 화면을 우선하기 때문에 나중에 다시 자르는 수고를 덜 수 있다.

플랫폼마다 호흡이 다르다. 더우인과 샤오홍슈는 ‘훅’이 중요해서 처음 2초가 시청자의 이탈 여부를 결정한다. 빌리빌리 시청자는 인내심이 더 많아서 완성도를 높여도 된다. 한 편의 영상을 여러 버전으로 편집해 각 플랫폼의 취향에 맞추는 것도 방법이다.

밟지 말아야 할 함정

첫째, 상업적으로 이용하기 전에 AI 생성 콘텐츠의 저작권과 플랫폼 이용 규정을 확실히 확인하라. 플랫폼과 도구마다 약관이 다르므로, 올리고 나서 문제를 발견하는 일이 없도록 해야 한다.

둘째, 유명 IP의 캐릭터를 생성하지 마라. ‘고풍 여성 킬러’를 그리는 것은 문제없지만, 구체적이고 저작권이 있는 캐릭터를 그리는 것은 스스로 문제를 만드는 일이다.

셋째, 한 번에 만족스러운 이미지가 나올 것이라고 기대하지 마라. AI 이미지 생성은 카드 뽑기와 같다. 한 번에 4장씩 생성되니 여러 배치를 뽑고, 그중에서 마음에 드는 것을 고른 다음 참고 이미지로 보정하면 된다. 전문가들도 이렇게 작업한다. 신비로운 일이 아니다.

AI 만화극은 이제 정말로 보통 사람도 손댈 수 있는 시점에 왔다. 도구는 이미 준비되어 있고, 과정은 명확하다. 남은 것은 당신의 이야기뿐이다. 룸메이트가 마지막으로 같이 만들지 물었는데, 나는 먼저 도입부를 써보면 그때 다시 보자고 했다.