한 달에 스무 개의 새 이미지 모델이 나와도 내 프롬프트는 여전히 작동한다: 구조 우선 프롬프팅을 위한 변론

올해는 모델 교체가 정말 혹독했다. r/PromptEngineering의 한 게시물은 한 달에 대략 스무 개의 새 모델 출시를 세었는데, 이는 피드의 나머지가 보여주는 것과도 맞아떨어진다: 어느 주에는 Qwen Image 2.1, 그다음 주에는 Krea 2 비교, 그 전에는 Z-Image Turbo. 프롬프트를 직업으로 쓰는 사람이라면 누구나 어느 순간 이런 속도가 자신의 프롬프트 라이브러리를 쓰레기장으로 만들 것이라고 생각했을 것이다.

같은 커뮤니티는 계속 반대 경험을 보고하고 있으며, 그들이 제시하는 이유는 훔칠 가치가 있다.

살아남은 프롬프트

스무 개 모델 집계를 올린 게시자는 새 버전이 나올 때마다 모든 것을 다시 써야 할 것이라고 예상했다. 하지만 그러지 않았다. 몇 달 전 AI 프레젠테이션 생성기용으로 작성한 프롬프트가 새 모델들에서도 거의 그대로 작동한다. 그들의 설명은 이렇다: 그 프롬프트는 모델의 요령이 아니라 구조를 담고 있다. 논지를 진술하고, 슬라이드당 하나의 주장, 완전한 문장, 흐름의 이름을 붙이라고 말한다. 그 안의 어떤 것도 특정 모델이 형용사를 토큰화하는 방식에 의존하지 않는다.

이어진 기법 게시물은 이 아이디어를 구체화했다. 대부분의 생성 도구는 모든 것을 동일한 가중치로 평평하게 만들어 결과물의 위계를 죽인다. 해법은 프롬프트 자체 안에서 중요도를 태깅하는 것이다: 각 요소를 수준으로 표시하라. 주요 주장에는 h1, 뒷받침하는 요점에는 h2, 세부 사항에는 h3. 그러면 모델은 추측하는 대신 그 위계에 맞춰 디자인한다. 여러 도구에서 테스트했을 때 결과물은 형태를 유지했는데, 구조가 프롬프트 안에 살았고, 그곳에서 함께 이동하기 때문이다.

이것이 모델 전반에서 작동하는 이유

지난 2년간의 진지한 이미지 및 레이아웃 모델은 키워드만이 아니라 지시를 따르도록 훈련되었다. 미학 엔진이 달라도 지시 수행 레이어는 모델 전반에서 대체로 비슷하다. 그래서 관계를 명시하는 프롬프트(이 요소가 지배하고, 저 요소는 뒷받침하며, 이 요소는 선택 사항이다)는 어떤 지시 수행 모델에도 같은 비계를 제공한다. 모델 특유의 버릇에 기대어 만든 프롬프트는 화요일에는 훌륭한 결과를 주지만, 수요일 릴리스가 어텐션 레이어 하나를 바꾸면 쓰레기가 된다.

실용적인 테스트가 있다. 자신의 프롬프트를 읽고 모델을 바꿔도 무엇이 살아남는지 물어보라. “시네마틱 골든 아워, 85mm, 얕은 심도”는 유능한 모델이라면 무엇이든 처리하는 스타일링이며, 어차피 그 부분은 거의 바꿀 필요가 없다. “--chaos 7을 사용하라”거나 특정 네거티브 프롬프트 주문은 한 시스템에 속한 요령이다. 첫 번째 종류는 구조다. 두 번째는 매달 교체되는 문에 달린 자물쇠다.

남길 것과 버릴 것

프롬프트에 남길 가치가 있는 구조: 논증 또는 구성 순서, 요소 간의 명시적 위계, 제약으로서 진술된 제약(반드시 나타나야 할 것, 나타나서는 안 될 것), 그리고 결과물의 형식. 버릴 가치가 있는 요령: 샘플러 주문, 마법 단어에 관한 커뮤니티 속설, 2023년 포럼에서 복사한 네거티브 프롬프트 벽, 그리고 동료에게 한 문장으로 설명할 수 없는 모든 것.

솔직한 비용은 초기 노력이다. 구조적 프롬프트는 분위기 묘사보다 작성하는 데 더 오래 걸린다. 보상은 유지보수에서 나타난다. 다음 릴리스가 나오면, 그리고 이번 주에도 하나는 나올 텐데, 당신은 프롬프트를 읽고 구조가 여전히 원하는 것을 설명하는지 확인한 뒤 아무것도 바꾸지 않는다. 주말을 불태우며 프롬프트 라이브러리를 다시 쓰는 사람들은 대개 요령을 코드화해 넣은 사람들이다.

구조적 프롬프트가 막는 실패 모드

기법 스레드의 구체적인 예는 일반화되기 때문에 다시 말할 가치가 있다. 주제를 프롬프트로 받은 프레젠테이션 도구는 각각 세 개의 불릿이 있는 슬라이드 스무 장을 만든다. 그것은 모델 결함이 아니라 모호한 프롬프트가 불러들이는 결과다. 해법은 주제 대신 구조를 지정하는 것이었다: 슬라이드당 하나의 아이디어, 문제 → 이해관계 → 선택지 → 권고라는 이름 붙은 흐름, 그리고 어떤 슬라이드가 시각 자료이고 어떤 것이 텍스트인지 명시적으로 선언하는 것. 결과물의 형태는 즉시 바뀌었고, 같은 발판이 도구와 모델 업데이트 전반에서 유지되었는데, 그것은 생성기가 아니라 결과물을 설명하기 때문이다.

이미지 작업에도 정확히 평행하는 사례가 있다. “아름다운 풍경” 같은 프롬프트는 모든 결정을 모델에 외주 주고, 모델은 훈련 데이터를 평균 내는데, 이는 가능한 한 가장 일반적인 산을 만들어 낸다는 말과 같다. 구조적 프롬프트는 대신 프레임을 배분한다: 피사체가 왼쪽 3분의 1을 차지하고, 중경 디테일, 하늘에는 특정 처리를 주고, 전경 요소가 하단을 고정한다. 각 절은 모델이 그렇지 않으면 기본값으로 내렸을 결정이며, 각각은 그림을 설명하지 화가를 설명하지 않기 때문에 모델 교체에서도 살아남는다.

마이그레이션 테스트

당신의 프롬프트가 구조적인지 판단하는 실용적인 테스트가 있다. 다른 모델, 이상적으로는 훈련 계보가 다른 연구소의 모델에 복사하고 변경 없이 실행하라. 구조적 프롬프트는 우아하게 성능이 저하된다. 구성은 유지되고, 위계는 유지되며, 스타일링만 달라지는데, 어차피 다시 스타일링할 부분이다. 요령 기반 프롬프트는 눈에 띄게 무너진다: 샘플러 문법은 아무 일도 하지 않고, 마법 단어는 불활성이며, 한 모델의 실패 모드에 맞춰진 네거티브 프롬프트 벽은 다른 모델을 눈멀게 한다.

같은 테스트는 두 번째 모델 없이 시간 앞으로도 실행된다. 다음 릴리스가 나오면, 그리고 이번 주에도 하나는 나올 텐데, 당신은 프롬프트를 읽고 구조가 여전히 원하는 것을 설명하는지 확인한 뒤 아무것도 바꾸지 않는다. 주말을 불태우며 프롬프트 라이브러리를 다시 쓰는 사람들은 대개 요령을 인코딩해 넣은 사람들이다. 교체는 그들의 프롬프트를 망가뜨리지 않았다. 프롬프트가 무엇으로 만들어졌는지 드러냈을 뿐이다.

남길 것과 버릴 것, 자세히

프롬프트에 남길 가치가 있는 구조: 논증 또는 구성 순서, 요소 간의 명시적 위계, 제약으로서 진술된 제약(반드시 나타나야 할 것, 나타나서는 안 될 것, 선택 사항인 것), 그리고 화면 비율과 매체를 포함한 결과물의 형식. 버릴 가치가 있는 요령: 샘플러 주문, 마법 단어에 관한 커뮤니티 속설, 2023년 포럼에서 복사한 네거티브 프롬프트 벽, 그리고 동료에게 한 문장으로 설명할 수 없는 모든 것.

그 자체로 메모할 가치가 있는 중간 범주가 있다. “시네마틱 골든 아워, 85mm, 얕은 심도” 같은 스타일 설명은 요령처럼 보이지만 구조처럼 작동한다. 모든 현대 모델이 그 어휘를 이해하고 같은 방식으로 해석하기 때문이다. 구분 기준은 연식이 아니라 이식성이다. 어디서나 같은 의미를 갖는 스타일 용어는 구조가 의상을 입은 것이다.

솔직히 말한 비용

솔직한 비용은 초기 노력이다. 구조적 프롬프트는 분위기 묘사보다 두세 배 더 오래 걸리고, 처음 몇 번의 초안은 관료적으로 느껴질 것이다. 보상은 유지보수와 일관성으로 찾아온다. 구조적 프롬프트는 시드와 버전 전반에서 예측 가능하게 재생성되는데, 이는 시리즈 콘텐츠를 만드는 사람 누구에게나 중요하다: 채널의 썸네일, 브랜드의 소셜 게시물, 덱의 시각 언어. 분위기 프롬프트는 요청 시 재현할 수 없는 즐거운 일회성 결과물을 만드는데, 이는 예술에는 좋은 속성이지만 업무에는 끔찍한 속성이다.

메타 스킬

프롬프트 엔지니어링이라는 직함은 수년간 비난을 받아 왔고, 일부는 타당하다. 하지만 살아남는 기술은 주문을 외는 의미의 프롬프트 공예가 아니다. 그것은 더 오래된 명세 작성 기술이다: 원하는 것을 결정하고, 모호하지 않게 진술하고, 부분들 사이의 관계를 표현하는 것. 모델은 명세를 읽는 능력이 좋아졌다. 그것을 추측하는 능력은 좋아지지 않았다.

한 달에 스무 개의 릴리스는 교체처럼 들린다. 더 가까이 보면 그것은 필터다. 한 모델의 습관에 의존한 프롬프트를 씻어내고, 작업을 설명하는 프롬프트를 승격시킨다. 프롬프트가 계속 망가진다면, 교체가 문제가 아니다. 프롬프트가 스스로를 고발하고 있는 것이다.