누군가 AI 글쓰기가 스스로를 드러내는 13,000가지 방식을 목록화했다

글쓰기 분석 회사 Graphite의 한 연구는 기계 생성 산문을 많이 읽는 사람에게 유용한 일을 해냈다: 추측을 멈추고 세기 시작한 것이다.

연구팀은 ChatGPT가 존재하기 전에 발표된 기사 10,000개를 가져와 AI 모델에게 다시 쓰게 한 뒤, 두 더미를 비교했다. 그 결과 AI 버전에서 인간 원문보다 최소 두 배 더 자주 나타나는 약 13,000개의 문구 목록이 나왔다. 문장 전체가 아니다. 문구다. 모델이 분량을 채울 때 습관적으로 손을 뻗는 작은 언어적 표현들이다.

흔적은 옮겨갔을 뿐, 사라지지 않았다

그 발견에서 뻔한 부분은 목록 자체다. 더 흥미로운 부분은 그것이 만들어지는 동안 벌어진 일이다.

Graphite의 최고 AI 책임자 그레그 드럭(Greg Druck)은 추세선이 동시에 두 방향으로 움직인다고 말했다. 엠 대시처럼 더 오래되고 눈에 띄는 표지는 개발자들이 알아차리고 없애려 했기 때문에 훈련을 통해 억제됐다. 그러나 한 세트의 버릇이 매끄럽게 지워지면, 다른 세트가 그 틈을 파고들어 자란다. 목록은 시간이 지나면서 짧아지지 않았다. 덜 낯익어졌다.

그것이 이 문제의 불편한 핵심이다. 사람들은 AI 탐지를 어느 한쪽으로든 이미 해결된 문제로 취급하곤 한다. 탐지기가 작동해서 모델을 즉시 찾아내거나, 고장 나서 쓸모없거나. 현실은 침식에 더 가깝다. 표면은 닦여도 속의 결은 남는다.

두 연구소, 두 방향

이 연구에서 가장 많이 인용된 대목은 공급업체 간의 차이다. 드럭은 Anthropic의 Claude 모델이 세대를 거듭할수록 표준적인 인간 단어 분포에 더 가까워지고 있다고 관찰했다. 같은 기준으로 OpenAI의 GPT 모델은 점점 더 멀어지고 있다.

이는 마땅한 주의를 가지고 받아들여야 한다. 이것은 한 회사의 지표이며, 자체 비교 세트에서 자체적인 “인간다움” 정의를 측정한 것이다. 단어 빈도 분포는 진리가 아니다. 한 모델이 인간 평균 위에 정확히 올라앉아 있으면서도 아무도 쓰지 않을 문장을 만들어낼 수 있고, 분포에서 벗어나면서도 진정으로 좋은 글을 쓸 수 있다.

그래도 방향은 주목할 가치가 있다. 그것은 느낄 수 있는 차이와 맞아떨어지기 때문이다. 어떤 모델은 상투어를 피하라는 지시를 받은 신중한 작가처럼 읽힌다. 다른 모델은 사내 문체를 흡수하고서도 놓지 않으려는 매우 자신감 넘치는 비서처럼 읽힌다.

문장 수준의 표지보다 문구 수준의 표지가 더 중요한 이유

대부분의 사람은 문장 전체가 티를 내는 방식으로 AI 탐지를 처음 접했다. 무대를 깔아주는 도입부. 끝에 붙는 깔끔한 요약. 내용에 세 부분이 있든 없든 등장하는 세 항목 목록.

모델은 적어도 정중하게 요청받으면 그런 것들을 하지 않는 쪽으로 더 나아졌다. 더 깎아내기 어려운 것은 연결 조직이다. 한 문단이 다음 문단과 이어지는 방식. 모든 주장에 대응하는 균형추가 붙는, 반사적으로 균형을 향하는 움직임. 증거가 그것을 뒷받침하든 말든. 구체적 명사보다 추상적 명사를 선호하는 경향.

이런 것들은 모델이 의식적으로 따르는 규칙이 아니기 때문에 다시 쓰기 지시에서도 살아남는다. 그것들은 모델이 학습한 분포의 형태다. 모델에게 어떤 단어를 쓰지 말라고 말할 수는 있다. 특정 리듬으로 사고하지 말라고 말하는 것은 훨씬 어렵다.

이 문구 목록은 평균에 관해 더 미묘한 점도 제시한다. 표지는 고르게 퍼져 있지 않다. 한 모델은 어떤 문구를 사람보다 훨씬 많이 쓰고 다른 문구는 덜 쓸 수 있으며, 그 패턴은 수천 번의 비교를 통해서만 드러난다. 어떤 인간 독자도 그 총체를 알아차리지 못한다. 독자는 어딘가 어색하게 느껴지는 문장을 알아차리지만, 그 이유를 아는 경우는 드물다. 통계가 볼 수 있는 것과 사람이 말로 설명할 수 있는 것 사이의 간극이야말로 탐지를 눈으로 잘 해내기 어려운 정확한 이유다.

이 목록이 먹여 살리는 탐지 시장

이런 목록에는 뻔한 상업적 결과가 따른다. AI 탐지를 파는 회사는 이제 훈련에 쓸 새롭고 구체적인 특징 세트를 얻었고, AI 글쓰기를 파는 회사는 이제 피해야 할 습관 목록을 새로 얻었다.

그것이 축소된 군비 경쟁이다. 탐지 회사는 패턴을 캐내고, 글쓰기 회사는 그것을 훈련으로 없애며, 목록은 바뀐다. 흥미로운 질문은 차세대 탐지기가 현재 모델을 잡아낼 수 있느냐가 아니다. 양쪽 모두 어느 쪽도 확신할 수 없을 만큼 좋아졌을 때 신뢰에 무슨 일이 일어나느냐다.

독자에게 실질적인 영향은 어차피 안정적으로 작동한 적 없는 지름길을 서서히 잃는 것이다. 문체는 언제나 약한 신호였다. 표절자들은 수세기 동안 자기 목소리로 썼고, 정직한 작가들도 언제나 문구를 빌려왔다. 새 목록은 그 약한 신호를 측정 가능하게 만들 뿐이다.

당신이 글을 발행한다면 이것이 의미하는 것

작가에게 이 연구는 위협이라기보다 거울처럼 읽힌다. 13,000개의 문구가 기계 산문 쪽으로 기울어 있다면, 그 문구들에 기대는 초고는 아이디어가 아무리 좋아도 기계 산문처럼 읽힐 것이다. 해결책은 탐지기가 아니다. 해결책은 구체성이다.

기계 글쓰기는 일반적인 것으로 기본 설정되는데, 일반적인 것은 언제나 안전하기 때문이다. 인간의 글쓰기는 구체적인 것으로 가득하다. 거리 이름, 반올림되지 않는 숫자, 거기에 있었던 사람만 알 수 있는 세부 사항. 그런 부분은 아무리 문구를 문질러 닦아도 위조할 수 없다. 애초에 훈련 데이터에 없었기 때문이다.

편집자에게 실질적인 교훈은 자동화와 정반대다. 이제 표지는 한눈에 잡히지 않을 만큼 미묘하다. 모두가 이미 찾아보라고 배운 결정적인 엠 대시가 아니라, 리듬과 구체성의 부재를 읽어야 한다. 가장 신뢰할 수 있는 편집은 뻔한 버릇을 삭제하는 것이 아니다. 모델이 지어내지 않았을 구체적 세부 사항을 더하는 것이다. 그것은 독자에게 도움이 되고, 동시에 분류기를 물리치기도 한다.

누구도 깔끔하게 이기지 못하는 군비 경쟁

이 이야기에는 탐지가 해결되는 버전도 있다. 이런 문구 패턴을 충분히 학습한 분류기가 AI 텍스트를 높은 정확도로 표시해 주고, 모두가 다시 읽은 것을 신뢰하게 되는 버전.

그 버전에는 문제가 있다. 탐지기가 공개되는 순간, 그것은 훈련 신호가 된다. 다음 모델은 탐지기가 반응하는 모든 것을 피하도록 훈련되고, 목록은 다시 바뀐다. Graphite의 13,000개 문구는 스냅샷이지, 최종 결론이 아니다.

남는 것은 “사람이 쓴 것처럼 읽힌다”는 말의 의미가 천천히 재정의되는 일이다. 모델의 세대가 거듭될수록 일반적 역량의 하한선은 올라가고, 남아 있는 인간적 표지는 비교 속에서 조금씩 더 두드러진다. 표지는 사라지지 않는다. 점점 더 작은 몸짓으로 이동할 뿐이며, 마침내 남는 유일하게 신뢰할 수 있는 신호는 언제나 신뢰할 수 있었던 그것이다. 그 글쓰기가 독자가 모르는 무언가를 알고 있는지, 그리고 그것을 명확히 말하는지.

문구 목록은 그것을 측정할 수 없다. 지금까지는 분류기도 마찬가지다. 그것은 목록화되기를 거부하는 글쓰기의 부분이며, 결국 가장 중요해질 부분일지도 모른다.