실무에서 배운 오픈 코딩 모델

실무에서 배운 오픈 코딩 모델

JetBrains는 10월 8일 Mellum2.1을 공개했다. 코딩 에이전트를 위해 만든 120억 파라미터 mixture-of-experts 모델이며, Apache 2.0으로 Hugging Face에서 제공된다. 이 사실만 보면 이달의 비슷한 여러 공개 중 하나일 뿐이다. 이것을 특별하게 만드는 것은 학습 방식이다.

Mellum2.1의 사후 학습은 실제 코딩 환경에서의 강화학습을 사용한다. 모의 벤치마크 하네스도, 정답이 있는 문제의 정적 데이터셋도 아니다. 모델은 현직 개발자처럼 저장소를 탐색하고, 파일을 편집하고, 자신의 변경을 확인한다.

학습 설계가 파라미터 수보다 중요한 이유

오늘날 대부분의 코딩 모델은 다음 코드 조각을 예측하도록 학습한 뒤 좋은 패치 사례로 미세조정된다. 합리적인 파이프라인이고, 자동 완성과 설명이 가능한 모델을 만든다. 하지만 빌드조차 되지 않는 저장소의 지저분한 현실에는 전혀 대비되지 않는다. 첫 번째 수정이 테스트를 깨고, 두 번째 수정이 다른 무언가를 깨는 상황 말이다.

필요한 능력은 함수를 작성하는 것이 아니다. 루프를 닫는 것이다. 가설을 세우고, 무언가를 바꾸고, 결과를 관찰하고, 수정한다. 실제 환경에서의 강화학습은 바로 그 행동에 보상을 준다. 보상이 그 변경이 실제로 통했는지에서 나오기 때문이다.

이것은 코딩 에이전트가 애초에 유용해진 것과 같은 전환이다. 코드만 쓸 수 있는 모델은 화려한 자동 완성일 뿐이다. 테스트를 실행하고, 실패를 읽고, 다시 시도할 수 있는 모델이 협업자다. Mellum2.1의 학습 데이터는 그 루프 자체다.

120억은 의도된 크기

120억 파라미터는 최전선에 비하면 작다. 바로 그게 핵심이다. 코딩 에이전트는 파일을 읽고, 명령을 실행하고, diff를 확인하는 촘촘한 루프에서 작동하므로 끊임없이 호출된다. 저렴하게 돌아가고 빠르게 응답하는 모델은 단계마다 실제 비용이 드는 모델보다 훨씬 공격적으로 쓸 수 있다.

mixture-of-experts 설계는 같은 생각을 뒷받침한다. 전체 용량이 커져도 토큰당 활성화는 적게 유지되어, 모델에서 지식을 빼앗지 않으면서 추론을 저렴하게 유지한다. 한 작업을 끝내는 데 수십 번 호출될 수 있는 도구에는 이 맞교환이 정확히 옳다.

10월 내내 하나의 패턴이 형성되고 있다. 작고, 전문화되었으며, 공개 라이선스로 풀린 모델들이 더 큰 시스템 안의 반복 작업을 맡기 위해 등장하고 있다. 여기 JetBrains, 그리고 Liquid AI의 의사결정 모델, Underdog AI의 압축된 27B 버전이 그렇다. 최전선 모델이 상한을 정하고, 작은 모델이 하한을 정한다. 그리고 토큰 대부분은 하한에서 쓰인다.

배포 전략으로서의 오픈 웨이트

JetBrains는 벤치마크 왕좌를 다투는 연구소가 아니다. 개발자 도구를 파는 회사이고, 동기는 모델을 감추는 것이 아니라 그 도구를 더 낫게 만드는 것이다. Mellum2.1을 Apache 2.0으로 공개하면 경쟁 에디터와 에이전트 하네스를 포함해 생태계 전반으로 모델이 퍼진다.

주목할 만하다. 도구 회사가 코딩 모델을 오픈소스로 내놓을 때, 그것은 가치가 가중치가 아니라 통합과 워크플로에 있다는 데 거는 베팅이다. 올해 많은 인프라 회사가 하는 것과 같은 베팅이며, 오래 가는 편인 베팅이다. 아무도 채택할 수 없는 모델은 표준이 될 수 없는 모델이다.

Apache 2.0은 채택에 특히 중요하다. 관대한 라이선스는 대기업이 새 모델을 시도할 때 발목을 잡는 법무 검토를 없애준다. 고객이 바로 그런 기업인 회사에게, 관대한 라이선스 모델을 내놓는 것은 무언가를 팔기 전에 친숙함을 심는 방법이다.

최전선 코딩 모델과의 비교

최전선 코딩 모델은 어려운 문제에 더 강하다. 이견이 없고, 당분간 바뀔 것 같지도 않다. 논쟁거리는 모든 코딩 작업에 최전선이 필요한가다. 대부분은 필요 없다. 프로젝트 전반의 함수 이름 변경, 의존성 업데이트, 기존 동작에 대한 테스트 작성. 이런 일은 흔하고 지루하며, 좋은 하네스를 갖춘 작은 모델의 손이면 충분히 닿는다.

Mellum2.1은 가장 큰 모델이 가장 잘하는 작업에서 그것들을 이기려 하지 않는다. 개발자의 하루를 채우는 작업에서 충분히 좋아지려 한다. 더 좁은 목표이고 더 오래 가는 목표다. 이길 수 없는 경쟁에서 이기는 데 의존하지 않기 때문이다.

도구 회사가 모델을 이 크기로 유지할 전략적 이유도 있다. 로컬에서 돌릴 수 있을 만큼 작은 모델은 쿼리당 요금 없이 제공할 수 있어, 개발자가 에이전트를 마음껏 쓰지 못하게 만드는 과금을 없앤다. 네트워크 왕복 없이 자체 모델을 호출할 수 있는 에디터는 그렇지 않은 에디터와 다른 제품이고, 그 차이는 사용자가 얼마나 과감하게 의지하는지로 드러난다.

실제 환경의 강화학습이 다른 이유

사례로 학습하는 것과 결과로 학습하는 것의 차이는 한 번 더 짚을 만하다. 이번 공개에서 가장 영향이 큰 세부 사항이기 때문이다. 사례로 학습한 모델은 좋은 출력이 어떤 모습인지 배운다. 결과로 학습한 모델은 어떤 행동이 좋은 결과로 이끄는지 배운다. 이는 다른, 더 어려운 능력이다.

행동은 연속이다. 테스트를 통과하는 패치는 하나의 결정이 아니라 결정의 연쇄다. 어디를 볼지, 무엇을 바꿀지, 무엇을 실행할지, 실패를 어떻게 읽을지. 실제 환경의 강화학습은 모델에 전체 연쇄에 대한 신호를 준다. 국소적으로 그럴듯한 선택이 어딘가 나쁜 곳으로 이어진다는 것을 배우는 유일한 방법이다. 정선된 문제집 대신 실제 저장소를 쓰는 직관이 여기에 있다.

이 접근은 지도 미세조정보다 비싸고 운용이 더 깨지기 쉽다. 그래서 더 많은 모델이 택하지 않는다. 또한 낯선 상황에서 더 잘 행동하는 에이전트를 낳는 편이다. 옳음을 모방하는 것이 아니라 틀린 상태에서 회복하는 것을 연습했기 때문이다.

지켜볼 것

명백한 시험은 이렇게 학습한 120억 파라미터 에이전트가 진짜 저장소 작업에서 버티는가다. 실패한 테스트를 진단하고, 패치를 제안하고, 결과를 검증하는 일이다. 만약 그렇다면 흥미로운 질문은 이렇게 된다. 좋은 하네스와 촘촘한 피드백 루프를 주면 작은 오픈 모델이 최전선 코딩 품질에 얼마나 가까워질 수 있는가.

이 질문은 어떤 단일 모델 공개보다 중요하다. 120억 파라미터 에이전트와 최전선 모델의 격차가 실제로 줄어든다면, 코딩 에이전트 시장의 상당 부분은 누가 가장 좋은 모델을 가졌는가가 아니라, 충분히 좋은 모델 주위에 누가 가장 좋은 도구를 만들었는가의 문제가 된다. Mellum2.1은 그 방향의 작고 구체적인 데이터 포인트이며, 중요한 것은 방향 자체다.