← 블로그로
Ai약 11 분 읽기

가중치는 얼려둔 채 배선만 자동으로 다시 쓰는 Harness²

게시일 2026년 11월 11일
가중치는 얼려둔 채 배선만 자동으로 다시 쓰는 Harness²

요즘 쓰는 말로 하네스는 모델이 움직이게 하는 주변 전부를 뜻한다. 시스템 프롬프트, 도구, 메모리, 스킬, 오케스트레이션. 2년 동안 에이전트를 좋게 만드는 방법은 모델을 좋게 만드는 것이었다. Harness²는 다른 질문을 던진다. 가중치는 그대로 두고, 비계를 작업마다 자동으로 다시 쓴다면 어떨까.

구글 리서치가 10월에 논문을 공개했고(arXiv 2610.14224) 코드를 Apache-2.0으로 오픈소스화했다. 저장소는 약 2만2000개의 스타. 주장은 반박할 수 있을 만큼 구체적이다. 재귀를 한 단계 넣으면 GLM-5와 Gemini 3.5 Flash가 기본 하네스를 앞서고, WorkBuddy-Bench에서 최대 11.5점, JobBench에서 4.5점, LAB의 부분 통과율에서 11.8점포인트 좋아진다.

파인튜닝은 없다. 새 모델도 없다. 가중치는 내내 얼어 있다.

바꿀 수 있는 여덟 가지

프레임워크가 노출하는 편집 가능 컴포넌트는 정확히 여덟 개이고, 그 목록이 저자가 생각하는 하네스의 가장 명료한 정의다.

시스템 프롬프트, 가드레일, 메모리, 도구 가이던스, 서브에이전트, 스킬, 스크립트, 플러그인.

넷은 맥락을 만든다. 둘은 도구 인터페이스를 정의한다. 하나는 위임한 작업을 조율한다. 하나는 미들웨어를 제어한다. 에이전트를 만들면서 노력의 절반이 이 여덟 가지로 새고 모델에는 하나도 안 갔다고 느낀 적이 있다면, 이 저장소는 그 일의 형식화다.

여덟 항목 목록은 경계로도 기능한다. Harness²는 모델을 바꿀 수 없고, 재학습할 수 없고, 가중치에 손대지 않는다. 하는 일은 전부 텍스트다. 지시를 다시 쓰고, 스킬을 넣고 빼고, 서브에이전트 설명을 바꾸고, 어떤 스크립트를 부를지 바꾼다.

라벨이 붙은 공구 윤곽이 늘어선 작업장 벽. 대부분은 비어 있고 몇 개에만 공구가 꽂혀 있으며, 아래에는 체크리스트를 집은 클립보드가 걸려 있다

라벨 없이 어떻게 나아지나

받아들이는 데 시간이 걸린 부분이다. 안 될 것처럼 들린다.

작업 수준 루프는 Propose–Probe–Compose라고 불리고, 대조적이라고 설명된다. 하네스 편집기가 두 종류의 편집을 제안한다. 불변 편집과 도메인 편집이다. 후보 하네스가 같은 작업에서 실행된다. 이어서 컴포저가 실행 사이의 행동 차이를 보고, 거기서 다듬어진 하네스를 조립한다.

빠진 것이 무엇인지 보라. 정답 피드백이다. 보상 모델도, 사람 라벨도, “이 답이 맞았다”는 신호도 없다. 시스템은 자기 실행을 비교하며 어떤 행동이 다른지 묻고, 원하는 행동을 낸 하네스를 남긴다.

이게 되는 이유는 에이전트 실패 대부분이 라벨 없이도 보이기 때문이다. 도구를 잘못된 인자로 불렀다. 같은 파일에서 세 번 돌았다. 요약은 썼지만 문서를 한 번도 열지 않았다. 궤적이 망가진 건 정답을 몰라도 보인다. 대조 비교만으로 그걸 드러낼 수 있고, 망가진 궤적을 더 이상 내지 않는 하네스는 벤치마크가 재는 무엇이든 점수가 좋아진다.

두 번째 루프가 이걸 요령이 아니라 시스템으로 만든다. 지속적인 개선 하네스가 채택된 하네스와 각 작업에서 근거가 붙은 교훈을 쌓고, 다음 다듬기를 이끈다. 다시 말해 잘하는 것에 능숙해진다. 그리고 좋아지는 것은 모델이 아니다.

벤치마크 결과와 읽는 법

벤치마크는 셋. 전문 업무의 JobBench, 법률의 LAB, 오피스와 웹과 코드의 WorkBuddy-Bench. 모델–하네스 조합 넷. 재귀 한 단계.

11.5점, 4.5점, 11.8점포인트는 텍스트만 바꾸는 방법으로는 큰 폭이다. 흔한 에이전트 벤치마크 주장보다 믿을 만하게 만드는 점이 둘 있다.

첫째, 베이스라인이 맨 모델이 아니라 실제 하네스다. 비교 대상이 OpenCode와 Codex이고, 둘 다 유능한 비계다. 유능한 비계를 오피스 작업 벤치마크에서 11점 이기는 것은 chat completions 호출을 이기는 것과 다르다.

둘째, 논문은 작업 수준 재귀 예산을 늘리면 추가 이득이 온다고 보고한다. k=1에서만 통하는 방법은 대개 운 좋은 프롬프트 요령이다. 예산에 따라 커지는 방법은 탐색을 하고 있고, 탐색은 대개 진짜다.

절대 수치를 믿기 전에 알고 싶은 것은, 같은 영역의 다른 벤치마크에서 이득이 얼마나 남는지, 그리고 얼마만큼이 하네스가 벤치마크의 채점 기준을 찾아낸 것인지다. 저자에 대한 비판이 아니다. 2026년 모든 에이전트 벤치마크에 따라붙는 문제다.

평가 무결성 경고가 README에 있다

“Web access” 항목에서 README는 바꿔 말하지 말고 그대로 인용할 만한 것을 적는다. 실행기의 네트워크 접근은 제한이 없고, Codex는 샌드박스를 끈 채 돌며, 공개 벤치마크의 채점 기준이 온라인에서 접근 가능할 수 있다. 평가 전에 벤치마크 정답과 채점 기준에 접근하지 못하도록 네트워크 제한을 설정하라.

훌륭하게 직접적인 경고이고, 동시에 분야 전체에 대한 고백이다. 에이전트에 무제한 인터넷이 있고 벤치마크에 공개 채점 기준이 있다면, 측정된 개선의 일정 부분은 에이전트가 정답을 찾은 몫이다. 저자들은 그걸 짚고 완화책을 제시한다. 대부분의 릴리스는 그러지 않는다.

여기서는 평소보다 중요하다. 하네스 최적화는 곧 점수를 올리는 것을 찾는 과정이기 때문이다. 그 과정에 인터넷 연결과 공개 채점 기준을 주면 아주 효율적인 채점 기준 탐색기가 만들어진다.

에이전트를 만드는 사람에게 무엇이 바뀌나

방법이 버틴다면 실무적 전환이 셋이다.

하네스가 버전 관리하는 산출물이 된다. 지금 에이전트의 행동은 프롬프트 파일과 도구 목록, 몇 개의 스킬에 살고, 누군가 프롬프트를 고치면 바뀐다. Harness²는 작업마다 채택된 하네스를 runs/ 아래에 저장하고 회고 노트를 붙인다. 4,000토큰짜리 시스템 프롬프트의 diff보다 훨씬 나은 검토 단위다.

작업별 특화가 싸진다. 전제는 하네스가 눈앞의 작업에 맞춰져야 하고, 하나의 전역 설정으로 출하할 물건이 아니라는 것이다. 재귀 한 단계가 감당할 만하다면(파인튜닝에 비하면 그렇다), “법률 하네스와 오피스 하네스가 있다”는 아키텍처 결정이 아니라 런타임 결정이 된다.

모델의 직무 기술서가 좁아진다. 11점이 비계에서 온다면, 에이전트 벤치마크에서 사람들이 “모델 능력”이라 부르는 것의 상당 부분은 사실 하네스 품질이고, 리더보드는 잘못된 대상을 재고 있다. 기반 모델이 제품인 사람에게는 불편한 결론이고, 워크플로가 제품인 사람에게는 해방적인 결론이다.

정직한 한계

Harness²는 벤치마크에 맞춰 최적화한다. 당신이 무엇을 원하는지는 모른다. 벤치마크가 사용자의 대리로서 부실하다면(그리고 늘 조금은 그렇다), 재귀는 자신 있게 대리를 최적화하고, 당신은 시험에는 강하지만 일에는 강하지 않은 에이전트를 얻는다.

그건 논문의 결함이 아니다. 지금 이 분야 전체의 모양이다. 에이전트를 재는 일은 아주 잘하게 됐고, 실제로 무엇을 해주길 원하는지 특정하는 일은 별로 나아지지 않았다. 이 릴리스의 흥미로운 점은 두 번째 문제를 무시할 수 없게 만든다는 것이다. 하네스가 탐색할 수 있는 변수가 되는 순간, “하네스는 무엇에 맞춰 최적화해야 하나”는 철학 질문이 아니라 유일하게 남은 질문이 된다.

관련 글