실패 예측과 협업 가치 예측은 다른 문제다
아르곤 국립연구소가 검증한 비용 인지형 프로토콜 라우팅 연구는 경시대회 수학 문제 4,181개(Omni-MATH 2)를 같은 gpt-oss-120b 솔버로 직접 풀이(Baseline)·반복 자기수정(Single)·계획자-실행자-검토자 협업(PER)·다중 에이전트 토의(Broadcast) 네 프로토콜에 전부 태워 매칭 평가를 구성했습니다. 같은 확신도 점수를 표적만 바꿔 적용하면 Baseline 실패 예측 AUROC는 0.8847·AUPRC는 0.8950으로 높지만, PER가 첫 성공을 낼지 예측하는 AUPRC는 0.1674로 급락합니다. 확신도가 "틀릴 것 같다"는 신호는 잘 잡아내도 "그중 어디까지 협업해야 값어치가 나오는가"는 훨씬 약하게 잡아낸다는 뜻입니다.
이 구분을 무시하면 이스컬레이션 게이트를 하나의 임계값으로 설계하는 실수가 생깁니다. 실무에서는 흔히 확신도 점수 하나로 재검토 여부와 얼마나 비싼 협업까지 갈지를 동시에 정하려 드는데, 두 판단의 예측 난이도 차이가 이미 다섯 배 넘게 벌어져 있다는 사실부터 인정해야 게이트 설계가 시작됩니다.
프로토콜 4단은 비용이 다른 사다리다
held-out 423문제 기준으로 Baseline은 18.2K 토큰에 56.3% 솔브율, 난이도 휴리스틱인 Tier-majority는 28.9K에 65.0%, 프론즌 LLM 라우터는 71.3K에 73.8%를 기록했습니다. 반면 자기확신도 게이트는 45.0K 토큰만으로 78.0% 솔브율을 냈고, 프론즌 라우터보다 비용이 3분의 2 가까이 낮으면서 솔브율은 오히려 높습니다. 사후 오라클(상한)은 101.1K 토큰으로 92.4%에 도달해, 게이트와 오라클 사이에는 여전히 14.4%p 격차가 남습니다.
이 격차는 held-out 라우터 6개 평가 설정 전반에서 18.5~28.9%p로 좁혀지지 않았습니다. 지금 수준의 이스컬레이션 판단력으로는 PER·Broadcast 같은 고비용 협업 프로토콜의 자동 승급을 전면 위임하기엔 이른 셈입니다.
설계에서 운영까지: 협업 프로토콜 승급 게이트 체크리스트
기획 단계에서는 이진 게이트와 다단 게이트를 분리해 목표 지표를 따로 잡습니다. 1단(Baseline↔Single) 게이트는 토큰 예산 45K 안팎, 솔브율 하락 폭 오라클 대비 15%p 이내를 출발 기준으로 두고, PER·Broadcast로의 2단 승급은 자동 임계값이 아니라 표본 A/B나 사람 검토를 거치는 승인 절차로 분리합니다. 두 판단을 같은 임계값 하나로 묶으면 AUPRC 0.10대의 약한 신호가 고비용 결정까지 떠맡게 됩니다.
실패 패턴은 방향성이 갈린다는 데서 드러납니다. 보수적인 Tier-majority 정책은 과소에스컬레이션 27.4%·과다에스컬레이션 12.5%인 반면, 프론즌 LLM 라우터는 과소에스컬레이션을 18.0%로 낮추는 대신 과다에스컬레이션이 33.3%까지 뜁니다. 솔브율이 더 높은 Llama·Gemma 계열 프론즌 라우터는 과소에스컬레이션을 6~11%까지 낮추지만 과다에스컬레이션이 63~71%에 달해, 더 똑똑한 라우터가 곧 더 저렴한 라우터는 아니라는 점이 드러납니다.
복구 전략은 두 오류율을 따로 계측하는 데서 출발합니다. 과소에스컬레이션이 늘면 해결 가능한 문제를 Baseline에 묶어 둔 것이므로 임계값을 낮추고, 과다에스컬레이션이 늘면 불필요한 고비용 협업이 새는 것이므로 임계값을 올리거나 2단 승급에 사람 검토를 강제합니다.
운영 체크리스트에는 배포 전 시나리오 테스트로 Baseline이 실제로 옳은 문제, PER가 아니면 못 푸는 문제, Broadcast까지 가야 하는 문제 세 유형을 섞어 게이트 통과율을 확인하는 항목을 넣습니다. 로그에는 확신도 점수, 게이트 통과 단계(Baseline/Single/PER/Broadcast), 정답 여부, 소모 토큰, 오라클 대비 초과 토큰을 표준 필드로 남기고, 민감한 문제 맥락은 저장 전 마스킹해 감사 목적의 최소 인원만 접근하게 합니다.
오라클 갭(현재 18.5~28.9%p)은 주 단위로 추적해 임계값 재조정의 트리거로 삼습니다. 과소·과다에스컬레이션 비율이 특정 주에 급변하면 입력 분포가 바뀌었다는 신호로 보고 재보정 작업을 별도 변경 로그로 남기며, 토큰 비용과 함께 지연시간·API 비용도 같은 대시보드에 올려야 실제 배포 판단에 쓸 수 있습니다.
실행 요약
확신도 점수는 실패 여부를 잡아내는 데는 강하지만(AUROC 0.88), 어떤 협업 프로토콜까지 값어치가 있는지 고르는 데는 약합니다(AUPRC 0.10대). 이 격차를 인정하고 1단 이진 게이트(45.0K 토큰, 78.0% 솔브율)와 2단 고비용 승급(사람 검토·A/B)을 분리해 설계하면, 오라클과 여전히 14.4%p 이상 벌어진 판단력의 공백을 안전하게 메울 수 있습니다.
참고 링크
LLMs Can Predict Failure Risk, But Struggle to Predict Which Collaboration Protocol Pays Off — arXiv
실패는 맞혀도 어떤 협업까지 갈지는 못 맞힌다: 비용 인지형 프로토콜 라우팅 리뷰 — sunny34.com 리서치