종합점수가 포화되면 순위표는 선택 근거가 되지 못합니다
2026년 4월 기준 GPT-5.5, Gemini 3 Deep Think, Claude Opus 4.7, Qwen 3.5 Omni는 모두 MMMU-Pro 80%를 돌파했습니다. 한때 10점을 넘던 선두와 후위의 격차는 3점 미만으로 좁혀졌습니다. 종합점수 상단이 이렇게 뭉치면 순위표 1위를 고르는 방식은 통계적 잡음 안에서 동전을 던지는 것과 다르지 않습니다. 벤치마크 수렴 국면에서는 종합점수가 아니라 자사 태스크에 대응하는 세부 축으로 모델을 골라야 합니다.
승부축은 영상·OCR·차트로 갈라졌습니다
종합점수가 붙은 대신 세부 축의 격차는 오히려 벌어졌습니다. 영상 이해는 Gemini 3, 장문 문서 OCR은 Claude Opus 4.7, 차트·도표 해석은 GPT-5.5가 앞서는 식으로 승부처가 갈렸습니다. 따라서 "가장 좋은 모델"이라는 질문은 성립하지 않고, "이 태스크에서 통과율이 가장 높은 모델"만 유효한 질문입니다. 운영 관점에서는 자사 파이프라인의 실제 입력으로 축별 평가셋을 만드는 일이 순위표를 읽는 것보다 우선합니다.
A4 분량 상세 가이드: 기획부터 운영까지
기획 단계에서는 종합점수를 버리고 태스크 축별로 목표 지표를 수치로 고정합니다. 예를 들어 영상 요약은 장면 오인식률 2% 이하, 장문 OCR은 페이지당 문자 오류율 0.5% 이하와 p95 지연 8초 이하, 차트 판독은 수치 추출 정확도 98% 이상을 합격선으로 둡니다. 축마다 자사 실입력 200건 이상으로 골드셋을 구성하고, 후보 모델을 같은 셋에 통과시켜 축별 통과율을 비교합니다.
실패 패턴은 축마다 다릅니다. 영상에서는 긴 클립 후반부의 장면 누락, OCR에서는 표·수식 구조 붕괴, 차트에서는 축 라벨을 실제 값으로 오독하는 환각이 대표적입니다. 복구 분기를 미리 정해 둡니다. 신뢰도가 낮으면 1회 재시도하고, 재시도 후에도 수치 추출 정확도가 합격선 아래면 사람 확인 큐로 넘깁니다. 입력이 모델 컨텍스트를 넘기면 안전 축약으로 페이지를 분할해 처리하고, 분할해도 구조가 깨지면 해당 건을 중단하고 원본 링크만 반환합니다.
운영 체크리스트에는 요청마다 태스크 축, 선택 모델, 통과율, p95 지연, 재시도 횟수, 복구 분기 결과를 표준 로그로 남깁니다. OCR·영상 입력에는 개인정보가 섞이기 쉬우므로, 로그 적재 전에 얼굴·주민번호·연락처를 마스킹하고 원본은 보존 기간을 두어 파기합니다. 품질관리는 축별 통과율과 위반 건수를 대시보드로 추적하고, PII 마스킹 누락은 위반 0건을 기준으로 삼습니다.
지속 개선 루프는 주간 단위로 축별 통과율과 사람 확인 큐 유입량을 검토합니다. 특정 축의 통과율이 합격선 아래로 내려가면 해당 축만 다른 모델로 교체하고, 모델 교체는 전체가 아니라 축 단위로 진행합니다. 신모델이 출시되면 기존 골드셋에 먼저 통과시켜 축별 통과율이 현행 모델을 넘을 때만 승격하고, 넘지 못하면 보류합니다.
실행 요약
정리하면 MMMU-Pro 80% 돌파와 3점 미만 격차 이후 종합점수는 선택 근거가 되지 못합니다. 영상·장문 OCR·차트처럼 자사 태스크에 대응하는 축을 정하고, 축마다 통과율·p95 지연 같은 목표 지표를 수치로 고정한 뒤 실입력 골드셋으로 후보를 비교하십시오. 실패는 재시도·사람 확인·안전 축약·중단으로 분기하고, 표준 로그와 PII 마스킹 위반 0건을 유지하며, 모델 교체는 전체가 아니라 축 단위로 하는 것이 벤치마크 수렴 국면의 평가 설계입니다.