왜 소형 모델 라우팅인가
에이전트 워크로드의 대부분은 분류, 추출, 형식 변환, 짧은 요약처럼 좁고 반복적인 태스크입니다. 태스크마다 프런티어 모델을 호출하면 비용과 지연이 낭비됩니다. 7B급 SLM 서빙은 70~175B LLM 대비 대략 10~30배 저렴합니다. 태스크를 난도로 분류해 대부분은 태스크 특화 SLM으로 처리하고, 판단이 어려운 소수만 프런티어로 에스컬레이션하는 것이 원칙입니다.
범용성보다 태스크 적합성
특정 도메인에 파인튜닝한 소형 모델은 범용 대형 모델을 앞서기도 합니다. 실제로 특정 도메인에서 2.6B 모델이 671B DeepSeek-R1을 능가했다는 보고가 있습니다. 가장 똑똑한 모델이 아니라 이 태스크에 충분한 가장 싼 모델을 고르는 것이 핵심입니다. 2026년은 흔히 효율의 해로 불리며, 0.5~14B급 SLM이 엣지 에이전트의 기본값으로 자리잡고 있습니다. 다만 소형 모델은 분포 밖 입력에서 환각이 늘어나므로 명확히 정의된 태스크로 한정해야 합니다.
A4 분량 상세 가이드: 기획부터 운영까지
기획 단계에서는 목표 지표를 수치로 고정합니다. 라우팅 정확도 95% 이상, SLM 1차 처리로 종결되는 통과율 80% 이상, 프런티어 에스컬레이션 20% 이하를 둡니다. 지연은 온디바이스 경로 p95 400ms 이하, 프런티어 경로 p95 2초 이하로 나눠 정의하고, 비용은 도입 전 전량 프런티어 대비 절감률로 추적합니다.
실패 패턴은 세 가지입니다. 소형 모델이 분포 밖 입력에서 그럴듯한 오답을 내는 환각, 파인튜닝 도메인을 벗어난 질문에서 지시를 이탈하는 범용성 저하, 라우터가 난도를 과소평가해 어려운 태스크를 SLM에 잘못 배정하는 오라우팅입니다. 이를 잡으려면 SLM 출력에 신뢰도·스키마 검증을 붙이고, 검증에 실패한 응답은 채택하지 않습니다.
복구는 분기로 설계합니다. 스키마 검증 실패나 신뢰도 미달이면 1회 재시도하고, 재시도도 실패하면 프런티어로 에스컬레이션합니다. 프런티어 응답도 검증을 통과하지 못하면 사람 확인 큐로 넘깁니다. 결제·개인정보 변경 같은 고위험 태스크는 SLM 단독 종결을 금지하고 항상 사람이 확인합니다. 연속 에스컬레이션율이 기준선의 2배를 넘거나 검증 위반이 급증하면 해당 SLM 경로를 자동 차단하고 전량 프런티어로 폴백하는 중단 조건도 명시합니다.
운영에서는 표준 로그를 남깁니다. 요청별로 경로·모델·버전·신뢰도·검증 결과·지연·비용을 한 스키마로 기록하고, 로그와 학습 데이터에는 PII 마스킹을 적용해 개인정보가 원문으로 남지 않게 합니다. 품질관리로는 태스크별 정답 통과율, 환각 위반 건수(목표 0건), 오라우팅율을 주기적으로 계측합니다.
지속 개선 루프는 주간 단위로 돌립니다. 프런티어로 에스컬레이션된 사례를 SLM 파인튜닝 데이터로 환류시키고, 오라우팅이 잦은 태스크 유형은 라우터 규칙과 임계값을 조정하고, 반대로 늘 쉽게 풀리는 태스크는 더 작은 모델로 강등합니다. 라우팅 경계는 고정값이 아니라 실제 통과율과 위반 데이터로 계속 조정하는 체계여야 합니다.
실행 요약
대부분의 좁은 태스크를 태스크 특화 SLM으로 처리하고 소수 난제만 프런티어로 올리면 7B 기준 10~30배의 서빙 비용 차이를 실제 절감으로 바꿉니다. 환각·범용성 저하·오라우팅은 검증과 재시도·사람 확인·안전 폴백 분기로 막고, 통과율 80%·에스컬레이션 20% 이하 같은 목표 지표를 표준 로그로 계측하며 라우팅 경계를 계속 조정하는 것이 핵심입니다.