프로덕션 트레이스는 이미 평가셋입니다
2026년 기준 조직의 89%가 에이전트 관측성을 도입했고, 62%는 스텝·툴콜 단위 상세 트레이싱을 보유합니다. 그러나 대부분은 트레이스를 사후 디버깅에만 씁니다. 위험 트레이스(툴콜 실패, 지연 초과, 사용자 이탈)를 원클릭으로 데이터셋에 담으면, 다음 배포에서 동일 입력이 같은 실패를 반복하는지 자동으로 잡는 회귀 테스트가 됩니다. 합성 데이터를 따로 만들 필요 없이 실제 분포를 그대로 회귀셋으로 승격하는 것이 핵심입니다.
LLM-as-Judge를 트레이스 위에서 실행합니다
프로덕션 트레이스 데이터셋에 오프라인·온라인 LLM-as-judge를 붙이는 방식이 표준으로 자리잡았습니다. 오프라인은 배포 전 회귀셋 전체에 판정 프롬프트를 돌려 통과율을 게이트로 삼고, 온라인은 라이브 트레이스를 샘플링해 점수를 붙입니다. 판정 기준은 정확성, 툴 사용 적절성, 지시 준수, 안전 위반의 4축으로 나누고 각 축을 0/1 또는 1~5로 고정합니다. 판정 결과 자체도 트레이스로 남겨 심판의 편향을 재검증합니다.
비용을 품질 게이트에 함께 묶습니다
LangSmith는 Fleet과 통합 비용 추적을 더하며 단순 관측 도구에서 에이전트 엔지니어링 플랫폼으로 확장했습니다. 회귀셋을 돌릴 때 통과율만 보지 않고 트레이스당 토큰·비용·p95 지연을 함께 기록하면, 품질을 올리려다 비용이 2배로 뛰는 회귀를 같은 화면에서 차단할 수 있습니다.
A4 분량 상세 가이드: 기획부터 운영까지
기획·요구 정의부터 수치로 못박습니다. 목표 지표를 회귀셋 판정 통과율 95% 이상, 안전 위반 0건, p95 지연 4초 이하, 트레이스당 비용 전분기 대비 +10% 이내로 고정합니다. 회귀셋은 위험 트레이스 200~300건으로 출발해, 승격 기준(어떤 라벨·신호를 위험으로 볼지)을 문서로 먼저 합의합니다.
실패 패턴을 미리 분류하고 복구 분기를 코드로 심습니다. 주요 유형은 툴콜 스키마 불일치, 무한 재시도, 컨텍스트 초과 절단, 심판-실측 불일치(judge는 통과라 했으나 실제 오답)입니다. 복구는 툴 실패 시 지수 백오프 재시도 최대 2회 후 사람 확인 큐로 이관, 지연 초과 시 안전 축약 응답으로 조기 반환, 저신뢰 판정은 사람 리뷰로 라우팅합니다.
중단 조건을 명시합니다. 재시도 2회 초과, 비용 상한 초과, 안전 위반 감지 중 하나라도 걸리면 즉시 중단하고 폴백 응답을 반환합니다. 무한 루프와 비용 폭주를 막는 마지막 안전판입니다.
운영 체크리스트와 품질관리는 표준 로그 스키마에서 시작합니다. trace_id, step, tool, latency_ms, tokens, cost, verdict를 고정 필드로 남깁니다. 데이터셋 승격 전 이메일·전화·주소는 PII 마스킹하고 원문은 접근권한을 분리합니다. 심판 프롬프트는 버전을 고정하고, 골든셋으로 심판 자체를 월 1회 캘리브레이션합니다.
지속 개선 루프를 주간으로 돕니다. 온라인 판정에서 저점 트레이스를 회귀셋에 편입하고, 수정 배포 후 재실행해 통과율 회복을 확인합니다. 심판-사람 일치율이 90% 미만으로 떨어지면 판정 기준을 재정의하고 골든셋을 갱신합니다.
실행 요약
위험 트레이스를 원클릭으로 회귀셋에 승격하고, 그 위에서 오프라인·온라인 LLM-as-judge를 돌려 통과율 95%·안전 위반 0건·p95 4초·비용 +10% 이내를 게이트로 지키는 운영 루프를 만드십시오. 실패 유형별 복구 분기와 중단 조건, PII 마스킹, 심판 캘리브레이션을 갖추면 품질 회귀를 배포 전에 차단할 수 있습니다.