오프라인 평가만으로는 부족하다
배포 전 오프라인 평가를 통과해도, 실제 사용자 분포에서는 품질이 다르게 나타납니다. 온라인 평가는 프로덕션 트래픽을 샘플링해 실시간으로 채점함으로써, 점수가 떨어지면 무언가 바뀌었다는 신호를 즉시 줍니다. 자동 루프처럼 스스로 변하는 시스템에서는 이 실시간 신호가 특히 중요합니다.
핵심은 모든 상호작용을 사람이 검토하지 않고도 지속적으로 품질을 감시하는 것입니다.
백그라운드 심판
백그라운드 LLM 심판이 매일 세션의 일부를 비동기로 샘플링해, 오프라인에서 쓰던 것과 같은 루브릭으로 채점합니다. 이렇게 하면 지속적인 품질 대시보드가 만들어지고, 프로덕션 트레이스를 실시간으로 채점해 점수가 떨어지는 순간을 포착합니다. 오프라인과 온라인이 같은 루브릭을 쓰는 것이 일관성의 핵심입니다.
A4 분량 상세 가이드: 기획부터 운영까지
기획 단계에서는 온라인 평가 목표를 수치로 정의합니다. 예를 들어 일일 샘플링 비율, 품질 점수 이동평균의 경보 임계값, 감지부터 알림까지 지연 상한을 지표로 둡니다. 샘플링은 무작위뿐 아니라 고위험 세그먼트를 층화 표집해, 중요한 구간의 품질을 놓치지 않게 합니다. 온라인 심판은 앞서 다룬 편향 보정을 그대로 적용해, 심판 자체가 신호를 왜곡하지 않게 합니다.
실패 패턴 중 흔한 것은 전체 평균 뒤에 세그먼트 회귀가 숨는 것입니다. 평균 품질은 유지되는데 특정 사용자군이나 요청 유형에서만 급락하는 일이 잦습니다. 이를 막으려면 점수를 세그먼트별로 분해해 보고, 특정 세그먼트가 임계값을 벗어나면 경보를 발동합니다. 복구 전략으로, 온라인 점수가 급락하면 최근 변경을 후보로 지목해 롤백하고, 해당 세그먼트의 실패 사례를 오프라인 평가셋으로 편입합니다. 온라인과 오프라인 점수의 괴리가 크면 오프라인 평가셋이 현실을 반영하지 못한다는 신호입니다.
운영 체크리스트에는 채점의 재현성을 남깁니다. 어떤 세션이 언제 어떤 루브릭 버전으로 채점되었는지, 심판 버전과 함께 표준 로그로 남깁니다. 관측 항목으로는 샘플링 커버리지, 세그먼트별 점수, 온라인-오프라인 괴리, 경보 발동 빈도를 둡니다. 프로덕션 데이터를 채점에 쓸 때 개인정보 마스킹 규칙을 반드시 적용합니다.
지속 개선 루프는 주간 단위로 온라인에서만 감지된 회귀를 오프라인 평가셋으로 흡수합니다. 온라인이 자주 잡는 실패 유형은 배포 전 게이트에도 추가해, 같은 문제가 다시 배포되지 않게 합니다. 온라인 평가는 고정된 대시보드가 아니라, 새 회귀 유형을 흡수하며 오프라인 평가와 함께 진화하는 체계여야 합니다.
실행 요약
정리하면 오프라인 평가만으로는 프로덕션 품질을 보장할 수 없습니다. 백그라운드 심판으로 트래픽을 샘플링해 오프라인 루브릭으로 실시간 채점하고, 세그먼트별로 회귀를 감지하며, 온라인 실패를 오프라인 평가셋으로 흡수해야 합니다. 온라인-오프라인 괴리를 관측하면 평가셋이 현실을 계속 반영합니다.