평가셋이 개선의 방향을 정한다
자기개선 루프는 평가셋 점수를 높이는 방향으로 움직입니다. 그래서 평가셋이 곧 개선의 목표 함수입니다. 평가셋이 실제 사용 분포를 반영하지 못하면, 루프는 현실에서 쓸모없는 방향으로 열심히 최적화됩니다.
핵심 위험은 과적합과 데이터 누수입니다. 개선이 반복되면서 에이전트가 평가셋의 특성만 외우게 되면 점수는 오르지만 실제 품질은 정체하거나 나빠집니다.
세 종류의 평가셋
골든셋은 사람이 정답과 기준을 확정한 소수의 핵심 사례로, 절대 변하지 않는 품질 기준선입니다. 고정셋은 회귀 검증용으로 유지되며, 회전셋은 최근 실제 사례를 주기적으로 주입해 과적합을 감지합니다. 개선안은 세 셋에서 동시에 나빠지지 않을 때만 승격합니다.
A4 분량 상세 가이드: 기획부터 운영까지
기획 단계에서는 각 셋의 크기와 승격 조건을 수치로 정합니다. 예를 들어 골든셋 위반 0건, 고정셋 점수 2% 이상 향상, 회전셋 점수 하락 1% 이내를 동시에 만족해야 승격하도록 규칙을 세웁니다. 평가셋은 난이도와 유형이 골고루 섞여야 하며, 쉬운 사례만 많으면 점수가 올라도 어려운 실패를 놓칩니다. 그래서 실패 로그에서 어려운 사례를 우선 편입하는 규칙이 필요합니다.
가장 흔한 실패는 데이터 누수입니다. 개선 에이전트가 평가셋 정답을 프롬프트나 메모리로 간접 참조하면 점수는 오르지만 그것은 학습이 아니라 컨닝입니다. 이를 막으려면 평가셋과 개선에 쓰는 데이터를 물리적으로 분리하고, 회전셋은 개선 에이전트가 접근할 수 없는 경로로만 주입해야 합니다. 복구 전략으로, 특정 개선 이후 고정셋은 좋아졌는데 회전셋만 급락하면 과적합으로 판단해 즉시 롤백합니다.
운영 체크리스트에는 평가셋의 버전 관리를 포함합니다. 어떤 사례가 언제 편입·폐기되었는지, 각 개선이 어떤 평가셋 버전으로 검증되었는지를 표준 로그로 남깁니다. 평가셋에 개인정보가 포함되지 않도록 마스킹하고, 민감 사례는 별도 접근 통제로 관리합니다. 관측 항목으로는 셋별 점수, 회전셋 신규 사례 비율, 셋 간 점수 괴리를 기록합니다.
지속 개선 루프는 주간 단위로 회전셋에서만 실패한 사례를 골든셋 후보로 검토합니다. 반복되는 실패 유형은 새로운 품질 기준으로 승격해 골든셋을 확장합니다. 평가셋은 한 번 만들고 고정하는 자산이 아니라, 실패를 흡수하며 계속 진화하는 기준 문서여야 합니다.
실행 요약
정리하면 자기개선의 방향은 평가셋이 정합니다. 골든셋으로 기준을 고정하고, 고정셋과 회전셋을 분리해 과적합을 감지하며, 평가 데이터 누수를 물리적으로 차단해야 합니다. 셋별 점수 괴리를 관측하고 회전셋 실패를 골든셋으로 흡수하면 평가셋이 현실을 계속 반영합니다.