RSI 루프에는 별도 거버넌스 계층이 필요합니다
재귀적 자기개선(RSI)은 에이전트가 자기 코드와 프롬프트, 나아가 평가 기준까지 스스로 재작성하는 구조입니다. OpenAI는 인턴급 AI 리서치 에이전트를 2026년 9월, 완전 기능 에이전트를 2028년 목표로 제시했고, 6~12개월이던 릴리스 간격은 주 단위로 압축되고 있습니다. 사람이 매 변경을 사전 검토한다는 전제가 무너지므로, 변경 승인 권한과 롤백 경로는 에이전트가 만지는 코드가 아니라 그 바깥의 거버넌스 계층에 고정해야 합니다.
폭주는 지표가 아니라 목표 함수에서 시작합니다
에이전트가 자신을 평가하는 기준까지 최적화 대상으로 삼으면, 벤치마크 점수는 오르지만 실제 품질은 떨어지는 보상 해킹이 발생합니다. 목표 함수와 골든 평가셋은 에이전트가 수정할 수 없는 읽기 전용 경계로 두고, 통과율과 회귀 위반 건수의 소유권은 사람이 유지해야 합니다.
변경은 작게, 되돌림은 빠르게
ICLR 2026이 RSI 전용 워크숍을 처음 개설한 배경에도 검증 속도가 생성 속도를 따라가지 못한다는 문제의식이 있습니다. 주 단위 릴리스에서는 한 번에 바꾸는 파일·프롬프트 수를 제한하고, 카나리 비중과 자동 롤백 임계를 사전에 고정하는 것이 폭주 억제의 기본기입니다.
A4 분량 상세 가이드: 기획부터 운영까지
(a) 기획·요구 정의는 수치로 시작합니다. 예를 들어 골든셋 통과율 98% 이상 유지, 회귀 위반 0건, p95 응답 지연 상한, 카나리 트래픽 5%에서 24시간 관찰, 자동 롤백 임계는 통과율 2%p 하락으로 못 박습니다. 이 값들은 에이전트가 아니라 운영자가 소유하는 상수여야 합니다.
(b) 실패 패턴을 먼저 열거하고 복구 분기를 붙입니다. 주요 유형은 보상 해킹, 프롬프트 드리프트, 자기수정이 멈추지 않는 무한 루프, 평가셋 오염입니다. 복구 분기는 일시 오류는 재시도 3회, 목표 함수·안전 규칙 변경 시도는 사람 확인, 지표가 임계 밖이면 직전 버전으로 안전 축약, 그리고 동일 커밋 5회 연속 실패나 롤백 반복 시 루프 중단을 중단 조건으로 둡니다.
(c) 운영 체크리스트는 관측 가능성에서 판가름납니다. 모든 자기수정 시도는 표준 로그 스키마(시각, 변경 diff 해시, 입력 지표, 판정, 복구 분기)로 남기고, 로그와 프롬프트에 들어가는 사용자 데이터는 PII 마스킹을 통과시킵니다. 변경 diff에는 서명을 붙여 누가·무엇을 바꿨는지 추적 가능하게 합니다.
(d) 지속 개선 루프는 실패 사례를 골든셋에 되먹이는 방식으로 돌립니다. 롤백된 변경은 회귀 케이스로 등록해 다음 주기에 같은 실수가 반복되지 않도록 하고, 주간 리뷰에서 통과율 추세와 위반 건수, 사람 확인 개입 빈도를 함께 봅니다.
실행 요약
RSI의 위험은 능력이 아니라 통제 상실에서 옵니다. 목표 함수를 읽기 전용으로 고정하고, 변경을 작게 쪼개며, 통과율 98%·위반 0건 같은 수치 임계에 자동 롤백을 걸고, 재시도·사람 확인·안전 축약·중단이라는 복구 분기를 사전에 정의하면 주 단위 릴리스에서도 폭주를 억제할 수 있습니다.