한 번에 자율로 갈 수 없다
자동 연구 루프와 자기개선 환경은 처음부터 완전 자율로 만들 수 없습니다. 검증과 복구 체계가 갖춰지기 전에 자동화 수준을 높이면, 개선보다 사고가 빠르게 배포됩니다. 그래서 성숙도를 단계로 나누고, 각 단계의 전제 조건이 충족될 때만 다음으로 올라가야 합니다.
이 시리즈에서 다룬 수집, 검증, 게이트, 관측성, 복구는 모두 특정 성숙도 단계의 전제 조건입니다.
성숙도 단계 개요
L0은 완전 수동, L1은 사람이 실행하는 반복 작업의 자동화, L2는 자동 조사와 사람 검증, L3은 자동 검증과 게이트 통과 배포, L4는 자동 자기개선과 관측 기반 정지, L5는 제한된 자율 운영입니다. 각 단계는 앞 단계의 안전 장치를 전제로 하며, 건너뛰면 회귀합니다.
A4 분량 상세 가이드: 기획부터 운영까지
기획 단계에서는 각 성숙도 전환의 전제 조건을 수치로 정의합니다. 예를 들어 L2에서 L3으로 가려면 자동 검증 정확도 90% 이상, 롤백 성공률 99% 이상, 게이트 오통과율 1% 이하를 먼저 달성해야 합니다. 전제 조건 없이 단계를 올리는 것이 가장 흔한 실패입니다. 성숙도는 자랑이 아니라 위험 관리 도구이므로, 낮은 단계에서 안정적으로 운영하는 것이 무리한 자율보다 낫습니다.
실패 패턴 중 위험한 것은 단계 건너뛰기입니다. 관측성과 복구가 없는 상태에서 자동 자기개선을 켜면, 문제를 감지하지도 되돌리지도 못한 채 오류가 누적됩니다. 이를 막으려면 각 단계 진입 시 앞 단계 안전 장치의 작동을 실제로 검증하고, 전제 지표가 무너지면 자동으로 한 단계 낮춰 운영하는 강등 규칙을 둡니다. 복구 전략으로, 상위 단계에서 사고가 반복되면 즉시 하위 단계로 내려가 안정화한 뒤 전제 조건을 다시 채웁니다.
운영 체크리스트에는 현재 성숙도와 전제 지표를 상시 노출합니다. 각 단계의 전제 충족 여부, 최근 강등 이력, 단계별 사고율을 표준 필드로 기록합니다. 관측 항목으로는 단계 유지 기간, 전제 지표 마진, 강등 빈도, 단계별 개선 대비 사고 비율을 둡니다. 단계 판정에 쓰는 데이터에 개인정보가 포함되지 않도록 마스킹 규칙도 유지합니다.
지속 개선 루프는 분기 단위로 각 단계의 전제 조건이 여전히 유효한지 재검토합니다. 트래픽과 위험이 변하면 전제 지표의 기준값도 조정해야 합니다. 성숙도 모델은 한 번 오르면 끝나는 사다리가 아니라, 상황에 따라 오르내리며 안전을 유지하는 운영 프레임입니다.
실행 요약
정리하면 자동 연구 루프는 단계적으로 성숙해야 합니다. L0에서 L5까지 각 단계의 전제 조건을 수치로 정의하고, 앞 단계 안전 장치를 검증한 뒤 올라가며, 전제가 무너지면 강등해야 합니다. 이 시리즈의 수집·검증·게이트·관측성·복구를 갖추면 무리한 자율 없이 안전하게 성숙도를 높일 수 있습니다.