관측은 방어가 아닙니다
대시보드에 액션 로그가 흐르는 것과, 위험한 액션을 실제로 막는 것은 다른 층위입니다. 파일럿 단계의 에이전트가 프로덕션 전환에서 실패하는 비율은 88%로 보고되며, 원인의 상당수는 강제(enforcement) 게이트 부재입니다. 통과율을 지표로 잡되, 관측치가 아니라 차단 건수와 위반 0건을 기준선으로 삼아야 합니다.
5계층 방어를 표준으로
입력 검증, 툴·액션 게이팅, 출력 검증, HITL 승인, 오프라인 evals의 다섯 층을 각각 독립된 차단 지점으로 설계합니다. 한 층을 통과해도 다음 층이 재검증하는 심층 방어(DefenseInDepth) 구조라야, 단일 프롬프트 우회로 전체가 뚫리지 않습니다. 각 층은 통과·차단·에스컬레이션의 세 결과만 반환하도록 인터페이스를 좁힙니다.
HITL은 만능이 아닙니다
사람에게 검토를 맡기면 안전하다는 가정은 위험합니다. 실측에서 인간이 나쁜 액션을 실제로 걸러내는 비율은 9~26%에 불과합니다. 승인 대기가 밀리면 검토자는 일괄 승인으로 흐르므로, HITL은 최후 방어선이 아니라 자동 게이트가 애매하다고 판정한 소수 케이스에만 라우팅해야 합니다.
A4 분량 상세 가이드: 기획부터 운영까지
기획 단계에서 목표 지표를 수치로 고정합니다. 예를 들어 자동 게이트 차단 재현율 95% 이상, HITL 라우팅 비율 전체 액션의 5% 이하, 승인 게이트 p95 지연 800ms 이하, 프로덕션 위반 0건을 릴리스 기준으로 명시합니다. EU AI Act 제14조 인적감독 의무가 2026-08-02 발효되므로, 고위험 분류 시스템은 이 날짜를 역산해 감독 지점과 로그 보존 정책을 먼저 확정합니다.
실패 패턴은 유형별로 복구 분기를 나눕니다. 툴 호출 파라미터가 스키마를 벗어나면 재시도 1회 후 차단합니다. 출력 검증에서 PII 유출이나 정책 위반이 잡히면 안전 축약 응답으로 대체하고 원본은 폐기합니다. 외부 API 타임아웃은 지수 백오프로 최대 3회 재시도하되, 금액 이체·삭제 등 비가역 액션은 재시도 없이 즉시 사람 확인으로 라우팅합니다. 동일 세션에서 차단이 3회 누적되면 세션을 중단하고 에스컬레이션합니다.
운영 체크리스트는 표준 로그부터 잡습니다. 모든 액션에 요청 ID, 게이트 판정, 판정 근거, 지연시간을 구조화 로그로 남기고, 로그 기록 전 이메일·전화·주민번호 등 PII는 마스킹합니다. 각 게이트의 차단율과 오탐율을 일 단위로 집계해, 오탐율이 5%를 넘으면 규칙을 재조정합니다. 비가역 액션 목록은 별도 관리하며 분기별로 재검토합니다.
지속 개선 루프는 evals로 닫습니다. 프로덕션에서 차단·에스컬레이션된 케이스를 회귀 셋으로 축적하고, 배포 전 오프라인 evals에서 차단 재현율이 기준선 아래로 떨어지면 배포를 막습니다. 주간 단위로 신규 우회 패턴을 셋에 반영해, 게이트가 실제 위협 분포를 따라가게 합니다.
실행 요약
관측만으로는 88% 실패를 피하지 못합니다. 입력·툴/액션·출력·HITL·evals 5계층을 독립 차단 지점으로 강제하고, HITL은 9~26%라는 낮은 적발률을 전제로 소수 케이스에만 배치합니다. 목표 지표(차단 재현율 95%, 위반 0건, p95 800ms)를 릴리스 기준으로 고정하고, 2026-08-02 제14조 발효 전에 감독 지점과 표준 로그를 확정하십시오.