컨텍스트 창이 남아도 품질은 먼저 무너집니다
Chroma의 Context Rot 연구는 프론티어 18개 모델 전부가 입력 길이가 길어질수록 성능이 저하됨을 보고합니다. 200K 토큰 창을 가진 모델조차 50K 지점에서 이미 정확도의 30~50%를 상실합니다. 창이 물리적으로 차기 전에 응답 품질이 먼저 붕괴한다는 뜻입니다. 남은 토큰 수를 여유로 착각하고 대화와 중간 산출물을 무한히 누적하는 설계는 명확한 안티패턴입니다.
25~30회 툴 호출 뒤 목표 이탈
장기 실행 에이전트에서는 25~30회 툴 호출을 지나면 goal drift가 관측됩니다. 초기 목표에서 벗어나고, 이미 완료한 단계를 다시 실행합니다. 누적된 실패 로그와 재시도 흔적이 프롬프트를 채우면서 최신 지시보다 과거 잡음의 가중치가 커지기 때문입니다. 축약 없이 이어 붙이기만 하는 루프는 호출 수에 비례해 이탈 확률을 높입니다.
A4 분량 상세 가이드: 기획부터 운영까지
기획 단계에서는 목표를 수치로 고정합니다. 작업 통과율 95% 이상, p95 지연 20초 이하, 작업당 툴 호출 예산 20회, 세션당 입력 토큰 상한 50K를 기준선으로 잡습니다. 이 예산은 성능이 무너지기 전 지점에서 강제 종료와 요약을 트리거하는 안전선입니다.
실패 패턴은 세 가지로 분류합니다. 첫째 목표 이탈으로, 현재 행동이 초기 목표 문장과 불일치하면 재시도가 아니라 컨텍스트 축약과 목표 재주입으로 복구합니다. 둘째 완료 단계 재실행으로, 단계별 완료 플래그를 상태로 유지해 중복 실행을 차단합니다. 셋째 예산 초과로, 툴 호출 20회 도달 시 자동 중단하고 사람 확인 분기로 넘깁니다.
복구 분기는 명시적으로 설계합니다. 일시적 오류는 최대 2회 재시도, 목표 불일치는 안전 축약으로 핵심 상태만 남기고 이력을 삭제, 판단 불가는 사람 확인 큐로, 예산·안전 위반은 즉시 중단합니다. 각 분기는 진입 조건과 종료 조건을 코드로 검증합니다.
운영 품질관리는 표준 로그로 시작합니다. 모든 호출에 세션ID, 단계명, 툴명, 토큰 수, 소요시간, 결과코드를 동일 스키마로 남기고, 로그 적재 전에 이메일·전화·주소 등 PII를 마스킹합니다. goal drift 발생률, 재실행 건수, 예산 초과율을 대시보드 지표로 집계합니다.
지속 개선 루프는 주간 단위로 돕니다. 이탈이 집중된 호출 구간을 표본 추출해 원인을 태깅하고, 축약 시점과 예산 상한을 조정합니다. 목표는 위반 0건이 아니라 복구율의 지속 상승과 재실행 건수의 하락입니다.
실행 요약
컨텍스트는 차기 전에 썩습니다. 50K 부근에서 정확도가 30~50% 무너지고 25~30회 호출 뒤 목표가 이탈하므로, 무한 누적 대신 툴 호출 20회와 입력 50K 예산, 그리고 축약·재주입·중단 분기를 기본값으로 두어야 합니다.