컨텍스트 로트와 컨텍스트 예산
컨텍스트 윈도가 커졌다고 무한정 채워도 되는 것은 아닙니다. 토큰이 늘수록 모델이 관련 정보를 놓치는 컨텍스트 로트(context rot)가 나타나, 긴 입력일수록 정확도가 떨어집니다. 그래서 프롬프트를 길게 쓰는 대신, 매 호출에 들어가는 토큰을 예산으로 관리하는 컨텍스트 엔지니어링이 표준이 되었습니다. 시스템 프롬프트는 2000토큰 이내로 유지하고, 나머지 예산을 도구 정의와 검색 결과에 배분하는 원칙이 실무 기준으로 자리 잡았습니다.
write·select·compress·isolate 4기법
컨텍스트 예산을 지키는 네 가지 기법이 있습니다. write는 스크래치패드·메모리에 상태를 밖으로 기록해 윈도를 비웁니다. select는 매 턴 필요한 것만 검색해 불러옵니다. compress는 긴 이력을 요약해 토큰을 줄입니다. isolate는 서브에이전트로 컨텍스트를 분리해 서로 오염시키지 않게 합니다. 프롬프트 문구를 다듬는 것보다, 무엇을 넣고 무엇을 뺄지를 이 네 기법으로 규율화하는 편이 재현성이 높습니다.
진화하는 문서로서의 컨텍스트: ACE
ICLR 2026에 제출된 ACE(Agentic Context Engineering)는 컨텍스트를 고정된 프롬프트가 아니라 계속 진화하는 문서로 취급합니다. 실행 경험에서 얻은 전략을 문서에 축적·갱신하는 이 방식은 코딩 벤치마크에서 +10.6%, 금융 추론에서 +8.6%의 향상을 보고했습니다. 프롬프트 엔지니어링이 한 번 잘 쓰는 일이었다면, 컨텍스트 엔지니어링은 무엇을 남기고 버릴지를 계속 관리하는 운영 규율입니다.
A4 분량 상세 가이드: 기획부터 운영까지
기획 단계에서는 컨텍스트 예산을 수치로 못박습니다. 예를 들어 호출당 총 입력 8000토큰, 시스템 프롬프트 2000토큰 이내, 검색 결과 상위 5건, 대화 이력 요약 800토큰을 상한으로 둡니다. 목표 지표로는 예산 초과 위반 0건, 과제 통과율 90% 이상, p95 지연 4초 이내를 설정하고, 매 배포마다 이 지표를 회귀 없이 유지하는지 확인합니다.
실패 패턴의 대표는 컨텍스트 오염입니다. select가 관련 없는 문서를 끌어오면 정확도가 떨어지고, compress가 과하게 요약하면 핵심 사실이 사라집니다. 복구 분기를 명시합니다. 검색 신뢰도가 임계값 미만이면 재시도하고, 요약 후 핵심 항목이 누락되면 원문 일부를 복원하는 안전 축약으로 되돌립니다. 두 번 재시도해도 예산 안에서 답을 못 만들면 자동 진행을 멈추고 사람 확인으로 넘깁니다.
운영 체크리스트에는 표준 로그를 남깁니다. 호출마다 투입 토큰 수, 예산 대비 사용률, 선택된 문서 ID, 압축 전후 토큰, 서브에이전트 분리 여부를 기록합니다. 로그에 개인정보가 섞이지 않도록 PII 마스킹을 적용하고, 마스킹 위반은 배포 게이트에서 차단합니다. 예산을 넘긴 호출은 별도 태그로 모아 원인을 추적합니다.
지속 개선 루프는 주간 단위로 어떤 문서가 자주 선택되고도 답에 기여하지 못했는지, 어떤 요약이 사실을 잃었는지 분석합니다. 기여도 낮은 소스는 select 대상에서 내리고, 사실 손실이 잦은 구간은 compress 강도를 낮춥니다. 컨텍스트 구성은 고정값이 아니라 통과율과 위반 건수를 보며 계속 조정하는 대상입니다.
실행 요약
정리하면 컨텍스트는 길게 쓰는 것이 아니라 예산으로 관리하는 것입니다. write·select·compress·isolate로 무엇을 넣고 뺄지를 규율화하고, 시스템 프롬프트는 2000토큰 이내로 유지하며, ACE처럼 컨텍스트를 진화하는 문서로 다루면 코딩 +10.6%·금융 추론 +8.6% 같은 향상을 노릴 수 있습니다. 예산 위반 0건과 통과율 90% 같은 지표로 회귀를 막는 것이, 프롬프트 엔지니어링을 대체한 규율입니다.