불가능성 결과가 바꾸는 전제
Abdelnabi와 Bagdasarian이 2026년 5월 17일 공개한 arXiv 2605.17634는 프롬프트 인젝션을 언젠가 패치될 버그가 아니라 구조적 한계로 재정의합니다. 논문은 맥락 무결성(Contextual Integrity) 관점에서 불가능성 결과를 제시하는데, 요지는 이렇습니다. 공격자는 차단되어야 할 정보 흐름이 정당해 보이는 맥락을 언제든 구성할 수 있고, 방어자는 그 맥락이 진짜인지 위장인지 원리적으로 완전히 구별할 수 없습니다. 따라서 방어의 목표는 성공률 0%가 아니라, 인젝션이 일부 통과하더라도 피해가 번지지 못하게 하는 blast radius 제한으로 옮겨가야 합니다.
데이터-지시 분리가 놓치는 것
지금까지 주류 방어는 신뢰할 수 없는 데이터와 시스템 지시를 구분하는 데이터-지시 분리였습니다. 논문은 이 접근이 두 방향에서 부족하다고 지적합니다. 하나는 맥락 조작형 공격을 놓친다는 점이고, 다른 하나는 정당한 데이터까지 지시로 오인해 정상 동작을 저해한다는 점입니다. 공격이 규범 위반이 아니라 규범 재정의의 형태를 띠면, 입력을 데이터로 표시하는 태그만으로는 걸러지지 않습니다.
세 가지 공격 범주와 Agentic 리스크의 폭
논문이 정리한 공격 범주는 세 가지입니다. 정상 워크플로처럼 위장해 흐르는 흐름 위장, 어떤 정보 공유가 적절한지에 대한 규범 자체를 바꾸는 맥락 규범 조작, 개별로는 무해한 흐름을 엮어 민감 데이터를 빼내는 다중 흐름 결합입니다. OWASP GenAI의 State of Agentic AI Security and Governance 2.01도 인젝션이 Agentic Top 10 가운데 6개 카테고리에 걸쳐 나타난다고 확인합니다. 단일 취약점이 아니라 에이전트 설계 전반을 관통하는 리스크라는 뜻입니다.
설계에서 운영까지: blast radius 축소 체크리스트
기획 단계에서는 방어 목표를 차단률이 아니라 피해 반경으로 잡습니다. 핵심 규칙 하나를 체크리스트의 축으로 삼으면 명료해집니다. "단일 세션에서 비신뢰 입력, 민감 데이터 접근, 외부 송신 세 가지를 동시에 부여하지 않는다"입니다. 목표 지표로는 위험 도구 호출의 인간 승인률, 인젝션 시뮬레이션 성공 시 실제로 터치된 리소스 수, 권한 스코프 리뷰 주기를 둡니다. 예컨대 외부 송신·삭제·결제 같은 위험 도구는 인간 승인률 100%를 요구하고, 시뮬레이션 1건당 터치 리소스를 1개 이하로 묶는 식입니다.
실패 패턴은 대부분 세 곳에서 반복됩니다. 첫째, 필터를 통과했으니 안전하다는 가정 — 불가능성 결과가 정확히 이 가정을 무너뜨립니다. 둘째, 읽기 도구와 쓰기·송신 도구에 같은 권한을 부여하는 경우로, 조회용 에이전트가 인젝션 한 번에 메일 발송·파일 삭제까지 수행하게 됩니다. 셋째, 세션 단위 권한 미분리로, 웹에서 긁어온 비신뢰 텍스트를 읽은 세션이 그대로 내부 DB와 외부 API에 접근합니다.
복구 분기는 흐름 단위로 설계합니다. 위험 도구 호출은 기본적으로 보류하고 인간 승인 게이트를 거치게 하며, 승인 대기 중에는 해당 세션의 외부 송신 채널을 잠급니다. 인젝션이 의심되면 세션을 격리하되 전체 서비스를 멈추지 않도록, 읽기 전용 세션과 쓰기 세션을 물리적으로 분리해 한쪽 오염이 다른 쪽으로 전파되지 않게 합니다.
운영 체크리스트의 중심은 권한 최소화입니다. 도구를 읽기·쓰기·송신 세 등급으로 나누고 세션이 실제 필요한 등급만 갖도록 스코프를 좁힙니다. 로그에는 세션 ID, 입력 신뢰 등급, 호출 도구 등급, 승인 여부, 터치 리소스 목록을 남겨야 시뮬레이션에서 blast radius를 숫자로 잴 수 있습니다. 배포 전에는 흐름 위장·맥락 규범 조작·다중 흐름 결합 세 범주 각각에 대한 레드팀 시나리오를 최소 1개씩 통과시킵니다.
개선 루프는 시뮬레이션 결과를 다시 설계로 되먹입니다. 인젝션 시뮬레이션에서 터치 리소스가 목표치를 넘긴 케이스는 권한 스코프 재검토 대상으로 자동 적재하고, 권한 리뷰는 분기가 아니라 릴리스마다 돌립니다. 승인률과 터치 리소스 수가 릴리스를 거치며 개선되지 않는다면, 방어가 성문화된 규칙에 그칠 뿐 실제 반경을 줄이지 못하고 있다는 신호입니다.
한눈에 보는 적용 포인트
인젝션은 완전 차단이 불가능하다는 arXiv 2605.17634의 전제 위에서, 방어의 무게중심을 차단에서 피해 반경 축소로 옮깁니다. 비신뢰 입력·민감 데이터·외부 송신을 한 세션에 몰지 않는 규칙을 축으로, 도구를 읽기·쓰기·송신 등급으로 분리하고 위험 도구에 인간 승인 게이트를 걸며, 세 공격 범주별 레드팀 시나리오와 시뮬레이션당 터치 리소스 지표로 반경을 상시 측정하면, 인젝션이 일부 성공해도 피해가 한 흐름 안에 갇힙니다.
참고 링크
arXiv 2605.17634: AI Agents May Always Fall for Prompt Injections
OWASP GenAI: State of Agentic AI Security and Governance 2.01