24%에서 83%로, 무엇이 바뀌었나
Snowflake는 2026년 6월 2일 Summit에서 Cortex Sense를 공개했습니다. 데이터와 활동 시그널을 자동으로 수집해, 쿼리가 들어오는 시점에 에이전트가 참조할 컨텍스트를 실시간으로 보강하는 런타임 계층입니다. 무대 시연에서 제시한 수치는 동일 질의 집합의 정확도가 24%에서 83%로 올랐다는 것이었고, 이때 손댄 것은 기반 모델이나 임베딩이 아니라 질의 순간에 조립되는 컨텍스트였습니다.
거버넌스와 런타임으로 나뉜 두 겹
같은 발표에서 Snowflake는 Horizon Context를 함께 뒀습니다. 거버넌스 팀이 비즈니스 시맨틱, 곧 지표와 용어의 정의를 큐레이션하는 계층입니다. Horizon Context에서 '한 번 거버닝하고 어디서나 배포'한 정의를 Cortex Sense가 런타임에 끌어와 조립하는 2단계 구조입니다. 사람이 뜻을 확정하는 시맨틱 큐레이션과 기계가 시점에 맞춰 채우는 자동 보강이 분리돼 있다는 점이 설계의 요지입니다.
병목을 수치로 지목한 첫 사례군
이 발표가 의미 있는 이유는, 에이전트 정답률의 병목이 모델이나 검색기가 아니라 컨텍스트 조립에 있다는 주장을 벤더가 처음으로 숫자로 내세웠다는 데 있습니다. Databricks 역시 Genie가 첫 시도에서 84.5%의 정답률을 낸다고 주장하며 같은 방향을 가리킵니다. 검색기를 더 튜닝하기 전에, 질의 시점에 어떤 정의가 조립되는지를 먼저 정비하라는 신호입니다.
검색기 튜닝보다 먼저: 미니 컨텍스트 레이어 2단계 구축 가이드
두 계층을 그대로 사올 수 없는 소규모 팀도 지표부터 숫자로 고정할 수 있습니다. 첫 시도 정답률을 1차 KPI로 두고, 재질문 없이 맞힌 비율을 초기 40% 미만에서 80% 이상으로 끌어올리는 것을 분기 목표로 잡습니다. 두 번째 지표인 컨텍스트 적중률은 응답이 참조해야 할 정의를 실제로 포함한 비율로, 90% 이상을 합격선으로 둡니다. 세 번째는 정의 충돌 건수로, 부서마다 다르게 쓰이는 용어의 수를 세어 0에 수렴시키는 것이 거버넌스 계층의 과제입니다.
실패는 대개 세 갈래로 옵니다. 첫째는 임베딩 모델만 계속 바꾸는 경우입니다. 검색 순위는 조금 흔들려도, '월 매출'의 정의가 팀마다 다르면 정답률은 제자리에 머뭅니다. 둘째는 부서별 용어 불일치를 방치하는 경우로, 재무의 '활성 고객'과 마케팅의 '활성 고객'이 다른 조건을 가리키면 같은 질문에 다른 숫자가 돌아옵니다. 셋째는 시맨틱 정의의 소유자가 없는 경우입니다. 정의를 누가 확정하고 바꾸는지가 비면 Horizon Context가 말하는 큐레이션 자체가 성립하지 않습니다.
복구는 지표가 임계선을 벗어날 때의 분기를 미리 정해 두는 데서 출발합니다. 컨텍스트 적중률이 90% 밑으로 떨어지면 임베딩을 손대기 전에 누락된 정의부터 사전 테이블에 채우고, 정의 충돌이 새로 잡히면 해당 용어를 소유자에게 넘겨 단일 정의로 합칩니다. 첫 시도 정답률이 나빠진 질의는 로그에서 뽑아 다음 큐레이션 대상 목록에 자동으로 적재합니다.
거창한 플랫폼 없이도 미니 컨텍스트 레이어는 스프레드시트 두 장으로 시작됩니다. 한 장은 사전 테이블입니다. 용어, 확정 정의, 계산식 또는 SQL, 소유자, 최종 갱신일을 열로 두고, 부서 간 합의가 끝난 항목만 올립니다. 다른 한 장은 질의 로그로, 원 질문·조립에 쓰인 정의·첫 시도 정답 여부·충돌 메모를 남겨 세 지표를 매주 집계할 수 있게 합니다. 에이전트 프롬프트에는 사전 테이블의 확정 정의를 질의 시점에 주입해, 사람이 거버닝한 뜻을 런타임이 그대로 쓰게 만드는 것이 2단계 구조의 축소판입니다.
품질 관리는 배포 전 시나리오 점검으로 고정합니다. 부서별 대표 질문 20개를 골든셋으로 묶어 사전 테이블이 바뀔 때마다 세 지표를 재측정하고, 정의가 담긴 열에는 민감 정보가 섞이지 않도록 개인식별정보를 걸러 둡니다.
개선은 매주 질의 로그에서 첫 시도 정답률이 낮은 상위 질문을 추려 소유자에게 정의 보강을 요청하는 흐름으로 이어집니다. 새로 확정된 정의에는 갱신일을 남겨 오래된 항목을 분기마다 재검토하고, 정의 충돌 건수가 다시 늘면 큐레이션 소유권이 흐려졌다는 신호로 읽습니다. 이 루프가 돌기 시작하면 검색기를 갈아 끼우지 않고도 컨텍스트 적중률이 먼저 올라갑니다.
한눈에 보는 적용 포인트
24%→83%가 가리키는 지점은 모델 성능이 아니라 질의 시점의 컨텍스트 조립입니다. 사람이 정의를 확정하는 큐레이션과 런타임 자동 보강을 두 겹으로 나누고, 첫 시도 정답률 80%·컨텍스트 적중률 90%·정의 충돌 0을 목표로 못 박은 뒤, 스프레드시트 사전 테이블과 질의 로그만으로 미니 레이어를 돌리면, 임베딩을 갈아 끼우기 전에 정답률의 병목부터 풀립니다.
참고 링크
Snowflake Summit 2026: Context, custom model training, Iceberg V3 — Constellation Research
Snowflake Cortex Sense and the Enterprise Context Layer — Atlan