멀티홉에서 벌어지는 54%p 격차
단일 사실 조회는 Vector RAG로 충분합니다. 질문 임베딩과 가장 가까운 청크를 뽑아 답하면 되기 때문입니다. 문제는 여러 문서를 연결해 추론해야 하는 멀티홉 질의입니다. 멀티홉 벤치마크에서 GraphRAG는 86%, Vector RAG는 32%로 54%p 격차가 벌어집니다. 벡터 검색은 의미가 가까운 청크는 잘 찾지만, "A가 B를 인수했고 B의 자회사가 C를 소송했다" 같은 관계 사슬을 이어 붙이지 못합니다. 엔터티와 관계를 그래프로 구축하는 GraphRAG는 이 연결을 명시적으로 따라갑니다.
LazyGraphRAG가 낮춘 비용 장벽
GraphRAG의 걸림돌은 인덱싱 비용이었습니다. 코퍼스 전체의 커뮤니티 요약을 사전 생성하면 토큰 비용이 크게 늘기 때문입니다. LazyGraphRAG는 이 커뮤니티 요약을 사전이 아닌 쿼리타임으로 지연시켜, 실제 질의가 닿는 서브그래프만 요약합니다. 그 결과 코퍼스당 5달러 미만으로 비용 장벽이 내려가, 그래프 경로를 상시 후보로 둘 수 있게 됐습니다.
세 갈래를 분기하는 하이브리드 라우터
모든 질의에 그래프를 쓰면 지연과 비용이 낭비됩니다. 2026 지배 패턴은 라우터가 질의 유형을 판별해 시맨틱 80%, 그래프 15%, 에이전틱 5%로 분기하는 구조입니다. 대부분의 단순 조회는 벡터로 처리하고, 관계 추론이 필요한 소수만 그래프로, 다단계 도구 호출이 필요한 극소수만 에이전틱 경로로 넘깁니다. 라우터는 얇게 유지하고, 분기 근거를 로그로 남기는 것이 핵심입니다.
A4 분량 상세 가이드: 기획부터 운영까지
기획 단계에서는 라우팅 목표를 수치로 고정합니다. 라우팅 분류 정확도 90% 이상, 시맨틱 경로 p95 지연 800ms 이하, 그래프 경로 p95 지연 2.5s 이하, 오분기율 5% 미만을 기준선으로 둡니다. 질의 유형 라벨(단일사실·관계추론·다단계실행)을 200건 이상 골드셋으로 만들고, 라우터가 이 라벨을 얼마나 맞히는지로 통과율을 측정합니다. 벡터·그래프·에이전틱 각 경로의 정답률과 비용을 따로 집계해, 분기가 실제로 정답률을 올리는지 확인합니다.
실패 패턴은 세 가지가 흔합니다. 첫째, 관계 추론 질의를 시맨틱으로 오분기하면 벡터 검색이 근접 청크만 반환해 오답이 됩니다. 이때 답변 근거 커버리지가 임계값 미만이면 그래프 경로로 자동 재시도합니다. 둘째, 그래프 경로에서 서브그래프 탐색이 폭발해 지연이 임계를 넘으면, 홉 수를 2로 축약하는 안전 축약을 적용하고 부분 답변에 불확실성 표시를 붙입니다. 셋째, 에이전틱 경로에서 도구 호출이 3회 이상 반복 실패하면 자동 개선을 중단하고 사람 확인 큐로 넘깁니다. 어떤 경로든 근거 없이 답을 생성하는 상황이면 응답을 보류합니다.
운영 체크리스트에는 표준 로그를 남깁니다. 질의 ID, 라우터가 선택한 경로, 분기 확신도, 선택 근거, 최종 정답 여부, 경로별 지연과 비용을 한 줄 스키마로 기록합니다. 재시도가 발생했으면 최초 경로와 재시도 경로를 함께 남겨, 오분기율을 사후 집계할 수 있게 합니다. 그래프 구축과 로그에 개인정보가 섞이지 않도록 엔터티 추출 전 PII 마스킹을 적용하고, 마스킹 실패 건은 인덱싱에서 제외합니다.
지속 개선 루프는 주간 단위로 오분기 사례를 리뷰합니다. 시맨틱으로 잘못 보낸 관계 질의가 쌓이면 라우터 판별 임계값을 조정하거나 골드셋에 추가해 재학습합니다. 그래프 경로의 정답률이 벡터 대비 우위를 잃는 질의 유형이 보이면, 해당 유형을 벡터로 되돌려 비용을 절감합니다. 분기 비율(80/15/5)은 고정값이 아니라, 실제 정답률과 비용을 반영해 계속 재조정되는 운영 지표로 다룹니다.
실행 요약
정리하면 멀티홉에서 GraphRAG 86% vs Vector RAG 32%의 54%p 격차가 그래프 경로의 존재 이유이고, LazyGraphRAG의 쿼리타임 지연으로 코퍼스당 5달러 미만까지 비용이 내려가 상시 후보가 됐습니다. 라우터는 시맨틱 80%/그래프 15%/에이전틱 5%로 얇게 분기하되, 근거 커버리지 미달 시 그래프 재시도, 지연 초과 시 홉 축약, 도구 반복 실패 시 사람 확인으로 실패를 복구합니다. 표준 로그와 PII 마스킹으로 오분기율을 추적하고, 분기 비율을 정답률·비용에 맞춰 계속 재조정하는 것이 운영의 핵심입니다.