모델은 출처를 지어낸다
자동 연구 루프의 신뢰성은 출처에서 결정됩니다. 그런데 LLM은 출처를 스스로 밝히지 않으며, 어떤 조건에서는 상당 비율의 인용을 지어냅니다. 인용 환각은 존재하지 않는 문헌을 만들거나 저자·연도·제목·DOI·URL을 바꿔 내용을 잘못 귀속하는 현상입니다. 겉보기에는 형식이 완벽해 사람 눈으로는 걸러 내기 어렵습니다.
특히 딥리서치형 에이전트가 만든 인용은 신뢰하기 어렵습니다. 모델의 자기 인용을 그대로 믿거나, 검색은 하되 인용이 실제로 접근 가능하고 관련 있으며 주장과 일치하는지 검증하지 않으면 환각이 그대로 지식이 됩니다.
검증 파이프라인의 세 단계
출처 검증은 세 가지를 확인합니다. 첫째, 인용이 실제 존재하는 문헌인지. 둘째, 저자·연도 같은 메타데이터가 그 문헌과 일치하는지. 셋째, 인용된 내용이 그 출처의 주장과 사실적으로 일치하는지입니다. 외부 학술·웹 소스에서 후보 문헌을 검색해 대조하는 방식이 대표적입니다.
A4 분량 상세 가이드: 기획부터 운영까지
기획 단계에서는 검증 목표를 수치로 정의합니다. 예를 들어 저장 사실의 출처 검증 통과율 95% 이상, 접근 불가·불일치 인용 저장 0건, 인용당 검증 비용 상한을 지표로 둡니다. 인용을 생성하는 것과 검증하는 것을 분리해, 생성 모델이 스스로 통과 판정을 내리지 못하게 합니다. RAG로 근거 문서를 함께 반환하더라도, 그 문서가 실제로 접근 가능하고 주장을 뒷받침하는지 별도로 확인해야 합니다.
실패 패턴 중 흔한 것은 형식만 그럴듯한 인용을 통과시키는 것입니다. 이를 막으려면 각 인용에 대해 후보 문헌을 검색하고, 제목·저자·연도·식별자를 대조한 뒤, 인용된 주장을 원문과 대조해 사실 일치를 확인합니다. 세 검사 중 하나라도 실패하면 그 사실은 참고용으로만 저장하거나 사람 확인 큐로 넘깁니다. 복구 전략으로, 저장 후 출처가 폐기되거나 불일치로 판명되면 그 출처에 의존한 추론까지 함께 무효화합니다.
운영 체크리스트에는 각 사실에 출처 지문과 검증 결과를 함께 저장합니다. 관측 항목으로는 인용 검증 통과율, 접근 불가율, 주장 불일치율, 사후 폐기율을 둡니다. 원문 수집 시 저작권과 개인정보를 고려해 전문 대신 요약과 링크만 남기는 규칙도 유지합니다.
지속 개선 루프는 주간 단위로 검증에서 걸러진 인용 유형과 사후에 문제가 된 출처를 분석합니다. 자주 환각되는 패턴은 검증 규칙을 강화하고, 오류 기여가 높은 소스는 신뢰도를 낮춥니다. 출처 검증은 한 번의 필터가 아니라, 새로운 환각 패턴을 흡수하며 계속 강화되는 관문이어야 합니다.
실행 요약
정리하면 자동 연구 루프의 신뢰성은 출처 검증에서 나옵니다. 인용이 실제 존재하는지, 메타데이터가 일치하는지, 주장이 출처와 사실적으로 맞는지 세 단계로 확인하고, 생성과 검증을 분리해야 합니다. 검증 통과율과 불일치율을 관측하고 환각 패턴을 흡수하면 지어낸 출처가 지식으로 굳지 않습니다.