수집이 루프의 품질을 결정한다
자동 연구 루프의 최종 품질은 검증에서 드러나지만, 그 상한은 수집 단계에서 정해집니다. 편향된 출처만 모으면 아무리 검증을 잘해도 편향된 지식이 남습니다. 수집의 목표는 많이 모으는 것이 아니라, 서로 독립적인 근거를 충분히 확보하는 것입니다.
특히 여러 문서가 같은 원출처를 인용한 근친 출처는 독립 근거로 착각하기 쉽습니다. 이런 근친 관계를 인식하지 못하면 하나의 오류가 여러 출처로 위장되어 사실로 승격됩니다.
다양화와 중복 제거
출처 다양화는 도메인, 관점, 최신성 축에서 골고루 수집하는 것을 뜻합니다. 중복 제거는 동일 문서뿐 아니라 의미가 같은 문장, 같은 원출처를 인용한 문서를 함께 걸러 내는 작업입니다. 다양화와 중복 제거를 함께 적용해야 수집량이 아니라 독립 근거 수가 늘어납니다.
A4 분량 상세 가이드: 기획부터 운영까지
기획 단계에서는 수집 품질을 수치로 정의합니다. 예를 들어 사실 1건당 독립 출처 3개 이상 확보, 근친 출처 비율 20% 이하, 수집 대비 신규 정보 비율을 지표로 둡니다. 이런 기준이 있어야 출처 목록을 넓히거나 좁힐 때 품질 변화를 감지할 수 있습니다. 수집은 무제한이 아니라 예산 안에서 이뤄지므로, 정보 이득이 낮은 출처는 조기에 제외하는 규칙도 함께 정합니다.
실패 패턴의 대부분은 근친 출처와 오래된 캐시에서 나옵니다. 같은 통계를 재인용한 문서 다섯 개를 독립 근거로 세면 오류가 다수결로 사실이 됩니다. 이를 막으려면 각 문서에 원출처 지문을 남겨 인용 사슬을 추적하고, 사슬이 겹치는 문서는 하나로 합쳐 계산해야 합니다. 복구 전략에는 언제 수집을 멈출지가 포함됩니다. 새 출처를 추가해도 신규 정보가 임계값 아래로만 늘면 그 주제는 수집을 종료하고 검증으로 넘깁니다.
운영 체크리스트에서는 수집 즉시 출처와 수집 시각, 신뢰도 점수를 함께 기록합니다. 신뢰도는 도메인 평판, 1차/2차 여부, 갱신 이력으로 매기고, 낮은 신뢰도 출처는 사실 승격이 아니라 참고용으로만 저장합니다. 개인정보나 저작권 침해 소지가 있는 원문은 저장 대신 요약과 링크만 남기는 규칙도 문서로 유지합니다. 관측 항목으로는 독립 출처 수, 근친 비율, 신규 정보율, 출처별 채택률을 표준 필드로 남깁니다.
지속 개선 루프는 주간 단위로 검증에서 기각된 사실이 어떤 출처에서 왔는지를 역추적합니다. 특정 출처의 채택률이 낮거나 오류 기여가 높으면 신뢰도 가중치를 낮추거나 목록에서 제외합니다. 수집 전략은 고정된 출처 목록이 아니라, 성과에 따라 가중치가 계속 조정되는 살아 있는 규칙이어야 합니다.
실행 요약
정리하면 자동 연구 루프의 상한은 수집에서 결정됩니다. 도메인·관점·최신성으로 다양화하고, 근친 출처를 인용 사슬로 묶어 제거하며, 신뢰도로 가중해야 독립 근거가 늘어납니다. 독립 출처 수와 근친 비율을 수치로 관리하고, 성과에 따라 출처 가중치를 계속 조정하면 오염 없이 지식을 쌓을 수 있습니다.