이 문서에서 하는 것
- RAG 비교 카드에서 검색 파라미터를 어떻게 넣고, 응답/출처/스코어를 어떻게 해석할지 정리해.
입력 위치
- 좌/우 설정 카드: top_k, threshold, embedding 모델 선택, rerank on/off를 카드별로 독립 설정.
- 테스트 프롬프트: 동일 질문을 두 카드에 동시에 적용해 결과를 병렬 비교.
결과를 읽는 법
- retrieved_count: threshold와 top_k 조합이 실제 몇 개의 청크를 남겼는지 확인한다.
- score 분포: 프리뷰·응답의 출처에 표시되는 점수를 p50/p90 관점으로 본다. 한쪽만 극단적으로 낮으면 노이즈가 섞인 것.
- 출처 일관성: 동일 질문에서 카드 간 출처가 크게 달라지면 파라미터 감도가 높은 것. 안정성을 위해 값을 완만하게 조정한다.
실험 레시피
- top_k 스윕: 3/5/10으로 늘리며 retrieved_count와 품질 변화를 기록.
- threshold 단계 상승: 낮은 값에서 시작해 노이즈가 줄 때까지 0.05~0.1 단위로 높인다.
- 모델 교차: 동일 top_k/threshold에 embedding 모델만 바꿔 정확도·속도·비용을 비교.
실패 패턴 & 해결
- 노이즈 많은 답변: threshold를 올리거나 top_k를 줄여 컨텍스트를 정제.
- 답변 누락/빈 응답: threshold가 높아 필요한 청크가 모두 잘린 경우 → threshold를 낮추고 top_k를 1~2 늘린다.
- 지연/비용 폭증: top_k 과다로 긴 컨텍스트가 전달된 경우 → top_k를 줄이거나 max_chunks를 설정.
다음 문서
- /rag/threshold-topk (파라미터 조합 가이드)
- /rag/rerank (정확도 우선 시 고려)