모니터링 소스
- 파트너 대시보드(dashboard.html): KPI 카드와 알림 배너로 클래스/프로젝트 성과, 실시간 이슈(정산/예산/운영 공지)를 확인합니다.
- 학습 기록(my-learning-history.html): 학습자별 제출/대화/테스트 로그를 시간순으로 제공하며, 내보내기(토스트 알림) 기능을 포함합니다.
- 지식베이스 테스트(knowledge-base.html): RAG 설정 A/B 테스트 실행 결과(응답, 출처, 속도)를 비교해 품질 문제를 파악합니다.
로그 범주
- 활동 로그: 학생 상태 변경, 프로젝트/에이전트 공유, 설정 수정(알림/보안/결제) 등 사용자 액션을 기록합니다.
- 성능 로그: TTFT/latency/토큰 사용량과 에러율을 Practice·RAG·에이전트 실행별로 수집합니다.
- 운영 이벤트: 예산 임계치 경고, 정산 지연, 데이터 인제스트 실패 등 운영 알림을 별도 채널(슬랙/이메일)로 전송합니다.
운영 절차
- 대시보드 알림 우선 확인: 경고 배너와 KPI 변동을 확인하고, 관련 로그 링크로 이동합니다.
- 필터링: 클래스/사용자/기간 필터로 로그를 좁혀서 이슈 범위를 특정합니다.
- 원인 파악: 학습 기록/지식베이스 테스트 결과를 대조해 프롬프트·파라미터·데이터 문제를 식별합니다.
- 조치 기록: 수정 후 로그에 조치 이력을 남기고, 필요 시 CSV로 내보내 팀과 공유합니다.
베스트 프랙티스
- 로그에는 사용자 ID, 클래스, 타임스탬프, 설정값을 포함해 재현 가능성을 확보합니다.
- 대시보드/학습 기록/비용 통계 간 **공통 필터(기간·클래스)**를 맞춰 비교가 쉽도록 합니다.
- 반복되는 오류는 운영 이벤트 규칙으로 등록해 자동 알림 및 차단을 구성합니다.