Work · 2026 · 데이콘
LLM 평가 시스템 개발
여러 LLM 응답을 Council 방식으로 2단계 채점하는 평가 시스템. FastAPI + Redis Queue + asyncio.
기간
2026.01 – 진행 중
역할
소속 / 주최
데이콘
배경
데이콘 사내에서 다수의 LLM 응답을 일관된 기준으로 평가할 인프라가 필요했습니다. 단일 모델 채점은 편향이 크고, 사람이 매번 채점하기엔 비용이 큽니다.
접근
Council 방식 (여러 평가자 LLM의 합의)을 2단계로 구성. 1단계는 후보 응답 스크리닝, 2단계는 잔여 후보를 깊이 채점. FastAPI + Redis Queue + asyncio로 LLM 호출을 병렬화하고, 평가 작업을 큐에 분산해 처리량을 확보했습니다.
결과
데이콘 평가 인프라로 사용 중. 평가 처리량과 일관성을 동시에 확보했고, 신규 평가 기준 추가도 컨피그만 수정하면 되도록 분리했습니다.
Stack
PythonFastAPIRedisasyncioLLM