STT·화자분리 파이프라인
도메인 어휘가 많은 상담 통화를 정확하게 전사하고 고객·상담사 발화를 구분했습니다.
- Whisper large-v3에 LoRA와 매장·상품 어휘 사전을 적용해 CER 약 5.0%에서 4.5%로 개선
- 과거 상담 통화 약 9.5만 건을 LLM 2단계 화자분리로 전수 처리
- 표본 1,000건 점검 기준 화자분리 정확도 86.7%에서 94.9%로 개선
- Python
- Whisper
- LoRA
- vLLM
전체 프로젝트
지비피엘 주식회사 · 대형 서점 AI 콜센터 실증사업
실증 설치CallZip · 상담 지원 AI 시스템
STT·분류·RAG·LLM·상담사 승인까지 이어지는 상담 지원 파이프라인
대형 서점 고객센터로 들어오는 음성·1:1 문의를 전사하고 문의 유형을 분류해, 근거가 있는 답변 초안을 상담사에게 제시하는 상담 지원(Agent Assist) 시스템을 GPU 클라우드 환경에서 설계·개발하고 실증 설치까지 진행했습니다.
- Period
- 2026-09 - 현재
- Scope
- 3 areas
- Python
- FastAPI
- PostgreSQL
- pgvector
- vLLM
- Qwen3
- Whisper (LoRA)
- bge-m3
- React
- TypeScript
개선 결과
- STT 전사 오류율 (CER)
- 약 5.0% → 약 4.5%
- 화자분리 정확도
- 86.7% → 94.9%
- 내부망 설치 시험
- 통과
Whisper large-v3 + LoRA + 매장·상품 어휘 사전
과거 통화 약 9.5만 건 전수 처리, 표본 1,000건 점검
의존성을 고정한 오프라인 설치 패키지
설계 원칙
최종 판단과 회신은 상담사가 하고, 근거가 없으면 답을 만들지 않는 구조를 원칙으로 했습니다. 고객·상담사 2채널 음성의 STT부터 16개 유형 분류, RAG 검색, LLM 답변, 상담사 승인까지 하나의 흐름으로 연결했습니다.
- 근거 부족 시 안내형 답변·안전 중단 분기
- 프롬프트·임베딩·리랭커를 같은 평가셋으로 비교해 근거 없는 단정을 줄이는 방향으로 품질 개선
- 회사별 설정·기능 스위치 구조로 고객사마다 다른 요구를 하나의 코드베이스로 수용
- 실증 지표 정의·측정, 매뉴얼·설치 절차서 등 산출물 작성
Contributions
수행한 역할
RAG 답변 생성 백엔드
문의 유형 분류와 근거 검색을 거쳐 상담사가 검토할 답변 초안을 만드는 백엔드를 구현했습니다.
- FastAPI·PostgreSQL(pgvector)·vLLM 기반 분류·검색·답변 API 설계·구현
- 근거 부족 시 안내형 답변·안전 중단 분기 설계
- procrastinate 작업 큐와 Alembic 마이그레이션으로 비동기 처리·스키마 관리
- FastAPI
- PostgreSQL
- pgvector
- bge-m3
- Qwen3
상담사 웹·설치 패키지
상담사가 답변 초안을 검토·승인하는 화면과 고객사 내부망 설치 패키지를 만들었습니다.
- 티켓 처리, 비슷한 사례, 상품 문의 트렌드, 어휘 사전 승인, 권한·설정 화면 개발
- 고객 음성 메모 접수 웹 개발
- 의존성을 고정한 오프라인 설치 패키지로 내부망 설치 시험 통과
- React
- TypeScript
- Vite
- Tailwind CSS