AI Agent시대의 도래

GPT 등장이후 지능형 LLM 모델 기반의 챗봇이 기존 시나리오(또는 Rule) 기반 챗봇을 대체하고 있음

LLM 모델에 의해 더욱 자연스러운 대화가 가능해졌으며, 다양한 업무처리가 가능해지고 있음

질문-응답에서 벗어나 고객의 요구에 수반되는 email/SMS 전송, 정보변경 등 부수업무 처리까지 가능한 Agent의 개념으로 역할이 확장되고 있음

기업용 업무처리 ChatBot의 특징

기업의 업무처리는 절차에 따른 지침(Guideline)을 해결해야만 함

기업의 업무지침을 가이드라인에 따라 실행하는 챗봇의 작동 알고리즘을 LLM기반으로 구현이 가능함

AIthe의 AI ChatBot은 LLM 모델 기반 기업 업무용 챗봇 기능을 수행하도록 기능 구조화 설계가 이루어져 있음

AI ChatBot의 구성요소

사용자의 질문을 정확히 이해하고(NLU), 필요한 정보를 수집함

기업의 업무지침서, 가이드라인 등의 정보를 RAG시스템으로 구성하고, 또한 고객정보 조회를 위해 자동 DB 접속 가능

업무처리 절차(Business Logic Template)에 따라 LLM이 고객응대 순차 실행

   - User Interface (UI Layer) → 사용자의 입력(텍스트/음성)을 수집

   - NLU Engine → 입력된 자연어를 분석하여 의도 및 엔터티를 추출

   - LLM Model → 사용자의 의도에 맞는 답변을 생성

   - RAG시스템 → 추가적인 외부 지식이나 최신 데이터를 검색하고 활용

   - Business Logic Template → 업무처리 절차서, 가이드라인, 업무수행 입력 사항 등 정의서

   - Dialogue Management → 대화 흐름을 관리하고 상태를 추적

   - Backend Integration Layer → 외부 시스템과 통합하여 필요한 데이터를 조회하거나 업데이트

   - Security Layer → 사용자 인증, 권한 관리, 데이터 암호화를 통해 보안을 유지

   - Logging & Monitoring → 성능 모니터링 및 로그를 수집하여 개선 사항을 피드백

AI ChatBot의 아키텍처

사용자 인증, NLU, API서버, RAG시스템 연동

대화관리 및 대화중 개인정보 처리, 대화록 저장 및 사후 재학습 반영