이한규-3차 강좌 (생성형 AI, 기초부터 활용까지)

이한규 전라매일 AI전문기자(AX/DX)

LLM의 지식 확장 : R.A.G(검색.증강.생성)
아무리 강력한 LLM이라도 한계는 있다. 학습 시점 이후의 최신 정보는 알지 못하고, 특정 기업의 내부 데이터나 개인의 사적인 정보도 당연히 모른다. 이 한계를 극복하고 LLM의 지식을 확장하는 기술이 바로 RAG(Retrieval-Augmented Generation, 검색 증강 생성)이다.

검색의 30년 진화: 포털에서 RAG까지
RAG를 이해하려면 검색 기술의 진화를 먼저 살펴봐야 한다.
1990년대 후반 라이코스, 엠파스, 네이안 같은 초기 검색 사이트는 키워드를 입력하면 관련 웹페이지 링크를 나열했다. 사용자는 수십 개의 링크를 일일이 클릭하며 정보를 찾아야 했다. 2강에서 다룬 Perplexity와 Felo 같은 AI 검색 서비스는 여기서 더 나아갔다. 검색 결과를 단순히 나열하는 것이 아니라, 여러 출처의 정보를 종합해 하나의 완성된 답변을 생성한다. 이것이 바로 RAG의 핵심이다. 이제 기업과 개인도 자신만의 데이터로 맞춤형 AI 답변 시스템을 구축할 수 있게 되었다.

RAG의 작동 원리
RAG는 이름 그대로 세 단계로 작동한다. 1단계-검색(Retrieval): LLM이 답변 전에 외부 데이터베이스나 문서에서 관련 정보를 검색한다. 2단계-증강(Augmented): 검색된 정보를 프롬프트에 추가해 맥락을 풍부하게 만든다. 3단계-생성(Generation): 증강된 정보를 바탕으로 정확하고 구체적인 답변을 생성한다.

실전 활용 사례 : 산업별 RAG 혁명
제조업 품질 관리 담당자가 “지난달 A 제품의 불량률이 높았던 이유는?”이라고 질문한다면, 일반 LLM은 제조업 일반론만 나열한다. 하지만 RAG 시스템은 회사 생산 데이터베이스에서 생산 일지, 품질 검사 보고서, 설비 가동 기록을 검색한 뒤 “지난달 15일부터 20일 사이 B 설비의 온도가 기준치보다 3도 높았고, 이 기간 생산 제품의 불량률이 15% 상승했습니다”라고 구체적으로 답변한다. 의료 분야에서는 “이 환자 증상과 유사한 최근 6개월 연구 논문”을 즉시 찾아 치료 방향을 제시한다. 법률 분야는 “이 사건과 유사한 대법원 판례 5건”을 검색해 판례의 주요 쟁점과 판결 이유를 정리한다. 금융권은 “고객 A의 3년간 거래 패턴”을 분석해 이상 거래를 실시간으로 탐지한다..

환각방지 : RAG가 만드는 신뢰
RAG가 중요한 또 다른 이유는 LLM의 ‘환각(Hallucination)’ 현상을 줄인다는 점이다. 환각이란 LLM이 그럴듯하지만 사실이 아닌 정보를 자신 있게 만드는 현상을 말한다. “한국의 2024년 GDP 성장률은?”이라 물으면 학습 데이터에 없는 정보임에도 그럴듯한 수치를 지어낸다. 하지만 RAG를 통해 한국은행이나 통계청 데이터를 실시간으로 검색하여 답변하면, 이러한 환각을 방지하고 신뢰도 높은 답변을 제공할 수 있다. AI창업지도사회 분류표에서 RAG를 LLM 기초 이론에 포함시킨 것도 실무 적용 시 RAG가 필수임을 강조하는 교육적 관점을 반영한 것이다.

다음 강에서는 텍스트를 넘어 이미지, 음성, 영상을 이해하는 멀티모달 AI에 대해 다루겠다.

전라매일관리자 기자 / jlmi1400@hanmail.net

입력 : 2025년 11월 20일