ChatGPT가 답하지 못하는 '우리 회사'의 질문, RAG로 해결하다
요즘 회사마다 한 번쯤은 “우리도 ChatGPT 한번 붙여볼까?” 하는 얘기 나오죠.
처음엔 다들 신기해서 써보지만, 막상 실무에 붙이려 하면 금방 벽을 느낍니다.
“우리 회사 관련 질문엔 엉뚱한 답을 하네?” “사내 문서에 다 있는 내용인데, 왜 모르지?”
이럴 때 대부분의 회사가 깨닫습니다.
우리가 필요한 건 ChatGPT ‘같은’ 범용 AI가 아니라, 우리 회사 데이터로 답변하는 AI’라는 걸요.
그래서 등장한 핵심 기술이 바로 RAG, 즉 검색 증강 생성(Retrieval-Augmented Generation)입니다.
검색 증강, RAG란 무엇인가요?
이런 RAG 기술의 개념은 2020년에 Meta AI 연구진이 발표한 논문 "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks"에서 처음 제안되었는데요.
(출처: 한국지능정보원 검색증강생성(RAG) 기술의 등장과 발전 동향, Digital Insight 2024)
RAG는 쉽게 말해, 'AI가 참고할 외부 자료를 제공하는' 기술이라고 할 수 있습니다.
AI는 기본적으로 ‘이미 학습한 내용’ 안에서만 답을 합니다. 그러니 최신 정책이나 내부 자료 같은 건 당연히 모를 수밖에 없어요. 그런데 RAG는 여기서 한 발 더 나아갑니다. 답을 만들기 전에, 필요한 정보를 검색해서 참고한 뒤 답을 만드는 구조예요.
학교 다닐 때 ‘오픈북 시험’ 기억나시죠?
아는 건 바로 풀고, 모르는 건 책 찾아보면서 쓰는 그 방식. RAG도 똑같습니다.
기존 AI의 한계:
"제가 학습을 마친 이후의 소식은 저도 몰라요…" (학습 데이터 한계)
"모르는 건 모른다고 말하기가 너무 힘들어요…" (할루시네이션 문제)
"회사 내부 문서는 제가 볼 수 없어요…" (데이터 접근성 제한)
RAG의 해결책:
검색(Retrieval): AI가 답변을 만들기 전, 기업 내부 자료나 최신 문서를 먼저 정확히 검색합니다.
생성(Generation): 검색으로 찾은 신뢰할 수 있는 자료를 바탕으로, 질문에 대한 가장 정확한 답변을 생성합니다.
그런데… RAG도 잘못 만들면 거짓말을 합니다
RAG는 겉으로 보면 “정확한 답변을 만들어주는 기술” 같지만, 설계가 조금만 어긋나도 AI가 그럴듯한 거짓말을 하는 ‘환각(hallucination)’ 증상에 빠질 수 있습니다.
예를 들어 이런 식이에요 
잘못된 문서 → 근거 있는 거짓말
승인되지 않은 정책이나 오래된 자료가 섞여 있으면 AI는 그걸 진짜라고 믿고 답합니다.
상충된 정보 → 혼합된 답변
문서마다 내용이 다르면 AI는 두 정보를 섞거나 애매하게 답합니다.
잘못된 청킹 → 맥락 손실
문서를 너무 잘게 쪼개면 조건이나 배경이 사라져 엉뚱한 답이 나옵니다.
부정확한 검색 → 엉뚱한 근거
의미를 잘못 파악하면 전혀 상관없는 문서를 붙여 답합니다.
결국 RAG의 환각 문제는 모델의 한계보다 ‘설계와 운영의 디테일’ 부족에서 비롯됩니다. 데이터 구조, 임베딩, 검색 로직, 업데이트 체계까지 생각보다 고려해야 할 부분이 많죠.
그래서 RAG 시스템을 제대로 구축한다는 것은 단순히 "AI가 답변을 잘하게 만드는 것"이 아니라, "AI가 참고할 수 있는 가장 신뢰할 만한 데이터 환경을 구축하는 것"에 초점을 맞춰야 합니다.
RAG 시스템 구축을 위한 핵심 요소
그럼, 성공적인 RAG 시스템을 구축하고 답변의 정확도를 확보하기 위해 어떤 핵심 요소가 있는지 살펴보도록 할게요.
1. 데이터 품질 - "좋은 재료가 좋은 요리를 만든다"
RAG의 성능은 결국 들어가는 데이터의 품질로 결정됩니다.
아무리 좋은 모델이라도 데이터가 부실하면 결과도 부실해요.
좋은 데이터의 조건:
최신성: "이 정보, 최신 내용이 맞나?" 항상 최신 상태를 유지하고, 시의성이 높은 답변을 제공해야 합니다.
정확성: 참조 자료를 기반으로 “팩트체크”를 할 수 있어야 합니다.
일관성: "어? 저번에 말한 거랑 다른데?" 상충된 정보 없이 내용의 통일성을 유지해야 합니다.
완전성: “중요한 내용이 빠지진 않았나?” 답변에 필요한 핵심 내용이 누락 없이 담겨 있어야 합니다.
2. 임베딩 모델 - "AI의 번역기 역할"
임베딩은 사람이 쓴 언어를 AI가 이해할 수 있는 숫자 벡터로 바꾸는 과정이에요. 마치 책에 색인을 만들어 두는 것처럼, AI가 필요한 정보를 빠르게 찾아볼 수 있도록 정리하는 단계입니다. 이 단계의 품질이 검색 정확도를 결정합니다.
임베딩 모델 선택 시 체크 포인트:
도메인 특화성: 의료, IT 등 전문 분야 용어를 깊이 있게 이해하는 모델인지 확합니다.
언어 지원: 한국어 등 서비스 언어에 대한 처리 능력이 뛰어난지 검증합니다.
벡터 차원(Dimension): 차원이 높을수록 정밀도를 높이지만, 처리 비용과 검색 속도 사이의 최적 밸런스를 찾는 것이 중요합니다.
text-embedding-3-small/large는 범용으로 안정적이며,한국어 중심 서비스라면KoSentenceBERT나bge-m3같은 모델도 좋은 선택이에요.실제로 몇 가지 모델을 테스트해 정확도 vs. 속도 밸런스를 비교해보는 게 중요합니다.
3. 청크 분할 전략 - "정보를 어떻게 썰어놓을까?"
긴 문서를 적당한 크기로 썰어놓는 게 청킹인데, 이게 생각보다 중요해요. 너무 잘게 썰면 맥락이 사라지고, 너무 크게 썰면 쓸데없는 정보까지 딸려와서 AI가 헷갈려합니다.
좋은 청크 전략의 기준:
크기: 일반적으로 256~512 토큰 정도가 권장되지만, 문서의 내용(ex. 긴 설명문 vs. 짧은 Q&A)에 따라 최적의 크기가 달라집니다.
겹치기: 인접한 조각들을 50~100 토큰 정도 겹치게 하여 조각이 잘리더라도 앞뒤 맥락을 유지할 수 있도록 설계해야 합니다.
의미 단위 분할: 단순한 토큰 수 기반 분할보다는 문장, 문단, 또는 섹션 단위의 의미론적 경계를 고려한 분할이 검색 품질을 향상시킵니다.
사용자는 그냥 파일만 올리면 됩니다.
4. 검색의 정교화 - "찾고 싶은 걸 정확히 집어내는 마법"
AI가 아무리 똑똑해도, 검색이 엉뚱하면 답변도 엉뚱해집니다.
정확한 답변을 위해선 “질문을 제대로 이해하는 단계”와 “관련 문서를 정확히 찾는 단계”가 모두 중요합니다.
LLM의 질문 이해 고도화
LLM 서비스 자체(예: GPT-4)는 강력한 답변 생성을 제공하지만, 사용자의 질문을 검색에 최적화된 형태로 변환해 주지는 않습니다. LLM을 단순히 가져다 쓰면, "그거 더 알려줘" 같은 질문에서 "그거"가 무엇인지 우리 회사의 문맥에서는 알 수 없습니다.
따라서 RAG 설계자는 LLM을 검색 최적화 도구로 활용하는 로직을 구현해야 합니다.
쿼리 이해(자연어 처리) : “작년 4분기 매출은?” 같은 질문에서 시간(작년 4분기)과 주제(매출)를 분리해, 검색 엔진이 이해할 수 있는 형태로 쿼리로 변환합니다.
컨텍스트 유지 : 대화 맥락을 기억해 “그거 더 자세히 알려줘” 같은 후속 질문도 정확히 연결합니다.
검색 엔진의 정교함
질문이 제대로 이해됐다면, 이제는 가장 관련성 높은 문서를 집어내는 능력이 관건입니다.
하이브리드 검색: 키워드 검색과 시맨틱 검색을 결합하는 방식으로, 단어 그대로뿐 아니라 “비용 절감” → “원가 절감” 같은 유사 의미까지 함께 탐색해 정확도와 유연성을 동시에 높입니다.
메타데이터 필터링 활용: 문서의 작성 시점, 출처, 카테고리 등 메타데이터를 검색 조건에 활용하여 검색 범위를 좁히고 정확도를 높입니다.
순위 재조정(Re-ranking) 적용: 1차 검색으로 찾아낸 문서 조각(청크)들을 LLM이 질문과의 관련성을 다시 한번 평가하도록 하여, 최종적으로 가장 정확도가 높은 청크만 답변 생성에 사용되도록 시스템을 구성합니다.
RAG 구축, 꼭 복잡해야 할까요?
솔직히 말하면, RAG를 제대로 만들려면 생각보다 손이 많이 갑니다.
실제로 내부용 RAG를 구축해 본 경험만 해도, 데이터 정제, 임베딩 모델 선택, 문서 청킹, 검색 튜닝까지… 하나하나 최적화하려면 AI, 데이터 전문가가 필요하고, 제대로 세팅하려면 몇 달은 걸리죠.
그럼에도 불구하고 RAG는 정말 매력적인 기술입니다.
정확한 답변을 만들어주는 맞춤형 AI라는 RAG의 매력은 내부 업무 효율화는 물론, 고객 서비스에도 큰 가능성을 열어줍니다.
이러한 복잡성을 해결하기 위해, 플래니는 접근 방식을 달리했습니다.
“누구나 쉽게, 바로 쓸 수 있는 RAG 기반 고객 서비스를 만들자.”
플래니는 대화형 웹사이트 솔루션으로, 복잡한 RAG 구축 과정을 자동화해 문서만 올리면 바로 사용할 수 있는 대화형 RAG 시스템을 제공합니다.
자동화된 RAG 구축문서 업로드만으로 RAG가 완성됩니다. 세팅에 신경 쓸 필요가 없어요.
즉시 연결 가능한 인터페이스별도 개발 없이 웹사이트에 바로 적용 가능한 대화형 UI를 제공해요.
실시간 업데이트자료가 바뀌면 즉시 반영되 항상 최신 정보로 답변 가능합니다.
우리 회사의 데이터로 똑똑하게 답변하는 대화형 웹사이트, 바로 시작해보세요!
