회사에서 유료 LLM 구독권을 받았습니다.
그런데, 막상 사용해보니 빠른 크레딧 소진 때문에 ‘이 정도는 그냥 검색으로 해결할까?’ 하고 고민하게 됩니다. 필요할 때 바로 AI를 활용하고 싶지만, 비용과 사용량을 생각하면 조금은 머뭇거리게 되는 거죠.
분명 직원들의 생산성 향상을 위해 도입한 AI인데, 어느 순간부터 우리는 질문을 아끼게 됩니다.
AI 시대라는데, 우리는 왜 이렇게 조심스럽게 AI를 써야 할까요?
비싼 GPU 가격이 만든 ‘토큰’ 경제
그 이유는 생각보다 단순합니다. 바로 LLM 운영 비용 때문이죠.
ChatGPT든, Claude든, Gemini든 이 모든 AI는 엄청나게 비싼 GPU 위에서 돌아갑니다. NVIDIA H100 한 대 가격이 3~4만 달러, 우리 돈으로 4천만 원이 넘어요. 그것도 GPU 서버만 산다고 끝이 아닙니다.
결국 LLM을 제공하는 회사 입장에서는 GPU 구매비 + 전기세 + 냉각비라는 막대한 고정비용이 발생하며, 사용자가 질문할 때마다 GPU는 쉴 새 없이 돌아가며 비용이 계속 증가합니다.
그래서 나온 게 "토큰" 이라는 개념이죠.
쉽게 말하면 질문 하나, 하나 다 세서 돈을 받는 종량제 시스템입니다.
개인은 정액제로 편하게 쓰는데, 기업은 왜 API를 쓸까?
LLM 서비스는 사용자가 누구냐에 따라 다른 과금 구조를 가지고 있습니다.
1) 개인 사용자: '넷플릭스처럼' 자유로운 정액제 구독
개인 사용자에게 LLM 서비스는 매우 간단합니다. 매달 정해진 금액만 지불하면 됩니다.
마치 넷플릭스나 유튜브 프리미엄처럼, 비용 걱정 없이 자유롭게 사용하며 AI의 혜택을 누릴 수 있습니다.
ChatGPT Plus, Claude Pro, Gemini Advanced 등 대부분의 개인 구독 서비스는 월 $20 내외 (*2025년 10월 기준)
2) 기업 사용자: 두 가지 선택지
기업이 LLM을 도입할 때는 두 가지 방식 중 하나를 선택해야 합니다.
정액제 (구독 방식)
직원 1명당 월 고정 금액을 지불하는 방식입니다. 비용 예측은 가능하만, 안쓰는 직원도 똑같이 비용이 발생합니다.
토큰 기반 과금 (API 방식)
쓴 만큼만 내는 방식입니다. 대규모 AI 처리가 필요하거나, 고객 지원 챗봇, 사내 문서 요약 시스템 등 자사 서비스와 통합하려면 이 API 방식을 사용해야 하기 때문에 대부분의 기업이 API 방식을 선택합니다.
참고: 대표 LLM의 토큰 가격 (GPT-4 Turbo 기준)
입력(Prompt) 1,000 토큰당: 약 $0.01
출력(Response) 1,000 토큰당: 약 $0.03
이처럼 1,000 토큰당 센트(Cent) 단위의 저렴한 가격 때문에 기업들은 초기에 부담이 적다고 판단합니다.
그런데, 이 API 방식에는 숨은 함정이 있어요.
저렴해 보이지만, API 방식의 숨은 비용 구조
기업이 주로 선택하는 API 방식은 겉으로 보기에 토큰당 가격이 매우 저렴해 보일 수 있지만, 대화가 길어질수록 요금이 기하급수적으로 폭증하는 함정이 있습니다.
요금 폭증의 이유는 바로 LLM이 대화를 '기억'하는 방식 때문인데요, 우리는 AI와 대화할 때 "당연히 이전 대화를 기억하고 있겠지"라고 생각합니다.
하지만 실제로는 조금 다릅니다.
대화를 복습하는 LLM의 기억 방식:
LLM은 대화 내용을 서버에 저장해두고 필요할 때 꺼내 보는 게 아닙니다. 대신 새로운 질문을 할 때마다 이전의 모든 대화를 다시 읽어야 합니다.
예를 들어볼까요?
AI와 대화를 10번 주고받았다고 가정해볼게요:
1번째 질문: "올해 매출 데이터 정리해줘"
→ 1,000 토큰 사용
2번째 질문: "작년이랑 비교하면?"
→ 2,000 토큰 사용
3번째 질문: "그럼 내년 목표는?"
→ 3,000토큰 사용
...
10번째 질문
→ 10,000 토큰 사용
총 비용: 1,000 + 2,000 + 3,000 + ... + 10,000 = 55,000 토큰
단순히 10번 질문했을 뿐인데, 실제로는 한 번 질문했을 때보다 55배의 토큰을 소비한 겁니다.
처음에는 저렴하다고 생각했던 토큰당 과금 모델이, 일상적인 업무 환경에서는 엄청나게 비싸게 변할 수 있는 이유입니다.
고객 서비스로 확장 시, 비용 예측은 '불가능'의 영역으로
내부 직원의 LLM 사용량을 예측하고 통제하는 것도 기업에겐 큰 부담이지만, 고객을 직접 상대하는 고객 서비스 영역으로 확장할 때 문제는 훨씬 더 복잡해집니다.
고객 지원 챗봇, 지식 검색 서비스 등 LLM을 활용한 고객 서비스를 구축하려면, 반드시 토큰 기반 과금 방식의 API를 사용해야 합니다. 그러나 문제는 고객의 사용량을 기업이 통제할 수 없다는 점입니다.
직원에게는 사용량을 모니터링하거나 사용 가이드라인을 줄 수 있지만, 고객에게 "질문을 아껴 쓰세요"라고 안내할 수는 없는 노릇이니까요.
AI 도입의 가장 큰 걸림돌: 예측 불가능한 운영 비용
우여곡절 끝에 경영진의 승인을 받아 대고객 AI 서비스 도입을 결정하고, 팀을 꾸려 개발사 미팅까지 잡았습니다. 하지만 가장 먼저 듣게 되는 질문은 언제나 같습니다
"생각하신 예산이 얼마 정도 되시나요?"
기존 서비스와 달리, 고객 서비스 운영 비용은 예측하기가 참 어렵습니다. 핵심은 ‘고객이 얼마나 질문할지'에 달려 있기 때문이죠.
하루에 100건일까요, 1,000건일까요?
고객의 질문은 짧은 단답형일까요, 맥락이 긴 대화형일까요?
신제품 출시나 시즌 이슈 발생 시, 사용량이 10배 이상 폭증하지는 않을까요?
플래니는 바로 이 예측 불가능한 비용 스트레스를 근본적으로 해소하기 위해 혁신적인 접근 방식을 택했습니다.
플래니의 혁신: '토큰 스트레스'를 없애는 정액제 솔루션
모두가 “정액제는 불가능하다”고 말할 때, 우리는 근본적인 질문을 던졌습니다.
"토큰을 세지 않고, 한도 걱정도 하지 않고, 그냥 쓸 수는 없을까?
플래니는 외부 클라우드의 LLM API를 매번 호출하는 대신, LLM을 자체 서버에 서빙하는 방식을 택했습니다. 이로써 비용 예측의 불확실성을 근본적으로 해소했습니다.
비용 구조 혁신: 로컬 LLM 서빙 방식으로 사용량이 아무리 폭증해도 API 호출이 없어 근본적인 비용 절감 구조와 예측 가능한 정액제 운영이 가능합니다.
속도 및 보안 확보: 외부 서버와의 통신 지연이 줄어들어 더 빠른 답변 속도를 제공하며, 중요한 기업 데이터가 외부로 나가지 않아 보안성도 높아집니다.
물론, '정액제'라고 해서 성능까지 마법처럼 무제한은 아닙니다.
하루 10건의 질문이 발생하는 웹사이트와 하루 1,000건의 질문이 쏟아지는 대형 웹사이트는 필요한 서버 리소스 자체가 달라야 하겠죠? 플래니의 정액제는 고객이 선택한 요금제에 맞춰 가장 비용 효율적인 최적의 성능 수준을 보장하도록 설계되어 있습니다. 이는 고객이 필요 없는 리소스에 비용을 낭비하지 않도록 하기 위함이죠.
기술과 비용, 운영을 통합하는 전략적 접근
AI를 업무나 고객 서비스에 도입할 때는 단순히 기술만 보는 것으로는 충분하지 않습니다. 어떤 AI를 쓰느냐, 모델의 성능이 어느 정도냐도 중요하지만, 동시에 비용 구조를 이해하고 사용량을 예측 가능한 방식으로 관리할 수 있어야 진정한 효과를 누릴 수 있습니다.
특히 토큰 기반 과금처럼 사용량에 따라 비용이 변동되는 환경에서는, 아무리 강력한 AI라도 비용 예측이 어렵다면 조직 입장에서는 부담으로 작용할 수밖에 없습니다.
결국 성공적인 AI 도입을 위해서는 기술, 비용, 운영 세 가지 요소를 통합적으로 고려하는 전략적 접근이 필요합니다.
예측 가능한 비용으로 RAG 기반 고객 대화 서비스를 바로 적용해 보고 싶다면, 플래니와 상담해보세요.
