챗GPT, 클로드로는 부족하다? 우리 회사의 지식을 학습하는 AI에이전트가 필요한 이유

요즘 기업 및 기관의 AI 화두는 '도입 여부'에 있지 않습니다. 대부분의 조직이 이미 AI를 도입하고 예산도 늘렸으니까요. 문제는 도입 이후입니다. 글로벌 컨설팅 기업이 올해 공개한 조사에서도, 생성형 AI와 에이전틱 AI의 투자 대비 수익을 명확히 입증하기 어렵다는 점은 이미 CIO들 사이의 공감대로 자리 잡았다고 언급됐습니다. 여전히 실험 단계에 머무는 조직과 실질적인 가치를 만들어내는 조직 사이에 분명한 격차가 존재한다는 진단이었죠.

​

이 격차를 가장 선명하게 보여준 자료는 지난해 미국 MIT 연구진이 내놓은 보고서였습니다. 300여 건의 공개 도입 사례와 다수의 경영진 설문을 분석한 결과, 전 세계 기업이 많은 투자를 했음에도 실질적인 가치를 만들어낸 것은 5% 남짓이었다는 내용이었습니다.

 

조직의 업무와 맥락을 학습하기 어려운 Public AI

 

여기서 눈여겨볼 부분은 95%라는 숫자 자체 보다는 그 원인 분석이었는데요. 연구진은 실패의 이유를 모델의 성능이나 규제 탓이 아니라, 범용 도구가 조직의 업무 흐름과 맥락을 학습하지 못하고 피드백을 쌓아 나아지지도 못한다는 것이라 말했습니다. 개인이 쓸 때는 유연하고 유능하던 도구가 조직 안으로 들어오는 순간 멈춰 서는 이유입니다.

​

생각해 보면 당연한 결과이기도 합니다. 챗GPT, 클로드, 제미나이 같은 범용 AI 모델은 공개된 방대한 지식을 학습했지만, 우리 조직의 내부 규정과 축적된 기술 자료, 오랜 시간에 걸쳐 만들어진 업무 관행은 학습한 적이 없습니다. 그래서 일반적인 질문에는 괜찮은 답을 내놓다가도, 실제 업무 현장의 구체적인 질문 앞에서는 힘을 쓰지 못하죠. 담당자가 답변을 받고도 처음부터 다시 확인해야 한다면, 그 AI는 업무를 줄여준 것이 아니라 하나 더 얹은 셈이 됩니다.

 

비용과 응답 품질을 최적화하기 위한 LLM 선정의 중요성

 

 

비용 문제도 함께 걸립니다. 중대형 범용 LLM은 운영에 들어가는 비용에 비해 특정 업무에 대한 대응력이 떨어지는 경우가 많습니다. 그렇다고 공개된 Public AI를 그대로 쓰자니 보안과 거버넌스 문제로 실제 업무에 적용하기가 어렵고요. 사내 문서와 고객 데이터를 외부 모델에 그대로 넣을 수 있는 조직은 많지 않으니까요. 성과는 나오지 않는데 비용과 리스크만 계속 쌓이는 구조인 셈입니다.

​

그래서 상당수 조직이 내부에 직접 구축하는 Private AI로 방향을 틀고 있습니다. 다만 내부에 세웠다는 사실만으로 성과가 저절로 따라오지는 않습니다. AI가 어떤 업무를 어느 범위 안에서 처리할 것인지 명확하게 정의되지 않으면, 기대한 성과는 나오지 않고 관리 부담과 혼란만 커집니다. 여기에 데이터의 최신화 체계와 권한(ACL) 반영이 빠지면 신뢰성도 확보되지 않습니다. 낡은 문서를 근거로 답하거나 볼 권한이 없는 정보가 답변에 섞여 나오는 순간, 그 AI는 업무에 활용하기 어려워 집니다.

 

AI에 신뢰성을 지키는 최신화와 권한 관리

 

이제 조직은 AI에 대한 질문을 바꿔야 할 시점입니다. 어떤 모델을 도입할 것인가보다, 우리 조직의 지식이 AI가 답할 수 있는 형태로 정리돼 있는가를 먼저 물어야 합니다. 앞선 보고서가 전한 성공 사례들의 공통점도 비슷했습니다. 하나의 명확한 업무 지점을 골라 그 맥락 안에서 제대로 작동하도록 만든 쪽이 성과를 냈다는 것이었죠. 결국 필요한 것은 모든 것을 아우르는 거대 모델보다, 효율적인 모델을 특정 업무 도메인에 최적화해 전문가 수준으로 답하게 만드는 접근입니다.

​

파수 AI의 도메인 지식 AI 에이전트(Domain Knowledge Master)는 이 접근을 그대로 구현한 솔루션입니다. 기업형 Private sLLM인 Ellm을 기반으로 최적화된 모델로 구축돼 비용과 운영 부담을 크게 줄이고, 조직의 업무를 세분화된 단위로 나눠 학습하기 때문에 범용 모델보다 빠르고 정확한 답변을 제공합니다. 여기에 지식 큐레이션과 업데이트, 권한 반영 체계를 함께 갖춰 언제나 최신 상태의 안전하고 신뢰할 수 있는 지식만 답변의 근거가 되도록 합니다.

 

파수 도메인 지식 AI 에이전트 | Fasoo Private LLM

 

우리 회사의 지식을 학습해 답변하는 도메인 지식 AI 에이전트

 

이렇게 되면 AI 도입의 의미도 달라집니다. 흩어져 있던 사내 지식이 하나의 자산으로 통합되고, 임직원 누구나 즉시 물어보고 신뢰할 수 있는 답을 얻는 환경이 만들어집니다. 권한과 규제 요건을 지키면서 지식을 공유할 수 있으니 보안 부서가 도입을 망설일 이유도 줄어들죠. 무엇보다 성능과 투자 대비 효과를 동시에 따질 수 있는 구조가 됩니다. 95%와 5%를 갈랐던 지점이 바로 여기에 있는 셈입니다.

​

AI에서 성과가 나지 않는 이유를 플랫폼이나 모델 탓으로 돌리곤 합니다. 하지만 시간이 지날수록 결과가 가리키는 방향은 조금 다릅니다. 조직 고유의 지식을 AI가 답할 수 있는 형태로 바꿔뒀는지, 그 지식이 최신인지, 누구에게까지 답해도 되는지가 정리돼 있는지에서 성과가 갈렸습니다. 도메인 특화 AI가 바로 그 정리를 전제로 작동하는 방식입니다.

​

조직에 특화된 AI 도입과 사내 지식의 자산화를 고민하고 계시다면, 파수 AI에 편하게 문의해 주시기 바랍니다.

 

파수 문의하기 | Fasoo AI Contact Us