AI 에이전트 없이 쓴 Public AI 보고서의 최후, 할루시네이션과 바이브 사이팅

지난 2026년 6월, 글로벌 회계법인이 발간한 AI 보고서가 도마에 올랐습니다. 문제의 보고서는 지난해 10월 공개된 '에이전틱 AI'를 주제로 한 자료였는데요. 한 외부 검증 기관이 이 보고서를 정밀 분석한 결과를 공개하면서 논란이 시작됐습니다.

​

검증 결과는 충격적이었습니다. 보고서에 담긴 45개의 인용 중 실제 출처와 정확히 일치하는 것은 단 5개에 불과했습니다. 나머지는 출처가 왜곡됐거나, 일부가 지어졌거나, 확인 자체가 불가능한 수준이었죠. 사실에 관한 주장 중 절반가량은 거짓이거나 근거가 없거나 엉뚱한 출처에 연결돼 있었고, 심지어 같은 시기에 나온 자사의 다른 조사 결과와 수치가 어긋나는 대목까지 발견됐습니다. 결국 해당 법인은 보고서를 웹사이트에서 내리고 발간 경위를 조사하겠다고 밝혔습니다.

 

Public AI로 작성한 할루시네이션 보고서의 최후

 

아이러니한 것은 이 보고서의 주제였습니다. AI의 가능성을 알리기 위해 만든 보고서가, AI 할루시네이션의 실제 사례가 돼 버린 셈이니까요. 검증 기관은 이 현상에 '바이브 사이팅(Vibe Citing)'이라는 이름을 붙였습니다. 감에 의존해 코드를 짜는 '바이브 코딩'처럼, AI가 그럴듯해 보이는 출처를 짜깁기해 만들어내는 현상을 꼬집은 표현입니다. 사실 이런 일은 처음도 아닙니다. 지난해에는 또 다른 글로벌 컨설팅사가 정부에 납품한 보고서에서 AI가 만든 오류가 발견돼 대금 일부를 환불하기도 했죠. AI를 가장 잘 안다고 자부하는 조직들에서조차 이런 일이 반복된다면, 질문은 자연스럽게 우리에게로 돌아옵니다. 지금 우리 조직에서 AI로 작성되고 있는 보고서는 과연 괜찮을까요?

​

생성형 AI가 짧은 글이나 간단한 질의응답에서 보여주는 성능은 이미 검증됐습니다. 문제는 보고서입니다. 범용 생성형 AI는 '진실'을 판단하는 도구가 아니라 '그럴듯함'을 계산하는 모델입니다. 근거가 부족한 지점에서도 문장을 멈추지 않고, 가장 자연스러워 보이는 내용으로 빈칸을 채우죠. 짧은 글에서는 이 한계가 잘 드러나지 않지만, 수십 페이지에 달하고 여러 챕터가 얽힌 장문의 문서에서는 이야기가 달라집니다. 챕터가 넘어가며 맥락이 끊기고, 앞뒤 서술의 일관성이 무너지고, 존재하지 않는 출처가 그럴듯한 형식으로 끼어듭니다. 더 곤란한 것은 결과물이 틀린 티가 나지 않는다는 점입니다. 형식과 문장이 전문적일수록, 오류는 누군가 출처를 직접 클릭해 보기 전까지 발견되지 않습니다.

 

장문의 글일수록 바이브 사이팅을 경계해야 합니다

 

여기에 또 하나의 벽이 있습니다. 바로 보안입니다. 보고서다운 보고서를 쓰려면 연구 자료, 사업 실적, 고객 정보 같은 내부 데이터가 필요합니다. 그런데 이런 민감한 데이터를 외부 Public AI 서비스에 입력하는 것은 그 자체로 유출 리스크입니다. 결국 많은 조직이 딜레마에 빠집니다. 데이터를 넣자니 보안이 걸리고, 빼자니 보고서의 품질이 나오지 않는 상황이죠.

​

이번 사태의 원인을 되짚어 보면, AI가 글을 못 써서 벌어진 일이 아닙니다. 생성된 내용을 검증하는 장치 없이, 범용 AI의 출력을 그대로 문서로 옮기는 방식이 문제였습니다. 장문의 구조화된 문서에는 그에 맞는 접근이 필요합니다. 문서를 통째로 생성하는 것보다 챕터 단위로 분할하고, 각 챕터의 목적과 서술 방향을 구체적으로 가이드하고, 생성된 내용에 대한 검토와 출처 검증까지 프로세스 안에 포함하는 방식입니다. 조직에게 필요한 것은 텍스트를 만들어내는 AI가 아니라, 문서를 구조 단위로 관리하고 검증하는 체계인 셈입니다.

 

조직에게 필요한건 범용이 아닌 특화된 AI 에이전트

 

파수 AI의 보고서 작성 AI 에이전트(Document Writer)는 바로 이 구조를 구현한 솔루션입니다. Document Writer는 기업용 Private LLM인 Ellm (Enterprise LLM)을 기반으로, 역할에 따라 사회자와 각 분야 전문가 에이전트를 구성해 챕터별로 목적과 방향을 구체적으로 가이드하며 초안을 생성합니다. 하나의 AI가 문서를 통째로 쏟아내는 것이 아니라, 여러 에이전트가 다양한 관점에서 생성, 편집, 평가, 출처 검증을 거치는 방식이죠.

여기에 조직 고유의 문서 양식과 목차 구조까지 학습해 규격에 맞는 형식을 자동으로 반영하기 때문에, 작성자가 달라져도 동일한 품질의 문서가 완성됩니다. 그리고 이 모든 과정은 내부 데이터가 외부로 나가지 않는 온프레미스 환경에서 이뤄지니, 보고서 품질과 보안을 모두 지킬 수 있습니다.

 

파수 보고서 작성 AI 에이전트 | Fasoo Private LLM

 

 

AI 에이전트 구축에는 이제 보안도 필수입니다!

 

이 방식은 이미 여러 현장에서 도입하고 있습니다. 국내의 한 연구기관은 연구개발계획서, 보고서 등 장문의 구조화된 문서 작성에 상당한 시간이 들고 작성자에 따라 품질 편차가 생기는 오랜 과제를 안고 있었습니다. 연구 기밀과 개인정보 때문에 Public AI는 애초에 선택지가 될 수 없었고요. 이 기관은 Ellm을 온프레미스로 구축하고 문서 초안 작성 서비스를 구현해, 외부 유출 리스크 없이 문서 작업의 부담을 낮추고 연구자들이 본연의 연구에 집중할 수 있는 환경을 만들었습니다. 기존 데이터 보안 솔루션과 연동해 데이터별 접근 권한이 AI 추론 단계까지 이어지도록 한 것도 핵심 요건이었습니다.

 

Private LLM 도입 연구기관의 문서 작성 AI Case Study | Fasoo Ellm

 

보고서 작성에 AI를 쓸 것인가는 이미 지난 질문입니다. 남은 질문은 하나입니다. 그 AI가 검증과 보안이 설계된 구조 위에서 작동하고 있는가입니다. 이번 사태가 보여줬듯, 그 차이는 보고서 한 편의 완성도를 넘어 조직의 신뢰와 직결됩니다.

​

AI 에이전트 도입을 고민하고 계시다면, 파수 AI에 편하게 문의해 주세요.

 

파수 문의하기 | Fasoo AI Contact Us