2026. 5. 12. 10:07ㆍIT 트렌드가 한눈에!
AI를 도입한 기업은 많지만, AI를 제대로 운영하는 기업은 의외로 많지 않습니다. 비전이 흐릿한 채로 시작되거나, 데이터가 정비되지 않은 상태로 RAG가 구축되거나, 보안 체계가 빠진 채로 에이전트가 운영되는 경우가 적지 않기 때문이죠. 결국 AX의 성패를 가르는 핵심은 ‘도입 이후, 운영을 어떻게 풀어내는가’ 입니다.
이번 글에서는 파수 AI의 두 본부장님과 나눈 인터뷰를 통해, 기업 AI 도입의 실질적인 고민들을 풀어보려 합니다. 비전과 KPI, 데이터와 RAG 설계, 보안과 자율성까지. 기업 AX를 위해 현장에서 부딪히고, 문제를 풀어 가는 분들의 시선이 담긴 인사이트를 한자리에 모았습니다.
그리고 한 가지 더, 두 본부장님께 공통적으로 여쭤본 질문이 있습니다. "AI 시대의 신입 사원에게는 어떤 역량이 필요한가요?" 파수 AI를 비롯해 AI 업계로의 진로를 고민하는 분들이라면, 두 분의 답변에서 작은 힌트를 발견해 보시기 바랍니다.
파수 AI 고동현 본부장
- 제품 기획 및 관리, 신제품 판매 확대, 제휴 및 신사업 기획 담당
Q. 기업의 AI 도입과 스케일업 단계에서 발생하는 주요 실패 패턴은 무엇인가요?
가장 흔한 실패 패턴은 비전을 구체화하지 못하는 것입니다. 초기 많은 기업이 LLM 사이즈나 내용 생성 기능에만 집중해 내부에 구축하려 했는데요. 이건 스마트폰 시대에 성능이 뒤떨어진 PMP (휴대용 동영상 플레이어)를 사용하는 것과 같아서, 사용자 경험 불일치를 만들었습니다.
또한, 데이터 거버넌스의 부재 역시 스케일업을 가로막는 결정적인 요인입니다. 많은 기업이 단순히 데이터를 많이 모으는 것에 치중할 뿐 정작 필요한 데이터가 무엇인지 정의하거나 정제하지 않아요. 이로 인해 불필요한 데이터까지 모두 벡터 DB화하게 되고, 결과적으로 AI가 불필요한 답변을 내놓게 되면서 프로젝트는 신뢰를 잃고 실패하게 됩니다.
Q. AI를 단순 업무 보조로 사용하는 수준을 넘어, 비즈니스 모델을 재편하기 위해 필요한 성공 지표 (KPI)는 무엇인가요?
성공 지표는 기업이 설정한 구체적인 단계의 비전에 따라 개별적으로 수립돼야 합니다. 과거 전통 산업에서는 1명의 숙련도가 높아지면 전체 공정의 효율이 즉각적으로 개선됐죠. 하지만 현대의 복잡한 서비스 구조에서는 개인이 AI로 시간을 단축하더라도 조직의 프로세스가 받쳐주지 못하면 기업 차원의 이익으로 연결되지 않습니다.
따라서 단일 KPI를 적용하기 보다 고객사가 처한 AX 단계와 확보하고자 하는 경쟁 우위에 맞춰 '비전'을 먼저 정해두고, 그 비전에서 파생된 개별적인 성공 지표를 설정하는 것이 중요합니다.
Q. AI와 사람의 역할 경계를 설정하는 기준과 그 고도화 과정은 어떻게 이루어지나요?
초기 경계 설정은 AI의 정확성에 대한 신뢰 문제에서 시작된다고 말할 수 있어요. AI가 만들어 낸 결과물이 정확한지 믿을 수 없기 때문에, AI가 업무를 수행한 뒤 사람이 그 결과를 확인하는 단계가 포함돼야 합니다. 이 역할이 고정된 것은 아니고, 프로젝트를 진행하며 실제 상황에 맞춰 유동적으로 조정할 수 있습니다.
결국 AI 도입으로 인력을 드라마틱하게 줄이기는 어렵다고 볼 수 있습니다. 다만 사람이 다 감당하기 어려웠던 영역을 AI가 대신 채우는 식으로 활용될 수 있는데요. 예를 들어 고객 응대 영역에서는 24시간 대응이 가능해지면서 고객 만족도를 높이고, 브랜드 가치라는 무형의 자산을 쌓는 방향으로 고도화될 수 있습니다.
Q. 기업용 에이전트 활용 시 보안성과 자율성 사이의 충돌을 어떤 논리로 설득하시나요?
AI 에이전트의 자율성이 높아질수록 기밀 유출의 위험은 커질 수밖에 없습니다. 따라서 권한 관리를 전담하는 별도의 에이전트를 통해 보안성과 자율성의 균형을 잡아야 해요.
LLM은 사용자의 질문에 답변하기 위해 권한 밖의 정보까지 친절하게 제공하려는 특성이 있어요. 이를 해결하기 위해 기존의 암호화 체계를 유지하는 것은 물론, 권한 및 접근 제어를 전담하는 별도의 보안 에이전트를 두어 AI가 데이터를 활용하는 과정을 실시간으로 모니터링하고 통제해야 합니다.
AX 컨설팅 현장에서도 같은 이야기를 합니다. AI 비전을 세우고 프로세스를 혁신하는 모든 과정에서, 그 기반은 보안이어야 한다는 점을요.
Q. AX 업무에 기여하기 위해 각 조직의 신입 사원이 준비해야 할 역량은 무엇인가요?
이제부터 신입 사원들은 AI 툴 활용 능력을 넘어 업무의 본질적 흐름을 해결하기 위한 논리를 설계하고, 문제를 찾아내는 사고를 갖춰야 합니다.
앞으로 AI 사용법은 누구나 직관적으로 알 수 있을 만큼 쉬워질 거고, 그래서 단순히 툴을 잘 다루는 것은 더 이상 차별화된 경쟁력이 되지 못해요. 따라서 다양한 분야의 독서와 경험을 통해 지식의 덩어리를 키우고 일상의 작은 불편함에서도 ‘왜 이런 문제가 생겼으며 어떻게 구조를 바꾸면 해결될까?’를 끊임없이 고민하는 습관을 지녀야 합니다.
AI가 내놓은 결과물이 비즈니스 로직에 부합하는지 판단할 수 있는 '노하우'를 갖춘 인재가 되어야 다가올 AI 및 휴머노이드 시대에도 대체 불가능한 경쟁력을 유지할 수 있지 않을까요?
파수 AI 윤경구 본부장
- 개발센터장, AX 플랫폼 'Ellm' 개발 테크니컬 리더
Q. AI가 답변한 내용이 사내 컴플라이언스 위반한다면, 책임 소재는 누구에게 있나요?
AI 컴플라이언스 위반의 책임은 개인보다 기업과 기술 공급자에게 더 크게 있다고 생각합니다.
기업은 직원들이 AI를 안전하게 쓸 수 있도록 정책, 승인 절차, 접근 권한, 보안 기준 같은 관리 체계를 미리 갖춰야 하는데요. 이런 장치 없이 무작정 AI를 도입했다가 문제가 생겼다면, 1차 책임은 기업이 져야 한다고 봅니다. 기술 공급자도 마찬가지예요. AI가 잘못된 정보를 만들어내거나 보안 취약점이 발생했을 때, 단순히 ‘우리 서비스를 잘못 쓴 것’이라고 넘길 수는 없거든요. 기업이 믿고 도입한 만큼 안정성과 신뢰성은 공급사도 함께 책임져야 합니다.
물론 예외는 있어요. 규정을 알면서도 의도적으로 우회하거나 AI를 악용해 정보를 유출했다면, 그건 개인 책임이죠. 하지만 일반적인 업무 중 AI가 예상치 못한 결과를 낸 상황까지 개인에게 돌리는 건 합리적이지 않습니다.
결국 AI를 제대로 활용하려면 도입에서 끝나면 안 돼요. 기업의 거버넌스 체계, 공급사의 기술 안정성, 임직원 교육, 이 세 가지가 함께 갖춰질 때 비로소 안전한 AI 활용이 가능합니다.
Q. AI에게 학습시킬 데이터, 어떤 기준으로 구분하시나요?
현재 LLM 환경에서는 일반 지식과 전문 지식을 굳이 엄격하게 나눌 필요가 없습니다. 과거에는 무엇을 학습시키고, 무엇을 검색으로 보완할지 고민이 컸는데요. 요즘 LLM은 이미 방대한 지식을 갖추고 있어서, 제조ㆍ의료ㆍ금융ㆍ법무 같은 전문 영역도 충분히 다룰 수 있는 경우가 많아졌습니다.
그래서 실무에서는 AI에게 무엇을 외우게 할지 보다, 필요한 순간에 정확한 데이터를 찾아 연결해주는 구조를 만드는 게 더 중요합니다. 사내 규정, 업무 매뉴얼, 최신 정책 자료처럼 자주 바뀌거나 내부에만 있는 정보는 RAG 방식으로 연결하는 편이 훨씬 현실적이고 관리도 편하거든요.
결국 기업이 집중해야 할 건 데이터를 무조건 학습시키는 게 아니라, 신뢰할 수 있는 데이터를 잘 정리해두고 AI가 필요할 때 정확히 찾아 쓸 수 있는 환경을 만드는 것이라고 생각합니다.
Q. 고객사별 RAG 구조 설계 시, 기술 조합은 어떤 기준으로 결정하시나요?
기술 조합의 기준은 최신 기술이 아니라, 실제 성능 평가를 통해 고객사 환경에 가장 적합한 구조를 찾는 것입니다.
먼저 고객사의 FAQ와 실제 업무 질문으로 AI 정답률을 확인하는데, 기대에 못 미치면 모델을 탓하기보단 파이프라인 전체를 들여다봅니다. 데이터가 제대로 들어왔는지, 문서가 제대로 읽혔는지, 청킹 (Chunking)이 문맥을 끊지 않았는지를 차근차근 살펴보는 거죠.
데이터 품질이 확인되면 키워드 검색, 벡터 검색, 하이브리드 검색을 직접 비교해 보는데요. 문서 간 관계가 복잡한 경우엔 지식 그래프도 함께 활용합니다. 결국 RAG 설계는 정답이 정해진 게 아닙니다. 고객사 데이터와 성능 결과를 보면서 가장 잘 맞는 조합을 계속 찾아가는 과정이고, 고객이 만족할 때까지 반복하고 개선하는 방식으로 접근하고 있습니다.
Q. Private LLM의 도메인 지식 한계, 파수 AI는 어떻게 해결하나요?
파수 AI는 AI 기술을, 고객사는 도메인 지식을 서로 공유하며 함께 채워가는 방식인데요. 어느 한쪽만으로는 완성되지 않기 때문에, 협업 자체가 핵심이라고 생각합니다.
다만 요즘은 고객사도 AI에 대한 이해 수준이 많이 높아졌어요. 도메인 지식은 물론이고, AI 기술까지 깊이 아는 분들이 늘고 있어서 저희도 그만큼 더 성장해야 한다는 걸 느낍니다.
결국 중요한 건 문제를 마주했을 때 미리 예측하고 대비하는 자세, 그리고 고객의 지식을 겸손하게 받아들이는 열린 태도예요. 도메인 지식이든 AI 지식이든, 배움에 닫혀 있으면 좋은 솔루션을 만들 수 없으니까요.
Q. 보안과 업무 효율 사이, 신입 사원은 어떻게 AI를 활용해야 할까요?
AI 시대의 신입 사원에게 가장 중요한 건, AI를 단순한 도구가 아니라 협업하고 관리해야 할 대상으로 바라보는 시각이에요.
AI는 일 처리 속도가 워낙 빠르다 보니, 비판적 사고 없이 결과만 받아들이다 보면 중간에 생긴 오류를 그냥 지나치게 되는 경우가 많거든요. 그래서 조급함을 버리고 AI와 토론하듯 대화하면서 전체 맥락을 이해하는 게 우선입니다.
결국 신입 사원에게 필요한 건 두 가지예요. AI의 답변을 그대로 수용하지 않고 맥락을 파악하는 이해력, 그리고 AI와 함께 더 깊이 생각하는 습관입니다. 이 두 가지 역량을 키우는 데 집중한다면 AI를 제대로 활용하는 사람이 될 수 있다고 생각합니다.
Q. AI 에이전트 환경에서 보안 위협이 현실화되고 있는데, Ellm 2.0은 이를 어떻게 대응하고 있나요?
Ellm은 보안을 위해 3가지 핵심 전략을 갖추고 있습니다. 샌드박스 기반 격리, 접근 제어, 그리고 철저한 추적성입니다.
구체적으로는 Agent 앱들이 파이썬 코드 등을 실행할 때, 권한이 제한된 컨테이너 환경 안에 가둬서 외부 유출이나 침입을 차단합니다. 여기에 파수의 기술을 활용해 개인정보 마스킹과 사용자 권한에 따른 접근 제어도 함께 적용하고 있어요.
앞으로는 최신 AI 공격 기법에 대응하는 보안 기술을 Ellm에 지속적으로 적용해, 피해를 최소화하는 방어 체계를 더욱 고도화할 계획입니다.
두 분의 답변을 따라가다 보면 한 가지 공통된 메시지가 떠오릅니다. AI 전환은 결국 기술의 문제가 아니라, 비전ㆍ데이터ㆍ보안ㆍ사람이 함께 맞물려 돌아가야 가능한 일이라는 겁니다. 좋은 LLM과 최신 RAG 기술도 중요하지만, 그것이 어떤 비전 위에서 작동하고, 어떤 데이터 거버넌스의 보호를 받고 있으며, 누가 그 결과를 책임지고 검토하느냐가 더 큰 차이를 만듭니다.
AI 전환을 둘러싼 다양한 인사이트는, 파수 AI가 직접 찾아가는 고객 맞춤형 세미나, ‘FDI go’에서 만나보실 수 있습니다. 지속 가능한 AI 전환을 고민하고 계시다면, 아래 링크를 통해 신청해 주세요.
파수 고객 맞춤형 지식공유 세미나 | FDI go
FDI go, 세미나, IT트렌드, GenAI, 기업형 AI, AI-Ready, 제로트러스트 보안, DSP, DSPM, 클라우드, 협업, 문서중앙화, CAD 보안, 소스코드 보안, 화면 보안, 출력물 보안, 공급망 보안, 가명정보 결합, 개인정
www.fasoo.ai
'IT 트렌드가 한눈에!' 카테고리의 다른 글
| 지속 가능한 AI 전환의 핵심 조건은? - 장기적 관점의 ROI와 리스크 관리 (0) | 2026.05.12 |
|---|---|
| 정부 AI 지원사업 선정, 핵심은 AI 기술력과 검증된 수행 역량 (4) | 2026.05.06 |
| K-방산 호황 뒤에 숨은 기술 유출, 그리고 데이터 중심 보안 (1) | 2026.04.29 |
| 클로드 미토스 쇼크와 AI 시대 데이터 보안 패러다임의 변화 (0) | 2026.04.22 |
| 파수 AI, FDI 2026 Symposium 개최 - 지속가능한 AI 혁신 전략, 데이터, 보안을 한자리에서! (0) | 2026.04.08 |