최근 해커 플리니 프롬프터(Pliny the Prompter)가 GPT 스토어에 '갓모드 GPT (Godmode GPT)'라는 프로그램을 공개했습니다. 갓모드 GPT는 챗GPT의 탈옥(Jail Breaking) 모드로, 인종, 성별, 종교에 대한 편향된 발언, 욕설, 범죄 수법 등 유해한 정보를 제공하지 못하도록 설계된 필터를 우회해 비윤리적인 정보 생성이 가능합니다.   이 모드를 통해 AI 챗봇은 욕설을 하거나 메스암페타민 제조 방법, 자동차 탈취, 폭탄 제조법 등을 안내할 수 있습니다. ​실제로 갓모드 GPT는 사람에게 유해한 정보를 무분별하게 생성해 AI의 취약점에 대한 경각심을 일깨워줬습니다. ​생성형 AI를 대상으로 하는 프롬프트 주입 공격 방식은 크게 두가지 방식으로 나뉩니다. 갓모드 GPT..

행사명 : Fasoo Digital Intelligence 2024 일시 : 2024년 4월 3일(수) 13:30 ~ 17:30 장소 : 페어몬트 앰배서더 서울 여의도 – 그랜드볼룸(B1층) 주최 : Fasoo & Sparrow *FDI 2024 홈페이지 바로가기 파수의 연례 행사인 Fasoo Digital Intelligence 2024 (FDI 2024) 행사가 성황리에 개최됐습니다. ​ 이번 FDI 2024는 Get AI-Ready: Enterprise LLM, Data and Security (AI 시대를 위한 준비: 엔터프라이즈 LLM, 데이터 그리고 보안)를 주제로 진행됐는데요. 시대를 반영한 주제인 만큼, 각 분야의 기업 및 기관의 CIO, CISO, AI 관련 실무자 등 약 400여명의 고..

글로벌 IT 리서치 기관 가트너(Gartner)의 '생성형 AI 우려사항에 대한 IT 경영진 설문조사'에 따르면 응답자의 42%가 개인정보보호에 대해 우려하고 있으며, 환각/할루시네이션(14%), 보안(13%) 등이 그 뒤를 이었습니다. 기업 및 기관들은 대규모 언어모델에 기반한 대화형 인공지능 서비스를 활용해 새로운 비즈니스 기회 창출 및 가치 제고를 위해 다양한 시도를 하고 있습니다. 그러나 이처럼 대규모 언어 모델(LLM)로 일상적인 대화는 물론 복잡한 추론 작업을 해내는 생성형 AI 시대가 열리면서, 예기치 못한 변수가 발생했습니다. 그것은 바로 개인정보가 유출되는 보안 취약점입니다. 생성형 AI의 데이터 수집 과정, 학습 과정, 및 활용 과정에서 발생할 수 있는 대표적인 사례는 아래와 같습니다...

해킹메일, 피싱메일, 혹스메일, 스피어피싱··· 가장 보편적이면서도 타격감 높은 APT 공격 유형인 ‘악성메일’입니다. 개인을 대상으로도 많이 발생하지만, 기업 혹은 기관을 대상으로 큰 규모의 자산을 탈취하는 사건이 빈번히 발생하곤 합니다. 파수가 포스팅에서 여러 번 다룬 주제이기도 한데요. 최근엔 악성메일 공격이 새로운 양상을 보이고 있습니다. 본격적으로 우리의 삶을 바꾸고 있는 생성형 AI의 등장과 발전 덕분(?)이죠. 일상생활은 물론 업무에도 활용되기 시작한 생성형 AI는 새로운 보안 위협을 동반합니다. 주로 서비스를 이용하며 발생하는 정보유출 문제를 생각하실텐데요. 그 활용성이 무궁무진한 만큼, 악의적으로도 다양하게 활용할 수 있습니다. 오늘은 생성형 AI 기술을 활용한 악성메일 공격의 고도화와 ..

ChatGPT, Google Bard, Bing Chat··· 이들은 대표적으로 우리에게 잘 알려진 퍼블릭 생성형 AI 서비스입니다. 생성형 AI 서비스는 대형 언어 모델(LLM, Large Language Model) 기반의 대화형 인공지능 서비스로, 거대한 양의 정보와 패턴을 학습하고 훈련해 새롭고 독창적인 콘텐츠를 제공합니다. LLM 기반의 생성형 AI는 광범위한 유용성을 가지고 있어 관련 시장은 빠르게 확장되고 있으며, 다른 레벨의 경쟁 우위 및 가치 창출 기회를 제공할 것으로 예측돼 더 많은 관심을 받고 있습니다. 하지만, 기업 및 기관들의 퍼블릭 AI 활용 과정에서 발생할 수 있는 업무상 비밀ㆍ개인정보 유출 위험성 및 제공받는 정보의 오류 또는 편향성이 존재하기에, 별도의 보안 교육, 가이드라..

연말이 다가오며, 거리가 화려해지고 있습니다. 다양한 장식과 불빛들로 모두가 기분이 좋아지는 연말 시즌, 대형 전광판(디스플레이 스크린) 이슈로 곤혹을 겪은 사건이 있었는데요. 건물 외부에 설치된 대형 전광판에 눈살이 찌푸려지는 메시지가 송출된 사건입니다. 서울 한복판 대형 전광판에 실시간으로 범죄를 암시하는 메시지가 걸린건데요. 거리를 지나던 시민들이 이 장면을 목격했고, 해당 이슈는 각종 SNS와 인터넷 커뮤니티를 뜨겁게 달궜습니다. 의외로 비슷한 사건이 종종 일어납니다. 신제품 홍보를 원하는 기업이 SNS 채널에서 n행시 이벤트를 개최할 때, 댓글이 부적절한 키워드들로 도배되는 당황스러운 상황을 예시로 들 수 있죠. ​ 이 사건들은 공통점이 있습니다. 외부에서 시스템을 해킹하는 등의 공격 행위가 없..