ChatGPT가 마약 제조법을? 프롬프트 공격으로 보는 AI 보안의 중요성
최근 해커 플리니 프롬프터(Pliny the Prompter)가 GPT 스토어에 '갓모드 GPT (Godmode GPT)'라는 프로그램을 공개했습니다. 갓모드 GPT는 챗GPT의 탈옥(Jail Breaking) 모드로, 인종, 성별, 종교에 대한 편향된 발언, 욕설, 범죄 수법 등 유해한 정보를 제공하지 못하도록 설계된 필터를 우회해 비윤리적인 정보 생성이 가능합니다. 이 모드를 통해 AI 챗봇은 욕설을 하거나 메스암페타민 제조 방법, 자동차 탈취, 폭탄 제조법 등을 안내할 수 있습니다. 실제로 갓모드 GPT는 사람에게 유해한 정보를 무분별하게 생성해 AI의 취약점에 대한 경각심을 일깨워줬습니다. 생성형 AI를 대상으로 하는 프롬프트 주입 공격 방식은 크게 두가지 방식으로 나뉩니다. 갓모드 GPT..
2024.07.24