AI 연구자들은 주요 LLM 내에서 심각한 취약점을 노출합니다.

AI 연구자들은 주요 LLM 내에서 심각한 취약점을 노출합니다.

타임 스탬프 : 15 년 2023 월 3 일 오전 54:XNUMX
소스 노드 : 2936742
15 년 2023 월 XNUMX 일 (나노 워크 뉴스) ChatGPT 및 Bard와 같은 대형 언어 모델(LLM)은 올해 전 세계를 강타했습니다. 기업은 이러한 AI 도구를 개발하기 위해 수백만 달러를 투자했으며 일부 주요 AI 챗봇의 가치는 수십억 달러에 달했습니다. AI 챗봇 내에서 점점 더 많이 사용되는 이러한 LLM은 '프롬프트'라고 알려진 사용자 지정 요청에 대해 제공하는 답변을 학습하고 알리기 위해 전체 인터넷 정보를 긁어냅니다. 그러나 AI 보안 스타트업 Mindgard와 영국 Lancaster University의 컴퓨터 과학자들은 이러한 LLM 덩어리가 단돈 50달러로 일주일 이내에 복사될 수 있으며, 얻은 정보를 표적 공격에 사용할 수 있음을 입증했습니다. . 연구원들은 이러한 취약점을 악용하는 공격자가 개인 기밀 정보를 공개하거나, 가드레일을 우회하거나, 잘못된 답변을 제공하거나, 추가 표적 공격을 가할 수 있다고 경고했습니다. 새로운 논문에 자세히 설명되어 있습니다(“모델 거머리: LLM을 표적으로 하는 추출 공격”)는 CAMLIS 2023(정보 보안을 위한 응용 기계 학습 컨퍼런스)에서 발표될 예정이며, 연구원들은 기존 LLM의 중요한 측면을 저렴하게 복사할 수 있음을 보여주고 취약점이 다른 모델 간에 전송된다는 증거를 보여줍니다. '모델 거머리'라고 불리는 이 공격은 LLM이 모델 작동 방식을 알려주는 통찰력 있는 정보를 끌어낼 수 있도록 일련의 목표 프롬프트를 요청하는 방식으로 LLM과 대화하는 방식으로 작동합니다. ChatGPT-3.5-Turbo에 대한 연구에 초점을 맞춘 연구팀은 이 지식을 사용하여 100배 더 작지만 LLM의 주요 측면을 복제한 자체 복사 모델을 만들었습니다. 그런 다음 연구원들은 이 모델 사본을 테스트 기반으로 사용하여 탐지 없이 ChatGPT의 취약점을 악용하는 방법을 알아낼 수 있었습니다. 그런 다음 모델에서 수집한 지식을 사용하여 성공률이 11% 증가한 ChatGPT의 취약점을 공격할 수 있었습니다. Mindgard의 CEO이자 연구 책임자인 Lancaster University의 Peter Garraghan 박사는 다음과 같이 말했습니다. “우리가 발견한 것은 과학적으로 흥미롭지만 극도로 걱정스럽습니다. 이는 폐쇄 소스와 오픈 소스 기계 학습 모델 간에 보안 취약점이 성공적으로 이전될 수 있음을 경험적으로 입증한 최초의 작업 중 하나입니다. 이는 업계가 HuggingFace와 같은 장소에서 호스팅되는 공개적으로 사용 가능한 기계 학습 모델에 얼마나 많이 의존하고 있는지를 고려할 때 매우 우려되는 일입니다.” 연구원들은 자신들의 연구에서 이러한 강력한 디지털 AI 기술의 용도가 분명하지만 숨겨진 약점이 있으며 심지어 모델 전체에 공통적인 취약점이 있을 수도 있다는 점을 강조한다고 말했습니다. 업계 전반의 기업은 현재 스마트 비서와 같은 광범위한 작업을 수행하기 위해 자체 LLM을 만드는 데 수십억 달러를 투자하거나 준비하고 있습니다. 금융 서비스 및 대기업은 이러한 기술을 채택하고 있지만 연구원들은 이러한 취약점이 제XNUMX자 LLM을 구축하거나 사용하려는 모든 기업의 주요 관심사가 되어야 한다고 말합니다. Garraghan 박사는 "LLM 기술은 잠재적으로 혁신적이지만 기업과 과학자 모두 LLM 채택 및 배포와 관련된 사이버 위험을 이해하고 측정하는 데 매우 신중하게 생각해야 합니다."라고 말했습니다.

타임 스탬프 :

더보기 나노 워크