스카이넷 어이? 차세대 AI 보안 위험에 대해 기대할 수 있는 사항

스카이넷 어이? 차세대 AI 보안 위험에 대해 기대할 수 있는 사항

타임 스탬프 : 28 년 2023 월 9 일 오전 00:XNUMX
소스 노드 : 3037761

인공지능(AI) 혁신이 빠르게 진행됨에 따라 2024년은 조직과 관리 기관이 AI가 앞지르는 것을 방지하기 위해 보안 표준, 프로토콜, 기타 가드레일을 확립하는 중요한 시기가 될 것이라고 보안 전문가들은 경고합니다.

정교한 알고리즘과 대규모 데이터 세트를 기반으로 하는 대규모 언어 모델(LLM)은 뛰어난 언어 이해력과 인간과 같은 대화 능력을 보여줍니다. 현재까지 이러한 플랫폼 중 가장 정교한 플랫폼 중 하나는 고급 추론 및 문제 해결 기능을 자랑하고 회사의 ChatGPT 봇을 지원하는 OpenAI의 GPT-4입니다. 그리고 회사는 Microsoft와 협력하여 GPT-5 작업을 시작했다고 CEO Sam Altman이 말했습니다. 훨씬 더 나아갈 것이다 — "초지능"을 소유할 정도로.

이러한 모델은 조직의 생산성과 효율성을 크게 향상시킬 수 있는 엄청난 잠재력을 나타내지만, 전문가들은 업계 전체를 위한 때가 왔다는 데 동의합니다. 내재된 보안 위험을 해결하기 위해 개발 및 배포로 인해 발생합니다. 물론, Writerbuddy AI의 최근 연구AI 기반 콘텐츠 작성 도구를 제공하는 는 ChatGPT가 이미 14억 건의 방문수를 기록하고 있음을 확인했습니다.

AI 기반 개인 정보 보호 및 보안 회사인 MineOS의 CEO인 Gal Ringel은 조직이 AI 발전을 향해 나아가면서 “엄격한 윤리적 고려 및 위험 평가가 결합되어야 한다”고 말했습니다.

AI는 실존적 위협인가?

차세대 AI에 대한 보안에 대한 우려는 지난 34,000월부터 약 XNUMX명의 최고 기술 전문가가 서명한 공개 서한과 함께 더 강력한 생성 AI 시스템의 개발 중단을 요구하면서 퍼지기 시작했습니다. OpenAI의 GPT-4. 편지에는 기술이 대표하는 사회에 대한 "심각한 위험"과 그 누구도, 심지어 제작자도 이해하거나 예측하거나 이해할 수 없는 더욱 강력한 디지털 정신을 개발하고 배포하려는 AI 연구소의 "통제 불능 경쟁"이 언급되어 있습니다. 안정적으로 제어할 수 있습니다.”

이러한 디스토피아적인 두려움에도 불구하고 대부분의 보안 전문가는 기계가 인간보다 더 똑똑해지고 세상을 장악하는 종말 시나리오에 대해 그다지 우려하지 않습니다.

사이버 보안 회사인 Netrix의 영업 엔지니어링 이사인 Matt Wilson은 “공개 서한은 광범위한 AI의 급속한 발전과 잠재적인 적용에 대한 타당한 우려를 언급했습니다. '이것이 인류에게 좋은 것인가'라는 의미입니다."라고 말했습니다. "특정 시나리오에서는 인상적이지만 공개 버전의 AI 도구는 그다지 위협적으로 보이지 않습니다."

우려스러운 점은 AI의 발전과 채택이 위험을 적절하게 관리하기에는 너무 빠르게 진행되고 있다는 사실이라고 연구자들은 지적합니다. AI 보안 제공업체 SlashNext의 CEO인 Patrick Harr는 “우리는 판도라의 상자를 다시 닫을 수 없습니다.”라고 말했습니다.

더욱이 AI 보안 회사인 DarkTrace Federal의 CEO인 마커스 파울러(Marcus Fowler)는 "공간에서 혁신의 속도를 멈추려는 시도는 별도로 해결해야 하는 위험을 완화하는 데 도움이 되지 않습니다"라고 말합니다. 그렇다고 AI 개발이 아무런 확인 없이 계속되어야 한다는 의미는 아니라고 그는 말합니다. 반대로 위험 평가 및 적절한 보호 장치 구현 속도는 LLM 교육 및 개발 속도와 일치해야 합니다.

Fowler는 “AI 기술이 빠르게 발전하고 있기 때문에 AI를 사용하는 정부와 조직도 AI 안전에 대한 논의를 가속화해야 합니다.”라고 설명합니다.

생성적 AI 위험

생성형 AI에는 고려해야 할 몇 가지 널리 알려진 위험이 있으며, 미래 세대의 기술이 더욱 스마트해짐에 따라 더욱 악화될 것입니다. 인간에게는 다행스럽게도 지금까지 AI가 창조자를 파괴하기 위해 공모하는 공상 과학 소설의 종말 시나리오를 제시하는 사람은 없습니다.

대신 데이터 유출, 잠재적으로 비즈니스에 민감한 정보와 같은 훨씬 더 친숙한 위협이 포함됩니다. 악의적인 활동을 위한 오용; 사용자를 오도하거나 혼란스럽게 할 수 있는 부정확한 출력으로 인해 궁극적으로 부정적인 비즈니스 결과를 초래할 수 있습니다.

LLM은 정확하고 상황에 맞는 결과를 제공하기 위해 방대한 양의 데이터에 액세스해야 하기 때문에 민감한 정보가 실수로 공개되거나 오용될 수 있습니다.

“가장 큰 위험은 직원들이 음식을 먹여살리는 것입니다. 비즈니스에 민감한 정보로 회사의 독점 정보가 포함된 비즈니스 자료나 이메일의 내용을 변경하거나 계획을 작성하도록 요청할 때”라고 Ringel은 말합니다.

사이버 공격의 관점에서 볼 때 위협 행위자는 이미 ChatGPT 및 기타 AI 시스템을 무기화하는 수많은 방법을 찾았습니다. 한 가지 방법은 이 모델을 사용하여 정교한 BEC(Business Email Compromise) 및 기타 피싱 공격을 생성하는 것이었습니다. 이를 위해서는 성공을 위해 설계된 사회적으로 엔지니어링되고 개인화된 메시지를 생성해야 합니다.

Harr는 “악성 프로그램을 통해 ChatGPT를 사용하면 사이버 범죄자가 악성 코드 탐지 엔진보다 한 발 앞서 나갈 수 있도록 무한한 코드 변형을 만들 수 있습니다.

AI 환각은 또한 심각한 보안 위협을 야기하며 악의적인 행위자가 독특한 방식으로 ChatGPT와 같은 LLM 기반 기술을 무장시킬 수 있게 해줍니다. AI 환각은 충분하지 않거나, 편향되거나, 완전히 사실이 아닌 AI의 그럴듯한 반응입니다. Gartner의 부사장인 Avivah Litan은 “허구적이거나 기타 원치 않는 대응은 조직을 잘못된 의사 결정, 프로세스 및 오해의 소지가 있는 커뮤니케이션으로 이끌 수 있습니다.”라고 경고합니다.

데이터 보안 제공업체인 Securiti의 AI 부사장인 Michael Rinehart는 위협 행위자들이 이러한 환각을 이용해 LLM을 독살하고 "질문에 대한 응답으로 특정 잘못된 정보를 생성"할 수도 있다고 말합니다. "이는 취약한 소스 코드 생성으로 확장 가능하며 사이트 사용자에게 안전하지 않은 작업을 지시할 수 있는 채팅 모델로 확장 가능합니다."

공격자는 심지어 소프트웨어 패키지의 악성 버전 게시 LLM은 그것이 문제에 대한 합법적인 해결책이라고 믿고 소프트웨어 개발자에게 추천할 수 있습니다. 이러한 방식으로 공격자는 AI를 더욱 무기화하여 공급망 공격을 가할 수 있습니다.

앞으로 길

전문가들은 AI 혁신이 업계의 통제 능력을 뛰어넘기 전에 이러한 위험을 관리하려면 신중하고 집단적인 조치가 필요하다고 지적합니다. 그러나 그들은 AI 문제를 해결하는 방법에 대한 아이디어도 가지고 있습니다.

Harr는 “A로 AI와 싸우다” 전략에서는 “AI로 인한 위험을 방지하기 위한 보안 솔루션과 전략의 발전이 동등하거나 더 빠른 속도로 발전해야 합니다.

“사이버 보안 보호는 AI 기술을 사용해 사이버 위협에 성공적으로 대처하기 위해 AI를 활용해야 합니다.”라고 그는 덧붙입니다. “비교해 보면 레거시 보안 기술은 이러한 공격에 대비할 수 없습니다.”

그러나 조직은 또한 AI 도입에 대해 다음과 같은 신중한 접근 방식을 취해야 합니다. AI 기반 보안 솔루션 — Netrix의 Wilson은 환경에 더 많은 위험을 초래하지 않도록 주의합니다.

“AI가 무엇인지, 아닌지를 이해하세요.”라고 그는 조언합니다. "AI를 사용하여 AI가 수행하는 작업, 솔루션을 향상시키는 방법, 조직에 중요한 이유를 설명하기 위해 AI를 사용한다고 주장하는 공급업체에 도전하세요."

Securiti의 Rinehart는 집중적인 솔루션을 배포한 다음 조직이 불필요한 위험에 노출되기 직전에 가드레일을 마련하여 AI를 환경에 단계적으로 적용하는 2단계 접근 방식을 제공합니다.

"먼저 특정 사용 사례에 가치를 제공하도록 맞춤화된 지식 기반으로 잠재적으로 강화되는 애플리케이션별 모델을 채택합니다."라고 그는 말합니다. "그런 다음... 개인 정보 보호 및 보안 문제에 대해 메시지를 주고받는 메시지를 면밀히 조사하여 이러한 모델을 보호하는 모니터링 시스템을 구현합니다."

전문가들은 또한 위험을 완화하기 위해 나중에 생각하기보다는 AI를 배포하기 전에 AI 관련 보안 정책 및 절차를 설정할 것을 권장합니다. 규정 준수를 감독하기 위해 전담 AI 위험 책임자나 태스크포스를 구성할 수도 있습니다.

기업 외부에서도 업계 전체는 기술을 개발하고 사용하는 모든 사람이 채택할 수 있는 AI 관련 보안 표준 및 관행을 설정하기 위한 조치를 취해야 합니다. 이는 전 세계적으로 공공 및 민간 부문 모두의 공동 조치가 필요합니다. , DarkTrace Federal의 Fowler는 말합니다.

그는 인용 안전한 AI 시스템 구축을 위한 지침 미국 사이버보안 및 기반시설 보안국(CISA)과 영국 국립사이버보안센터(NCSC)가 공동으로 발표한 AI의 지속적인 진화에 수반되어야 하는 노력 유형의 예입니다.

Securiti의 Rinehart는 “본질적으로 2024년에는 새롭게 떠오르는 생성 AI 시대에 사용자와 데이터를 보호하기 위해 전통적인 보안과 최첨단 AI 기술이 빠르게 적용되는 해가 될 것입니다.”라고 말합니다.

타임 스탬프 :

더보기 어두운 독서