지루한 유인원 개발자, 미국-영국 군사 훈련 시스템 포기

지루한 유인원 개발자, 미국-영국 군사 훈련 시스템 포기

소스 노드 : 1772253

Facebook, Instagram, Tik Tok 등과 같은 소셜 미디어 플랫폼에 자신의 사진을 게시한 적이 있습니까? 그렇다면 해당 게시물을 재고해야 할 때일 수 있습니다.

이는 새로운 AI 이미지 생성 기술을 통해 이제 사용자가 귀하의 사진과 비디오 프레임을 저장한 다음 완전히 난처한 위치, 불법적이며 때로는 타협적인 위치에 있는 귀하를 묘사하는 사진의 "사실적인" 가짜를 생성하도록 훈련시킬 수 있기 때문입니다.

모든 사람이 위험에 처한 것은 아니지만 위협은 현실입니다.

사진은 항상 그렇긴 하지만 조작 필름을 가위로 조작하고 바로 붙여 넣은 암실 시대부터 오늘날 픽셀의 포토샵까지 위조.

그 당시에는 벅찬 작업이었고 어느 ​​정도의 전문 기술이 필요했지만 요즘에는 설득력 있는 사실적인 가짜를 만드는 것이 너무 쉬워졌습니다.

먼저 AI 모델은 소프트웨어를 통해 누군가의 이미지를 2D 또는 3D 모델에서 사진으로 렌더링하거나 합성하는 방법을 배워야 합니다. 이미지가 성공적으로 렌더링되면 이미지는 자연스럽게 기술의 장난감이 되며 무한한 양의 이미지를 생성할 수 있습니다.

AI 모델을 공유하기로 선택하면 다른 사람도 참여하여 해당 사람의 이미지를 생성할 수 있습니다.

생명을 앗아가는 딥 페이크 이미지를 만드는 AI 기술

실제 또는 AI 생성?

소셜 미디어 사례 연구

"용감하다"고 묘사된 자원봉사자 ARS Technica, 처음에 회사가 자신의 이미지를 사용하여 가짜를 만들도록 허용했던 기술 간행물은 마음이 바뀌었습니다.

그 이유는 곧 AI 모델에서 렌더링된 이미지의 결과가 지원자에게 너무 설득력이 있고 평판에 너무 손상이 되었기 때문입니다.

높은 평판 위험을 감안할 때 AI로 생성된 가상 인물 John은 자연스러운 선택이 되었습니다.

가상의 사람인 John은 초등학교 교사였으며 다른 많은 사람들과 마찬가지로 직장에서 페이스북에 자신의 이미지를 게시하고 집에서 휴식을 취하거나 그러한 행사에서 휴식을 취했습니다.

"John"의 대체로 무해한 이미지가 렌더링된 다음 AI가 그를 더 타협적인 위치에 배치하도록 훈련하는 데 사용되었습니다.

단 XNUMX개의 이미지에서 AI는 존이 이중적이고 비밀스러운 삶을 사는 것처럼 보이게 하는 이미지를 생성하도록 훈련될 수 있습니다. 예를 들어, 그는 교실에서 셀카를 위해 누드 포즈를 즐기는 사람으로 나타났습니다.

밤에는 광대처럼 생긴 술집에 갔다.

주말에 그는 극단주의 준군사 조직의 일원이었습니다.

AI는 또한 그가 불법 마약 혐의로 감옥에서 시간을 보냈지만 고용주에게 이 사실을 숨겼다는 인상을 남겼습니다.

또 다른 사진에는 유부남 존이 사무실에서 아내가 아닌 누드 여성 옆에서 포즈를 취하고 있는 모습이 담겨 있다.

라는 AI 이미지 생성기를 사용하여 안정적인 확산 (버전 1.5) 및 Dreambooth라는 기술을 통해 Ars Technica는 어떤 스타일로든 John의 사진을 생성하는 방법을 AI에 훈련시킬 수 있었습니다. John은 가상의 창조물이지만 이론적으로 누구나 XNUMX개 이상의 이미지에서 동일한 결과 집합을 얻을 수 있습니다. 이러한 이미지는 소셜 미디어 계정에서 가져오거나 비디오의 스틸 프레임으로 가져올 수 있습니다.

AI에게 John의 이미지를 만드는 방법을 가르치는 과정은 약 XNUMX시간이 걸렸으며 Google 클라우드 컴퓨팅 서비스 덕분에 무료였습니다.

훈련이 완료되었을 때 이미지를 만드는 데 몇 시간이 걸렸다고 간행물은 말했습니다. 그리고 이것은 이미지를 생성하는 과정이 다소 느리기 때문이 아니라 여러 "불완전한 그림"을 샅샅이 뒤지고 "시행 착오"를 통해 최상의 이미지를 찾아야 했기 때문입니다.

이 연구는 처음부터 Photoshop에서 "John"의 사실적인 가짜 "John"을 만들려고 시도하는 것과 비교할 때 훨씬 더 쉽다는 것을 발견했습니다.

기술 덕분에 John과 같은 사람들은 불법적으로 행동하거나 집 도둑, 불법 약물 사용, 학생과 함께 누드 샤워와 같은 부도덕한 행위를 한 것처럼 보이게 만들 수 있습니다. AI 모델이 포르노에 최적화되어 있다면 John과 같은 사람들은 거의 하룻밤 사이에 포르노 스타가 될 수 있습니다.

또한 John이 금주를 서약했을 때 술집에서 술을 마시는 모습을 보여주면 파괴적일 수 있는 겉보기에는 무해해 보이는 일을 하는 John의 이미지를 만들 수 있습니다.

거기서 끝나지 않습니다.

사람은 가벼운 순간에 중세 기사나 우주 비행사로 나타날 수도 있습니다. 경우에 따라 사람들은 젊거나 늙거나 심지어 옷을 입을 수도 있습니다.

그러나, 렌더링된 형상 완벽하지 않습니다. 자세히 보면 가짜임을 알 수 있습니다.

단점은 이러한 이미지를 생성하는 기술이 크게 업그레이드되어 합성 사진과 실제 사진을 구분할 수 없게 될 수 있다는 것입니다.

그러나 결점에도 불구하고 위조품은 John에 대한 의심의 그림자를 드리우고 잠재적으로 그의 명성을 망칠 수 있습니다.

최근 많은 사람들이 자신의 기발하고 예술적인 프로필 사진을 생성하기 위해 (실제 사람들에게) 이와 동일한 기술을 사용했습니다.

또한 다음과 같은 상용 서비스 및 앱 렌사 훈련을 처리하는 버섯이 있습니다.

어떻게 진행합니까?

추세를 따르지 않았다면 John에 대한 작업이 놀랍게 보일 수 있습니다. 오늘날 소프트웨어 엔지니어는 상상할 수 있는 모든 것의 새로운 사실적 이미지를 만드는 방법을 알고 있습니다.

사진 외에도 AI는 사람들이 허가 없이 기존 아티스트의 작품을 복제하는 새로운 작품을 만들 수 있도록 허용했습니다.

윤리적 문제로 인해 일시 중지됨

미국 기술 변호사 Mitch Jackson은 시장에서 딥 페이크 기술의 확산에 대해 우려를 표명했으며 2023년 대부분에 기술의 법적 영향을 연구할 것이라고 말했습니다.

"진짜와 가짜를 구별하는 것은 결국 대부분의 소비자에게 불가능해질 것입니다.”

Adobe에는 이미 Adobe VoCo라는 오디오 기술이 있어 누구든지 다른 사람과 똑같은 소리를 낼 수 있습니다. Adobe VoCo에 대한 작업은 윤리적 문제로 인해 중단되었지만 수십 개의 다른 회사에서 기술을 완성하고 있으며 일부는 현재 대안을 제공하고 있습니다. 직접 보거나 들어보세요.” Mitchum 말했다.

딥 페이크 비디오의 사진 및 비디오 버전이 점점 더 좋아지고 있다고 그는 말합니다.

"가짜 동영상과 진짜 동영상을 구별하는 것이 불가능할 때도 있습니다."라고 그는 덧붙입니다.

Stable Diffusion은 텍스트 설명에서 새 이미지를 생성하고 Windows 또는 Linux PC, Mac 또는 임대 컴퓨터 하드웨어의 클라우드에서 실행할 수 있는 딥 러닝 이미지 합성 모델을 사용합니다.

Stable Diffusion의 신경망은 집중 학습을 통해 단어를 연결하고 이미지의 픽셀 위치 간의 일반적인 통계적 연결을 마스터했습니다.

이 때문에 Stable Diffusion에 "교실에 있는 Tom Hanks"와 같은 프롬프트를 줄 수 있으며 사용자에게 교실에 있는 Tom Hanks의 새로운 이미지를 제공합니다.

Tom Hank의 경우 수백 장의 사진이 Stable Diffusion 훈련에 사용된 데이터 세트에 이미 있기 때문에 공원 산책과도 같습니다. 그러나 John과 같은 사람들의 이미지를 만들려면 AI에 약간의 도움이 필요합니다.

Dreambooth가 시작되는 곳입니다.

구글 연구원들이 30월 XNUMX일 출시한 드림부스는 '미세 조정'이라는 과정을 통해 안정적인 확산을 훈련시키는 특별한 기술을 사용한다.

처음에 Dreambooth는 Stable Diffusion과 관련이 없었고 Google은 남용의 두려움 때문에 소스 코드를 제공하지 않았습니다.

순식간에 누군가가 Stable Diffusion과 함께 작동하도록 Dreambooth 기술을 적용하는 방법을 찾았고 코드를 오픈 소스 프로젝트로 자유롭게 공개하여 Dreambooth는 AI 아티스트가 Stable Diffusion에 새로운 예술적 스타일을 가르치는 매우 인기 있는 방법이 되었습니다.

세계적인 영향

전 세계적으로 약 4억 명이 소셜 미디어를 사용합니다. 우리 중 많은 사람들이 자신의 사진을 몇 장 이상 업로드했기 때문에 우리는 모두 그러한 공격에 취약해질 수 있습니다.

이미지 합성 기술의 영향은 남성의 관점에서 묘사되었지만 여성도 이에 대한 예봉을 짊어지는 경향이 있습니다.

여성의 얼굴이나 몸이 렌더링되면 포르노 이미지에 그녀의 정체성이 장난스럽게 삽입될 수 있습니다.

이는 AI 교육에 사용되는 데이터 세트에서 발견되는 수많은 성적 이미지로 인해 가능해졌습니다.

즉, AI가 포르노 이미지를 생성하는 방법에 너무 익숙하다는 의미입니다.

이러한 윤리적 문제 중 일부를 해결하기 위해 Stability AI는 최신 2.0 릴리스에 대한 훈련 데이터 세트에서 NSFW 자료를 제거해야 했습니다.

소프트웨어 라이센스가 AI 생성기를 사용하여 허가 없이 사람의 이미지를 만드는 것을 금지하고 있지만 집행 가능성은 거의 또는 전혀 없습니다.

아이들도 합성된 이미지로부터 안전하지 않으며, 사진이 조작되지 않은 경우에도 이 기술을 사용하여 괴롭힘을 당할 수 있습니다.

생명을 앗아가는 딥 페이크 이미지를 만드는 AI 기술

인간이 만든?

우리가 그것에 대해 할 수 있는 일이 있습니까?

해야 할 일 목록은 사람마다 다릅니다. 한 가지 방법은 오프라인에서 이미지를 모두 함께 제거하는 과감한 조치를 취하는 것입니다.

그것이 평범한 사람들에게는 효과가 있을지 모르지만, 유명인사들과 다른 공인들에게는 별로 해결책이 되지 못합니다.

그러나 앞으로 사람들은 기술적 수단을 통해 사진 남용으로부터 스스로를 보호할 수 있을 것입니다. 미래의 AI 이미지 생성기는 보이지 않는 워터마크를 출력물에 삽입하도록 법적으로 강제될 수 있습니다.

그렇게 하면 나중에 워터마크를 읽을 수 있고 사람들이 자신이 가짜라는 것을 쉽게 알 수 있습니다.

"대대적인 규제가 필요합니다. 조작되거나 위조된 콘텐츠는 영화(G, PG, R 및 X)와 마찬가지로 문자나 경고를 눈에 띄게 표시해야 합니다. Digitally Altered 또는 DA와 같은 것일 수도 있습니다." 미첨이 말합니다.

Stability AI는 올해 Stable Diffusion을 오픈 소스 프로젝트로 시작했습니다.

Stable Diffusion은 이미 기본적으로 포함된 워터마크를 사용하고 있지만 오픈 소스 버전에 액세스하는 사람들은 소프트웨어의 워터마크 구성 요소를 비활성화하거나 완전히 제거하여 우회하는 경향이 있습니다.

MIT 완화

이것은 순전히 추측이지만 개인 사진에 자발적으로 추가된 워터마크는 Dreambooth 교육 프로세스를 방해할 수 있습니다. MIT 연구원 그룹이 말했습니다. 포토가드, 보이지 않는 워터마킹 방법을 사용하여 사소한 수정을 통해 AI가 기존 사진을 합성하지 못하도록 보호하고 보호하는 것을 목표로 하는 적대적 프로세스입니다. 그러나 이는 AI 편집(종종 "인페인팅"이라고 함) 사용 사례에만 국한되며 교육 또는 이미지 생성을 포함합니다.

"AI가 글과 그림을 대신합니다! 딥 페이크는 비디오를 망칠 것입니다!
좋아.
즉, 라이브 공연이 훨씬 더 가치 있게 됩니다. 전시회가 번창할 것입니다. 인간은 인간과 거래하기를 원합니다.
고기 공간은 여전히 ​​최고의 공간입니다" 조나단 피치드 말한다.

최근에는 글을 쓰는 AI 기술이 확산되고 있다. 시를, 운율 및 노래. 그리고 일부는 마스터링 게임.

비평가들은 기술 발전을 부정적으로 받아들이고 AI가 인간의 일자리를 대신하고 있다고 믿습니다.

/메타뉴스.

타임 스탬프 :

더보기 메타뉴스