Generative AI Reconstructs Videos People Are Watching By Reading Their Brain Activity

플라톤에 의해 재발행

팔로워 : 0

능력기계의 타이 우리의 마음을 읽으십시오 최근 몇 년간 꾸준히 발전해 왔습니다. 이제 연구원들은 AI 비디오 생성 기술을 사용하여 마음의 눈을 들여다볼 수 있는 창을 제공했습니다.

뇌 신호를 해석하려는 시도의 주요 원동력은 언젠가 혼수 상태에 있거나 다양한 형태의 마비가 있는 사람들에게 새로운 의사 소통 창을 제공할 수 있다는 희망입니다. 그러나 이 기술이 건강한 사람들을 위한 애플리케이션을 가질 수 있는 인간과 기계 사이의 보다 직관적인 인터페이스를 만들 수 있다는 희망도 있습니다.

지금까지 대부분의 연구는 내부 독백을 재현하려는 노력에 초점을 맞추었습니다.s AI 시스템을 사용하는 환자의 골라내다 그들이 생각하는 단어. 가장 유망한 결과는 또한 대부분의 사람들에게 실용적인 접근 방식이 아닐 것 같은 침습적 뇌 임플란트에서 나왔습니다.

그러나 이제 싱가포르 국립 대학교와 홍콩 중문 대학교의 연구원들은 비침습적 뇌 스캔과 AI 이미지 생성 기술을 결합하여 피험자가 보고 있던 클립과 놀랍도록 유사한 짧은 비디오 조각을 만들 수 있음을 보여주었습니다. 그들의 뇌 데이터가 수집되었을 때.

이 작업은 동일한 저자의 연구 확장입니다. 작년 말 출간, 여기서 그들은 피사체가 보여준 사진과 대략 일치하는 스틸 이미지를 생성할 수 있음을 보여주었습니다. 이것은 fMRI 뇌 스캐너를 사용하여 수집된 많은 양의 데이터에 대해 하나의 모델을 먼저 훈련함으로써 달성되었습니다. 그런 다음 이 모델을 오픈 소스 이미지 생성 AI Stable Diffusion과 결합하여 사진을 생성했습니다.

새로운 논문에서 에 게시 사전 인쇄 서버 arXiv, 저자는 유사한 접근 방식을 취하지만 시스템이 뇌 데이터 스트림을 해석하고 스틸이 아닌 비디오로 변환할 수 있도록 조정합니다. 첫째, 그들은 이러한 뇌 스캔의 일반적인 특징을 학습할 수 있도록 다량의 fMRI에서 한 모델을 훈련했습니다. 그런 다음 이것은 개별 스캔이 아닌 일련의 fMRI 스캔을 처리할 수 있도록 증강되었으며, 그런 다음 fMRI 스캔, 해당 뇌 활동을 유도한 비디오 스니펫 및 텍스트 설명의 조합에 대해 다시 훈련되었습니다.

이와는 별도로 연구원들은 사전 훈련된 Stable Diffusion 모델을 조정하여 스틸 이미지가 아닌 비디오를 생성했습니다. 그런 다음 첫 번째 모델이 훈련된 것과 동일한 비디오 및 텍스트 설명에 대해 다시 훈련되었습니다. 마지막으로, fMRI 스캔 및 관련 비디오에서 두 모델을 함께 결합하고 미세 조정했습니다.

결과 시스템은 이전에 본 적이 없는 새로운 fMRI 스캔을 수행할 수 있었고 인간 피험자 클립과 대체로 유사한 비디오를 생성할 수 있었습니다.d 당시 지켜보고 있었다. 완벽하게 일치하는 것은 아니지만 AI의 출력은 일반적으로 원본 비디오에 매우 가깝고 군중 장면이나 말 떼를 정확하게 재현하고 종종 색상 팔레트와 일치합니다.

시스템을 평가하기 위해 연구자들은 모델이 장면의 의미를 얼마나 잘 이해했는지 평가하도록 설계된 비디오 분류기를 사용했습니다. 이미지가 약간 다르더라도. 그들의 모델은 최신 기술보다 85% 개선된 45%를 기록했습니다.

AI가 생성하는 비디오는 여전히 결함이 있지만 저자는 이 연구 라인이 궁극적으로 기본 신경 과학과 미래 모두에 적용될 수 있다고 말합니다. 뇌-기계 인터페이스. 그러나 그들은 또한 기술의 잠재적인 단점을 인정합니다. "생물학적 데이터의 프라이버시를 보장하고 이 기술의 악의적인 사용을 방지하려면 정부 규정과 연구 커뮤니티의 노력이 필요합니다."라고 그들은 썼습니다.

이는 AI 뇌 스캐닝 기술의 결합으로 사람들이 동의 없이 다른 사람의 생각을 침입적으로 기록할 수 있다는 우려에 고개를 끄덕이는 것 같습니다. A불안은 또한 올해 초 연구원들이 유사한 접근 방식을 사용하여 본질적으로 대략적인 사람들의 머리 속에 있는 목소리의 녹취록, 전문가들은 이것이 될 것이라고 지적했지만 불가능하지 않으면 비현실적 가까운 장래에.

그러나 당신이 그것을 당신의 사생활에 대한 오싹한 침해로 보든 기술과 인터페이스하는 흥미진진한 새로운 방법으로 보든 간에, 머신 마인드 리더는 현실에 더 가까워지고 있는 것 같습니다.

이미지 신용 : 클라우디아 데왈드 에 Pixabay