Rishin Sharma & Jake Brukhman 작성.
Nick Yakovenko, David Pakman, Jan Coppens, AC, Evan Feng, Adi Sideman을 포함하여 이 작품에 대한 피드백을 주신 모든 분들께 특별히 감사드립니다.
출처: 안정적인 확산 검색 엔진인 Lexica.art의 AI 생성 이미지
기술 혁신은 결코 쉬지 않으며, 특히 인공 지능의 경우 더욱 그러합니다. 지난 몇 년 동안 우리는 딥 러닝 모델의 인기가 AI의 선구자로 다시 등장하는 것을 보았습니다. 라고도 함 신경망, 이러한 모델은 서로 정보를 전달하는 조밀하게 상호 연결된 노드 레이어로 구성되어 인간 두뇌의 구성을 대략적으로 모방합니다. 2010년대 초, 가장 발전된 모델에는 수백만 개의 매개변수가 있었고 특정 정서 분석 및 분류에 사용되는 고도로 감독된 모델이 있었습니다. 다음과 같은 오늘날의 가장 진보된 모델 DreamStudio, GPT-3, 달-이 2및 영상 XNUMX조 개의 매개 변수에 접근하고 있으며 인간 작업에 필적하는 복잡하고 창의적인 작업을 수행하고 있습니다. 예를 들어 이 블로그 게시물의 헤더 이미지 또는 요약을 살펴보겠습니다. 둘 다 인공 지능에 의해 생성되었습니다. 우리는 이러한 모델이 우리가 새로운 것을 배우고, 서로 상호 작용하고, 창의적으로 표현하는 방법을 형성함에 따라 이러한 모델의 사회적 및 문화적 영향을 보기 시작했습니다.
그러나 오늘날 대규모 신경망을 훈련시키는 기술 노하우, 핵심 데이터 세트 및 계산 능력의 대부분은 비공개 소스이며 Google 및 Meta와 같은 "빅 테크" 회사에 의해 제어됩니다. 와 같은 오픈 소스 모델을 복제하면서 GPT-네오엑스, DALLE 메가및 BLOOM 등의 기관이 주도하고 있다. 안정성AI, Eleuther AI및 포옹 얼굴, web3는 오픈 소스 AI를 훨씬 더 강화할 준비가 되어 있습니다.
“AI를 위한 web3 인프라 계층은 오픈 소스 개발, 커뮤니티 소유권 및 거버넌스, 이러한 신기술 개발에 있어 새로운 모델과 효율성을 창출하는 범용 액세스 요소를 도입할 수 있습니다."
또한 AI 기술의 채택으로 web3의 많은 중요한 사용 사례가 향상될 것입니다. 에서 생성 예술 NFT metaversal landscape에 이르기까지 AI는 web3에서 많은 사용 사례를 찾을 것입니다. 오픈 소스 AI는 web3의 개방적이고 분산적이며 민주화된 기풍에 적합하며 곧 공개되지 않을 것 같은 Big Tech에서 제공하는 AI의 대안을 나타냅니다.
기초 모델 일반적으로 지능적인 인간 행동이 필요한 작업을 수행하기 위해 광범위한 데이터 세트에서 훈련된 신경망입니다. 이 모델은 몇 가지 인상적인 결과를 만들어 냈습니다.
OpenAI와 같은 언어 모델 GPT-3, 구글의 LaMDA및 Nvidia의 Megatron-Turing NLG 자연어를 이해하고 생산하는 능력, 텍스트를 요약하고 종합하는 능력, 심지어 컴퓨터 코드 작성.
DALLE-2는 OpenAI의 텍스트-이미지 확산 모델 서면 텍스트에서 고유한 이미지를 생성할 수 있습니다. Google의 AI 사업부 DeepMind는 540B 매개변수 언어 모델인 PaLM과 DrawBench 및 COCO FID 벤치마크에서 DALLE-2를 능가하는 자체 이미지 생성 모델인 Imagen을 비롯한 경쟁 모델을 생산했습니다. Imagen은 특히 더 사실적인 결과를 생성하고 철자를 입력할 수 있습니다.
Google과 같은 강화 학습 모델 알파 고 패배했다 인간 바둑 세계 챔피언 게임의 XNUMX천년 역사에서 표면화되지 않은 참신한 전략과 플레이 기술을 발견하면서.
복잡한 기초 모델을 구축하기 위한 경쟁은 혁신의 최전선에 있는 Big Tech와 함께 이미 시작되었습니다. 이 분야의 발전이 흥미진진한 만큼 관심을 끄는 핵심 주제가 있다.
지난 XNUMX년 동안 AI 모델이 더욱 정교해짐에 따라 점점 더 대중에게 공개되지 않았습니다.
거대 기술 기업은 이러한 모델을 생산하고 데이터와 코드를 독점 기술로 유지하는 동시에 모델 교육 및 계산을 위한 규모의 경제 이점을 통해 경쟁력 있는 해자를 유지하는 데 막대한 투자를 하고 있습니다.
타사의 경우 기본 모델을 생성하는 것은 세 가지 주요 병목 현상이 있는 리소스 집약적인 프로세스입니다. 데이터, 과 수익 창출.
여기에서 이러한 문제 중 일부를 해결하는 데 있어서 web3 테마의 초기 진입을 볼 수 있습니다.
레이블이 지정된 데이터 세트는 효과적인 모델을 구축하는 데 중요합니다. AI 시스템은 데이터 세트 내의 예제를 일반화하여 학습하고 시간이 지남에 따라 훈련됨에 따라 지속적으로 개선됩니다. 그러나 양질의 데이터 세트 편집 및 라벨링에는 전산 리소스 외에도 전문 지식과 처리가 필요합니다. 대규모 기술 회사에는 대규모 독점 데이터 세트 작업을 전문으로 하는 내부 데이터 팀이 있는 경우가 많습니다. IP 시스템 모델을 교육하고 데이터 생산 또는 배포에 대한 공개 액세스에 대한 인센티브가 거의 없습니다.
전 세계 연구원 커뮤니티에 모델 교육을 공개하고 액세스할 수 있도록 하는 커뮤니티가 이미 있습니다. 여기 몇 가지 예가 있어요.
- 일반적인 크롤링XNUMX년간의 인터넷 데이터를 보관하는 공개 저장소인 는 일반 교육에 사용할 수 있습니다. (그렇지만 연구 보여줍니다 보다 정확한 pared 데이터 세트는 모델의 일반적인 도메인 간 지식 및 다운스트림 일반화 기능을 향상시킬 수 있습니다.)
- 라이온 대규모 기계 학습 모델 및 데이터 세트를 일반 대중에게 제공하고 공개하는 것을 목표로 하는 비영리 조직입니다. LAION5B, 5.85억 XNUMX천만 개의 CLIP 필터링 이미지-텍스트 쌍 데이터세트는 출시와 동시에 세계에서 공개적으로 액세스 가능한 가장 큰 이미지-텍스트 데이터세트가 되었습니다.
- Eleuther AI 라는 가장 큰 오픈 소스 텍스트 데이터 세트 중 하나를 출시한 분산형 집단입니다. 더미. The Pile은 825.18개의 서로 다른 데이터 소스를 활용하는 언어 모델링을 위한 22GiB 영어 데이터 세트입니다.
현재 이러한 커뮤니티는 비공식적으로 조직되어 있으며 광범위한 자원 봉사 기반의 기여에 의존합니다. 그들의 노력을 강화하기 위해 토큰 보상을 오픈 소스 데이터 세트를 생성하는 메커니즘으로 사용할 수 있습니다. 큰 텍스트 이미지 데이터 세트에 레이블을 지정하는 것과 같은 기여를 기반으로 토큰을 내보낼 수 있으며 DAO 커뮤니티는 이러한 주장을 검증할 수 있습니다. 궁극적으로 대형 모델은 공통 풀에서 토큰을 발행할 수 있으며 해당 모델 위에 구축된 제품의 다운스트림 수익이 토큰 가치에 누적될 수 있습니다. 이러한 방식으로 데이터 세트 기여자는 토큰을 통해 대형 모델에 대한 지분을 보유할 수 있으며 연구원은 공개된 건물 리소스에서 수익을 창출할 수 있습니다.
잘 구성된 오픈 소스 데이터 세트를 컴파일하는 것은 대형 모델에 대한 연구 접근성을 넓히고 모델 성능을 향상시키는 데 중요합니다. 더 세밀한 결과를 위해 다양한 유형의 이미지에 대한 크기와 필터를 늘려 텍스트 이미지 데이터 세트를 확장할 수 있습니다. 비영어권 인구가 사용할 수 있는 자연어 모델을 교육하려면 비영어 데이터 세트가 필요합니다. 시간이 지남에 따라 web3 접근 방식을 사용하여 이러한 결과를 훨씬 더 빠르고 공개적으로 얻을 수 있습니다.
대규모 신경망을 교육하는 데 필요한 컴퓨팅은 기초 모델에서 가장 큰 병목 현상 중 하나입니다. 지난 XNUMX년 동안 AI 모델 교육에서 컴퓨팅에 대한 수요는 3.4개월마다 XNUMX배. 이 기간 동안 AI 모델은 이미지 인식에서 강화 학습 알고리즘 사용, 전략 게임에서 인간 챔피언을 이기고 변환기를 활용하여 언어 모델을 훈련하는 것으로 발전했습니다. 예를 들어, OpenAI의 GPT-3에는 175억 개의 매개변수가 있고 훈련하는 데 3,640페타플롭스가 걸렸습니다. 이것은 세계에서 가장 빠른 슈퍼컴퓨터에서 XNUMX주가 걸리고 표준 노트북에서 계산하는 데 천년 이상이 걸립니다. 모델 크기가 계속해서 증가함에 따라 컴퓨팅은 현장 발전의 병목 현상으로 남아 있습니다.
AI 슈퍼컴퓨터에는 GPU(Graphics Processing Unit) 또는 ASIC(Application-Specific Integrated Circuits)와 같은 신경망 훈련에 필요한 수학적 연산을 수행하는 데 최적화된 특정 하드웨어가 필요합니다. 오늘날 이러한 유형의 계산에 최적화된 대부분의 하드웨어는 Google Cloud, Amazon Web Services, Microsoft Azure 및 IBM Cloud와 같은 소수의 과점 클라우드 서비스 공급자에 의해 제어됩니다.
이것은 우리가 견인력을 얻고 있는 공개 개방형 네트워크를 통해 분산 컴퓨팅 할당을 볼 수 있는 다음 주요 교차점입니다. 분산형 거버넌스는 커뮤니티 주도 프로젝트를 교육하기 위한 자금을 조달하고 리소스를 할당하는 데 사용될 수 있습니다. 또한 분산형 시장 모델은 모든 연구원이 컴퓨팅 리소스에 액세스할 수 있도록 지역에 걸쳐 공개적으로 액세스할 수 있습니다. 토큰을 발행하여 모델 교육을 크라우드 펀딩하는 바운티 시스템을 상상해 보십시오. 성공적인 크라우드 펀딩은 모델에 대해 우선 순위가 지정된 컴퓨팅을 받고 수요가 높은 곳에서 혁신을 추진합니다. 예를 들어 DAO에서 더 많은 인구에 서비스를 제공하기 위해 스페인어 또는 힌디어 GPT 모델을 생성하라는 상당한 요구가 있는 경우 해당 영역에 대한 연구가 집중될 수 있습니다.
이미 회사는 젠신 딥 러닝 계산을 위한 대안적이고 비용 효율적인 클라우드 기반 하드웨어 액세스를 장려하고 조정하기 위한 프로토콜을 시작하기 위해 노력하고 있습니다. 시간이 지남에 따라 web3 인프라로 구축된 공유되고 분산된 글로벌 컴퓨팅 네트워크는 우리가 공동으로 인공 지능의 최전선을 탐색함에 따라 확장하는 데 더 비용 효율적이고 더 나은 서비스를 제공할 것입니다.
데이터 세트와 컴퓨팅은 오픈 소스 AI 모델이라는 논문을 가능하게 합니다. 지난 몇 년 동안 대형 모델을 생산하는 데 필요한 리소스 투자로 인해 프로젝트가 비공개 소스가 되면서 대형 모델은 점차 비공개로 전환되었습니다.
OpenAI를 사용하십시오. OpenAI는 2015년에 설립되었습니다. 모든 인류의 이익을 위해 인공 일반 지능을 생산한다는 사명을 가진 비영리 연구 실험실로서 당시 AI의 리더인 Google 및 Facebook과 극명한 대조를 이룹니다. 시간이 지남에 따라 OpenAI가 영리 모델 그리고 대규모 서명 마이크로소프트와 1억 달러 상업 거래. 또한, 최근 논란이 된 텍스트 대 이미지 모델인 DALLE-2, 일반화된 검열을 위해. (예를 들어, DALLE-2는 '총', '실행', '공격', '우크라이나'라는 용어와 유명인의 이미지를 금지했습니다. 이러한 조잡한 검열은 '바구니를 공격하는 르브론 제임스' 또는 '프로그래머가 코드 라인'.) 이러한 모델에 대한 비공개 베타에 대한 액세스는 서구 사용자가 이러한 모델과 상호 작용하고 정보를 제공하는 전 세계 인구의 많은 부분을 차단하는 암묵적인 지리적 편향을 가지고 있습니다.
이것은 인공 지능이 전파되는 방식이 아닙니다. 소수의 대형 기술 회사에 의해 보호, 감시 및 보존됩니다. 블록체인의 경우와 마찬가지로 새로운 기술은 접근할 수 있는 소수에게만 혜택이 집중되지 않도록 가능한 한 공평하게 적용되어야 합니다. 인공 지능의 복합적인 발전은 다양한 산업, 지역 및 커뮤니티에서 공개적으로 활용되어 가장 매력적인 사용 사례를 공동으로 발견하고 AI의 공정한 사용에 대한 합의에 도달해야 합니다. 기초 모델을 오픈 소스로 유지하면 검열을 방지하고 대중의 관점에서 편견을 주의 깊게 모니터링할 수 있습니다.
일반화된 기초 모델을 위한 토큰 구조를 통해 코드 오픈 소스를 공개하면서 작업을 수익화할 수 있는 더 큰 기여자 풀을 모을 수 있습니다. 오픈 소스 논문을 염두에 두고 구축된 OpenAI와 같은 프로젝트는 인재와 자원을 놓고 경쟁하기 위해 독립형 자금 지원 회사로 전환해야 했습니다. Web3를 사용하면 오픈 소스 프로젝트가 재정적으로 수익성이 높고 Big Tech의 민간 투자가 주도하는 프로젝트와 경쟁할 수 있습니다. 또한 오픈 소스 모델 위에 제품을 구축하는 혁신가는 기본 AI에 투명성이 있다는 확신을 가지고 구축할 수 있습니다. 이것의 다운스트림 효과는 새로운 인공 지능 사용 사례에 대한 빠른 채택 및 시장 진출이 될 것입니다. web3 공간에서 여기에는 다음이 포함됩니다. 보안 응용 프로그램 스마트 계약 취약성 및 러그 풀에 대한 예측 분석을 수행하는 이미지 생성기 NFT를 주조하고 메타버스 풍경을 만드는 데 사용할 수 있습니다. 디지털 AI 성격 개인 소유권 등을 보존하기 위해 온체인에 존재할 수 있습니다.
인공 지능은 오늘날 우리 사회 전체에 막대한 영향을 미칠 가장 빠르게 발전하는 기술 중 하나입니다. 오늘날 이 분야는 인재, 데이터 및 컴퓨팅에 대한 재정적 투자가 오픈 소스 개발에 중요한 해자를 생성함에 따라 빅 테크가 지배하고 있습니다. Web3를 AI의 인프라 계층에 통합하는 것은 인공 지능 시스템이 공정하고 개방적이며 액세스 가능한 방식으로 구축되도록 하기 위해 취해야 할 중요한 단계입니다. 우리는 이미 개방형 모델이 Twitter 및 HuggingFace와 같은 열린 공간에서 빠른 공공 혁신의 위치를 차지하고 있으며 암호화는 이러한 노력을 강화할 수 있습니다.
AI와 암호화의 교차점에서 CoinFund 팀이 찾고 있는 것은 다음과 같습니다.
- 임무의 핵심에 개방형 인공 지능을 갖춘 팀
- AI 모델 구축을 돕기 위해 데이터 및 컴퓨팅과 같은 공공 리소스를 관리하는 커뮤니티
- AI를 활용하여 창의성, 보안 및 혁신을 주류 채택에 도입하는 제품
AI와 web3의 교차점에서 프로젝트를 구축하는 경우 다음에서 CoinFund에 연락하여 채팅하십시오. 트위터 또는 이메일 rishin@coinfund.io or jake@coinfund.io.
