LLM Apocalypse Now: 오픈 소스 클론의 복수 - KDnuggets

플라톤에 의해 재발행

팔로워 : 0

Adobe Firefly의 이미지

“우리는 너무 많았습니다. 우리는 너무 많은 돈과 장비를 접하게 되었고, 조금씩 미쳐갔습니다.”

프랜시스 포드 코폴라(Francis Ford Coppola)는 너무 많은 돈을 쓰고 길을 잃은 AI 회사에 대해 비유를 한 것이 아니지만 그럴 수도 있었습니다. 묵시록 서사적이었지만 GPT-4와 마찬가지로 만들기가 길고 어렵고 비용이 많이 드는 프로젝트였습니다. 나는 LLM의 개발이 너무 많은 돈과 너무 많은 장비에 끌렸다고 제안하고 싶습니다. 그리고 "우리는 방금 일반 지능을 발명했다"는 과대 광고 중 일부는 약간 미친 것입니다. 하지만 이제는 오픈 소스 커뮤니티가 최선을 다해 일할 차례입니다. 훨씬 적은 비용과 장비를 사용하여 무료 경쟁 소프트웨어를 제공하는 것입니다.

OpenAI는 11억 달러 이상의 자금을 확보했으며 GPT-3.5의 훈련 실행 비용은 5만~6만 달러로 추산됩니다. OpenAI가 알려주지 않기 때문에 우리는 GPT-4에 대해 거의 알지 못하지만 GPT-3.5보다 작지 않다고 가정하는 것이 안전하다고 생각합니다. 현재 전 세계적으로 GPU 부족 현상이 일어나고 있는데, 이는 최신 암호화폐 때문이 아닙니다. 생성적 AI 스타트업은 제품을 구동하는 데 사용하는 LLM에 대한 IP를 전혀 소유하지 않은 경우 엄청난 가치로 100억 달러 이상의 시리즈 A 라운드를 진행하고 있습니다. LLM 악대차는 활발히 활동하고 있으며 돈이 흐르고 있습니다.

마치 주사위가 던져진 것처럼 보였습니다. Microsoft/OpenAI, Amazon, Google과 같이 돈이 풍부한 회사만이 천억 개의 매개변수 모델을 훈련할 수 있는 여유가 있었습니다. 더 큰 모델이 더 나은 모델인 것으로 가정되었습니다. GPT-3에 뭔가 문제가 있는 걸까요? 더 큰 버전이 나올 때까지 기다리시면 모든 것이 괜찮을 것입니다! 경쟁하려는 소규모 회사는 훨씬 더 많은 자본을 조달하거나 ChatGPT 시장에서 상품 통합을 구축해야 했습니다. 연구 예산이 훨씬 더 제한된 학계는 부업으로 밀려났습니다.

다행스럽게도 많은 똑똑한 사람들과 오픈 소스 프로젝트는 이를 제한이 아닌 도전으로 받아들였습니다. 스탠포드 연구진은 GPT-7의 3.5억 매개변수 모델에 가까운 성능을 지닌 175억 매개변수 모델인 Alpaca를 출시했습니다. OpenAI에서 사용하는 규모의 훈련 세트를 구축할 리소스가 부족했기 때문에 그들은 훈련된 오픈 소스 LLM, LLaMA를 가져와 대신 일련의 GPT-3.5 프롬프트 및 출력에서 미세 조정하기로 선택했습니다. 본질적으로 모델은 GPT-3.5가 수행하는 작업을 학습했으며 이는 해당 동작을 복제하는 데 매우 효과적인 전략으로 밝혀졌습니다.

Alpaca는 오픈 소스 비상업적 LLaMA 모델을 사용하므로 코드와 데이터 모두에서 비상업적 용도로만 라이센스가 부여되었으며 OpenAI는 API를 사용하여 경쟁 제품을 만드는 것을 명시적으로 허용하지 않습니다. 이는 Alpaca의 프롬프트와 출력에 따라 다른 오픈 소스 LLM을 미세 조정하는 감미로운 전망을 만들어냅니다. 다양한 라이선스 가능성을 갖춘 세 번째 GPT-3.5와 유사한 모델을 만드는 것입니다.

여기에 또 다른 아이러니가 있습니다. 모든 주요 LLM이 인터넷에서 사용할 수 있는 저작권이 있는 텍스트와 이미지에 대해 교육을 받았고 권리 보유자에게 한 푼도 지불하지 않았다는 점입니다. 회사들은 사용이 "변형적"이라는 주장과 함께 미국 저작권법에 따라 "공정 사용" 면제를 주장합니다. 그러나 무료 데이터로 구축한 모델의 출력에 관해서는 실제로 다른 사람이 동일한 작업을 수행하는 것을 원하지 않습니다. 나는 권리 보유자들이 현명한 판단을 내리면서 상황이 바뀔 것으로 예상하며, 어느 시점에는 법정에 서게 될 수도 있습니다.

이는 CoPilot과 같은 코드 제품용 생성 AI의 경우 라이선스를 준수하지 않는다는 이유로 코드가 교육에 사용되는 것에 반대하는 제한적 라이선스 오픈 소스 작성자가 제기한 별개의 뚜렷한 요점입니다. 오픈소스 개인 저작자의 문제는 실질적인 복제라는 사실을 입증해야 하고 피해를 입었다는 점이다. 그리고 모델을 사용하면 출력 코드를 입력(작성자의 소스 코드 줄)에 연결하기가 어렵고 경제적 손실도 없기 때문에(무료라고 가정함) 사례를 만드는 것이 훨씬 더 어렵습니다. 이는 전체 비즈니스 모델이 자신의 작품 라이선스/판매에 있고 실질적인 복제를 보여줄 수 있는 Getty Images와 같은 수집업체로 대표되는 영리 창작자(예: 사진작가)와는 다릅니다.

LLaMA의 또 다른 흥미로운 점은 그것이 Meta에서 나왔다는 것입니다. 원래는 연구자들에게만 공개된 후 BitTorrent를 통해 전 세계로 유출되었습니다. Meta는 클라우드 서비스나 소프트웨어를 판매하려고 하지 않으며 인센티브도 매우 다르다는 점에서 OpenAI, Microsoft, Google, Amazon과 근본적으로 다른 사업을 하고 있습니다. 과거에 컴퓨팅 설계를 오픈 소스로 제공했으며(OpenCompute) 커뮤니티에서 이를 개선하는 것을 보았습니다. 즉, 오픈 소스의 가치를 이해하고 있습니다.

Meta는 가장 중요한 오픈 소스 AI 기여자 중 하나가 될 수 있습니다. 막대한 리소스를 보유할 뿐만 아니라 뛰어난 생성 AI 기술이 확산되면 이점을 누릴 수 있습니다. 즉, 소셜 미디어에서 수익을 창출할 수 있는 콘텐츠가 더 많아질 것입니다. Meta는 ImageBind(다차원 데이터 인덱싱), DINOv2(컴퓨터 비전) 및 Segment Anything이라는 세 가지 다른 오픈 소스 AI 모델을 출시했습니다. 후자는 이미지의 고유한 개체를 식별하며 매우 관대한 Apache 라이센스에 따라 릴리스됩니다.

마지막으로 우리는 닫힌 모델과 그보다 비슷하거나 더 나은 성능을 발휘하는 훨씬 더 작고 저렴한 모델을 생산하는 커뮤니티의 혁신을 희미하게 보는 내부 Google 문서 "우리에게는 해자가 없고 OpenAI도 없습니다"가 유출되었다는 주장도 있었습니다. 비공개 소스 대응물. 기사의 출처를 Google 내부 기사인지 확인할 방법이 없기 때문에 이렇게 말씀드립니다. 그러나 여기에는 다음과 같은 매력적인 그래프가 포함되어 있습니다.

수직축은 GPT-4에 의한 LLM 출력의 등급입니다.

텍스트에서 이미지를 합성하는 Stable Diffusion은 오픈 소스 생성 AI가 독점 모델보다 빠르게 발전할 수 있었던 또 다른 예입니다. 최근 해당 프로젝트(ControlNet)의 반복을 통해 Dall-E2의 기능을 능가하는 수준으로 개선되었습니다. 이는 전 세계적으로 수많은 노력을 통해 이루어졌으며 단일 기관이 따라잡기 힘든 발전 속도를 가져왔습니다. 그 중 일부는 Stable Diffusion을 더 빠르게 훈련하고 더 저렴한 하드웨어에서 실행하여 더 많은 사람들이 더 짧은 반복 주기를 가능하게 하는 방법을 알아냈습니다.

그래서 우리는 완전한 원을 이루게 되었습니다. 너무 많은 돈과 너무 많은 장비가 없어도 일반 사람들로 구성된 전체 커뮤니티에서 교묘한 수준의 혁신을 불러일으킬 수 있습니다. AI 개발자가 되기 좋은 때입니다.

매튜 로지 AI For Code 스타트업인 Diffblue의 CEO입니다. 그는 Anaconda 및 VMware와 같은 회사에서 제품 리더십 분야에서 25년 이상의 다양한 경험을 보유하고 있습니다. Lodge는 현재 Good Law Project 이사회에서 활동하고 있으며 왕립 사진 협회 이사회 부의장을 맡고 있습니다.