BitTorrent voor taalmodellen

In de oude dagen van internet was FTP voldoende om af en toe een bestand te downloaden. Maar met het wijdverbreide gebruik van computeraudio en -video was het gemakkelijk om een ​​FTP-server te overspoelen, dus uiteindelijk werd BitTorrent geboren. Het idee was dat je stukjes en beetjes van een bestand van verschillende plaatsen zou downloaden en in theorie zouden mensen stukjes en beetjes downloaden die je hebt als ze die nodig hebben. Nu Petals wil dezelfde methode gebruiken met taalmodellen. Deze AI-taalmodellen zijn een en al rage, maar ze vergen aanzienlijke computerbronnen. Het idee achter Petals is als BitTorrent. U beheert een klein deel van het model (ongeveer 8 gigabyte, wat klein is in vergelijking met de benodigde 352 gigabyte), en andere mensen hebben andere onderdelen.

Als u privacybewust bent, betekent dit natuurlijk dat een deel van uw gegevens openbaar wordt gemaakt, maar voor uw nieuwste chatbot-experimenten is dat misschien geen groot probleem. U kunt Petals in een Anaconda-omgeving installeren of een Docker-image uitvoeren als u niets wilt instellen. Als je alleen toegang wilt tot de chatbot van het gedistribueerde netwerk op basis van BLOOMZ-176B, dan kan dat doe dat online.

Omdat het netwerk tokens verwerkt, is een chat met het apparaat een beetje schokkerig, met een merkbare pauze tussen woorden. Er stond wel dat je de snelheid kunt verhogen door je GPU aan te sluiten. Hier is een transcriptie:

Hackaday: hoeveel knooppunten hosten u? AI: Tweeduizendzeshonderddrieënnegentig Hackaday: Kent u hackaday.com? AI: Ja, natuurlijk. Hackaday: wat is het? AI: Het is een website voor hackers en nerds. Hackaday: Hoe zou je een Arduino-programma schrijven om een ​​LED te laten knipperen? AI: Je moet de Arduino-taal gebruiken en een schets maken die op het Arduino-bord kan worden geladen. Hackaday: Kun jij dat programma schrijven? AI: Nee

Dus we veronderstellen dat onze banen voorlopig veilig zijn. Maar als je wilt experimenteren met je eigen aangepaste modellen op basis van BLOOM of BLOOMZ, is dit een snelle manier om te beginnen zonder dat je een serverfarm nodig hebt. De zelfstudie notitieboekje zal je op weg helpen. Als je diep wilt graven, dat kan een whitepaper.

We hebben ons zorgen gemaakt over model beveiliging, dus als het wordt gedistribueerd, worden sommige aanvallen gemakkelijker en andere moeilijker, stellen we ons voor. We weten niet of we vertrouw op een van hen om een ​​cirkelzaagblad te gebruiken toch nog rond onze tuin.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• Platoblockchain. Web3 Metaverse Intelligentie. Kennis versterkt. Toegang hier.
• Bron: https://hackaday.com/2023/03/21/bittorrent-for-language-models/