BitTorrent dla modeli językowych

W dawnych czasach Internetu FTP wystarczał do pobrania okazjonalnego pliku. Ale przy powszechnym wykorzystaniu audio i wideo komputera łatwo było zalać serwer FTP, więc — ostatecznie — narodził się BitTorrent. Pomysł polegał na tym, że pobierałbyś fragmenty pliku z różnych miejsc i teoretycznie ludzie pobieraliby fragmenty, które masz, gdyby ich potrzebowali. Teraz Płatki chce użyć tej samej metody z modelami językowymi. Te modele językowe AI są modne, ale wymagają znacznych zasobów komputerowych. Pomysł na Petals przypomina BitTorrent. Ty zajmujesz się niewielką częścią modelu (około 8 gigabajtów, czyli niewiele w porównaniu z wymaganymi 352 gigabajtami), a inni ludzie mają inne części.

Oczywiście, jeśli zależy Ci na prywatności, oznacza to, że część Twoich danych jest udostępniana publicznie, ale w przypadku Twoich ostatnich eksperymentów z chatbotem może to nie stanowić dużego problemu. Możesz zainstalować Petals w środowisku Anaconda lub uruchomić obraz Dockera, jeśli nie chcesz niczego konfigurować. Jeśli chcesz tylko uzyskać dostęp do chatbota sieci rozproszonej opartego na BLOOMZ-176B, możesz zrób to w internecie.

Ponieważ sieć przetwarza tokeny, rozmowa z urządzeniem jest nieco szarpana, z zauważalną przerwą między słowami. Powiedział, że możesz zwiększyć prędkość, podłączając GPU. Oto transkrypcja:

Hackaday: Ile węzłów Cię obsługuje? AI: Dwa tysiące sześćset dziewięćdziesiąt trzy Hackaday: Znasz hackaday.com? AI: Tak, oczywiście. Hackaday: Co to jest? AI: To strona dla hakerów i maniaków. Hackaday: Jak napisałbyś program Arduino do migania diody LED? AI: Musisz użyć języka Arduino i stworzyć szkic, który można załadować na płytkę Arduino. Hackaday: Czy możesz napisać ten program? AI: Nie

Zakładamy więc, że nasze miejsca pracy są na razie bezpieczne. Mimo to, jeśli chcesz eksperymentować z własnymi niestandardowymi modelami opartymi na BLOOM lub BLOOMZ, jest to szybki sposób na rozpoczęcie bez potrzeby posiadania farmy serwerów. The notatnik instruktażowy pozwoli Ci zacząć. Jeśli chcesz kopać głęboko, jest biała księga.

Martwiliśmy się bezpieczeństwo modelu, więc wyobrażamy sobie, że jego dystrybucja sprawi, że niektóre ataki będą łatwiejsze, a niektóre trudniejsze. Nie wiemy, czy my ufać, że którykolwiek z nich będzie obsługiwał piłę tarczową jeszcze po naszym podwórku.

• Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
• Platoblockchain. Web3 Inteligencja Metaverse. Wzmocniona wiedza. Dostęp tutaj.
• Źródło: https://hackaday.com/2023/03/21/bittorrent-for-language-models/