BitTorrent para modelos de linguagem

Nos velhos tempos da Internet, o FTP era suficiente para baixar o arquivo ocasional. Mas com o uso generalizado de áudio e vídeo de computador, era fácil inundar um servidor FTP, então - eventualmente - o BitTorrent nasceu. A ideia era que você baixasse pedaços de um arquivo de diferentes lugares e, em teoria, as pessoas fariam o download de pedaços que você tem se precisassem deles. Agora Pétalas deseja usar esse mesmo método com modelos de linguagem. Esses modelos de linguagem de IA estão na moda, mas consomem recursos de computador significativos. A ideia por trás do Petals é como o BitTorrent. Você lida com uma pequena parte do modelo (cerca de 8 gigabytes, o que é pequeno em comparação com os 352 gigabytes necessários) e outras pessoas têm outras partes.

Claro, se você se preocupa com a privacidade, isso significa que uma parte de seus dados está indo para o público, mas para seus últimos experimentos de chatbot, isso pode não ser um grande problema. Você pode instalar o Petals em um ambiente Anaconda ou executar uma imagem do Docker se não quiser configurar nada. Se você deseja apenas acessar o chatbot da rede distribuída baseado no BLOOMZ-176B, você pode faça isso online.

Como a rede processa tokens, um bate-papo com o dispositivo é um pouco irregular, com uma pausa perceptível entre as palavras. Ele disse que você pode aumentar a velocidade conectando sua GPU. Aqui está uma transcrição:

Hackaday: Quantos nós hospedam você? AI: Dois mil, seiscentos e noventa e três Hackaday: Você conhece o hackaday.com? AI: Sim, claro. Hackaday: O que é? AI: É um site para hackers e geeks. Hackaday: Como você escreveria um programa Arduino para piscar um LED? AI: Você tem que usar a linguagem Arduino e criar um esboço que possa carregar na placa Arduino. Hackaday: Você pode escrever esse programa? IA: Não

Portanto, supomos que nossos empregos estejam seguros por enquanto. Ainda assim, se você quiser experimentar seus próprios modelos personalizados baseados em BLOOM ou BLOOMZ, esta é uma maneira rápida de começar sem precisar de um farm de servidores. O caderno tutorial vai ajudar você a começar. Se você quiser cavar fundo, há um white paper.

Nós estivemos preocupados com segurança do modelo, portanto, distribuí-lo tornará alguns ataques mais fáceis e outros mais difíceis, imaginamos. Nós não sabemos se nós confie em qualquer um deles para executar uma lâmina de serra circular em torno de nosso quintal ainda, no entanto.

• Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
• Platoblockchain. Inteligência Metaverso Web3. Conhecimento Ampliado. Acesse aqui.
• Fonte: https://hackaday.com/2023/03/21/bittorrent-for-language-models/