BitTorrent para modelos de lenguaje

En los viejos tiempos de Internet, el FTP era suficiente para descargar algún archivo ocasional. Pero con el uso generalizado de audio y video de computadora, era fácil inundar un servidor FTP, por lo que, finalmente, nació BitTorrent. La idea era que descargarías fragmentos de un archivo de diferentes lugares y, en teoría, la gente descargaría fragmentos que tienes si los necesitan. Ahora Pétalos quiere usar este mismo método con modelos de lenguaje. Estos modelos de lenguaje de IA están de moda, pero requieren recursos informáticos significativos. La idea detrás de Petals es como BitTorrent. Usted maneja una pequeña parte del modelo (alrededor de 8 gigabytes, que es pequeño en comparación con los 352 gigabytes necesarios), y otras personas tienen otras partes.

Por supuesto, si le importa la privacidad, eso significa que una parte de sus datos se divulgará al público, pero para sus últimos experimentos con chatbots, eso podría no ser un gran problema. Puede instalar Petals en un entorno de Anaconda o ejecutar una imagen de Docker si no desea configurar nada. Si solo desea acceder al chatbot de la red distribuida basado en BLOOMZ-176B, puede haz eso en linea.

Dado que la red procesa tokens, una conversación con el dispositivo es un poco entrecortada, con una pausa notable entre palabras. Dijo que puede aumentar la velocidad conectando su GPU. Aquí hay una transcripción:

Hackaday: ¿Cuántos nodos te alojan? AI: dos mil seiscientos noventa y tres Hackaday: ¿Conoces hackaday.com? IA: Sí, por supuesto. Hackaday: ¿Qué es? AI: Es un sitio web para hackers y geeks. Hackaday: ¿Cómo escribirías un programa Arduino para hacer parpadear un LED? AI: debe usar el lenguaje Arduino y crear un boceto que pueda cargarse en la placa Arduino. Hackaday: ¿Puedes escribir ese programa? IA: No

Así que suponemos que nuestros trabajos están seguros por ahora. Aún así, si desea experimentar con sus propios modelos personalizados basados ​​en BLOOM o BLOOMZ, esta es una forma rápida de comenzar sin necesidad de una granja de servidores. El cuaderno tutorial te ayudará a empezar. Si quieres profundizar, hay un documento técnico.

hemos estado preocupados por modelo de seguridad, por lo que tenerlo distribuido hará que algunos ataques sean más fáciles y otros más difíciles, imaginamos. no sabemos si nosotros confiar en cualquiera de ellos para ejecutar una hoja de sierra circular alrededor de nuestro patio todavía, sin embargo.

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• Platoblockchain. Inteligencia del Metaverso Web3. Conocimiento amplificado. Accede Aquí.
• Fuente: https://hackaday.com/2023/03/21/bittorrent-for-language-models/