Dolly 2.0: ChatGPT alternativa de código abierto para uso comercial

Reeditado por Platón

seguidores: 0

Dolly 2.0: alternativa de código abierto de ChatGPT para uso comercial
Imagen del autor | Creador de imágenes de Bing

Dolly 2.0 es un modelo de lenguaje grande (LLM) de código abierto, seguido de instrucciones, que se ajustó en un conjunto de datos generado por humanos. Se puede utilizar tanto con fines comerciales como de investigación.

Dolly 2.0: alternativa de código abierto de ChatGPT para uso comercial
Imagen de Abrazando el espacio de la cara de RamAnanth1

Anteriormente, el equipo de Databricks lanzó Dolly 1.0, LLM, que exhibe una capacidad de seguimiento de instrucciones similar a ChatGPT y cuesta menos de $ 30 para entrenar. Estaba usando el conjunto de datos del equipo Stanford Alpaca, que estaba bajo una licencia restringida (solo para investigación).

Dolly 2.0 ha resuelto este problema ajustando el modelo de lenguaje de parámetros 12B (pitia) en una instrucción de alta calidad generada por humanos en el siguiente conjunto de datos, que fue etiquetado por un empleado de Datbricks. Tanto el modelo como el conjunto de datos están disponibles para uso comercial.

Dolly 1.0 se entrenó en un conjunto de datos de Stanford Alpaca, que se creó con la API de OpenAI. El conjunto de datos contiene la salida de ChatGPT y evita que alguien lo use para competir con OpenAI. En resumen, no puede crear un chatbot comercial o una aplicación de lenguaje basada en este conjunto de datos.

La mayoría de los últimos modelos lanzados en las últimas semanas sufrieron los mismos problemas, modelos como Alpaca, Koala, GPT4Todosy Vicuña. Para moverse, necesitamos crear nuevos conjuntos de datos de alta calidad que se puedan usar para uso comercial, y eso es lo que ha hecho el equipo de Databricks con el conjunto de datos databricks-dolly-15k.

El nuevo conjunto de datos contiene 15,000 XNUMX pares de solicitud/respuesta de alta calidad etiquetados por humanos que se pueden usar para diseñar instrucciones que ajustan modelos de lenguaje grandes. El databricks-dolly-15k el conjunto de datos viene con Licencia Creative Commons Reconocimiento-CompartirIgual 3.0 Unported, que permite que cualquiera pueda usarlo, modificarlo y crear una aplicación comercial en él.

¿Cómo crearon el conjunto de datos databricks-dolly-15k?

La investigación de OpenAI afirma que el modelo InstructGPT original fue entrenado en 13,000 indicaciones y respuestas. Al usar esta información, el equipo de Databricks comenzó a trabajar en ella y resultó que generar 13 5,000 preguntas y respuestas fue una tarea difícil. No pueden usar datos sintéticos o datos generativos de IA, y tienen que generar respuestas originales para cada pregunta. Aquí es donde han decidido utilizar XNUMX empleados de Databricks para crear datos generados por humanos.

Los Databricks organizaron un concurso en el que los 20 mejores etiquetadores obtendrían un gran premio. En este concurso participaron 5,000 empleados de Databricks que estaban muy interesados en los LLM

El dolly-v2-12b no es un modelo de última generación. Tiene un rendimiento inferior a dolly-v1-6b en algunos puntos de referencia de evaluación. Puede deberse a la composición y el tamaño de los conjuntos de datos de ajuste fino subyacentes. La familia de modelos Dolly está en desarrollo activo, por lo que es posible que vea una versión actualizada con un mejor rendimiento en el futuro.

En resumen, el modelo dolly-v2-12b ha funcionado mejor que EleutherAI/gpt-neox-20b y EleutherAI/pythia-6.9b.

Dolly 2.0: alternativa de código abierto de ChatGPT para uso comercial
Imagen de carro gratis

Dolly 2.0 es 100% de código abierto. Viene con código de entrenamiento, conjunto de datos, pesos de modelo y canalización de inferencia. Todos los componentes son adecuados para uso comercial. Puedes probar el modelo en Hugging Face Spaces Dolly V2 de RamAnanth1.

Dolly 2.0: alternativa de código abierto de ChatGPT para uso comercial
Imagen de Abrazando la cara

Recursos:

Demostración de Dolly 2.0: Dolly V2 de RamAnanth1

Abid Ali Awan (@ 1abidaliawan) es un profesional científico de datos certificado al que le encanta crear modelos de aprendizaje automático. Actualmente, se está enfocando en la creación de contenido y escribiendo blogs técnicos sobre aprendizaje automático y tecnologías de ciencia de datos. Abid tiene una Maestría en Gestión de Tecnología y una licenciatura en Ingeniería de Telecomunicaciones. Su visión es construir un producto de IA utilizando una red neuronal gráfica para estudiantes que luchan contra enfermedades mentales.