Dolly 2.0: 상업용 ChatGPT 오픈 소스 대안

플라톤에 의해 재발행

팔로워 : 0

돌리 2.0: 상업용 ChatGPT 오픈 소스 대안
저자의 이미지 | 빙 이미지 크리에이터

돌리 2.0 사람이 생성한 데이터 세트에서 미세 조정된 오픈 소스, 지침 준수, 대규모 언어 모델(LLM)입니다. 연구 및 상업적 목적으로 모두 사용할 수 있습니다.

돌리 2.0: 상업용 ChatGPT 오픈 소스 대안
이미지 출처 : RamAnanth1의 허깅 페이스 스페이스

이전에 Databricks 팀은 돌리 1.0, LLM은 ChatGPT와 유사한 명령을 따르고 훈련 비용이 $30 미만입니다. 제한된 라이선스(연구 전용)에 따라 Stanford Alpaca 팀 데이터 세트를 사용하고 있었습니다.

Dolly 2.0은 12B 매개변수 언어 모델을 미세 조정하여 이 문제를 해결했습니다(피 티아) Datbricks 직원이 레이블을 지정한 다음 데이터 세트의 고품질 인간 생성 지침에 대해 설명합니다. 모델과 데이터 세트 모두 상업적 용도로 사용할 수 있습니다.

Dolly 1.0은 OpenAI API를 사용하여 생성된 Stanford Alpaca 데이터 세트에서 교육을 받았습니다. 데이터 세트에는 ChatGPT의 출력이 포함되어 있으며 누구나 이를 사용하여 OpenAI와 경쟁하는 것을 방지합니다. 즉, 이 데이터 세트를 기반으로 상업용 챗봇 또는 언어 애플리케이션을 구축할 수 없습니다.

지난 몇 주 동안 출시된 대부분의 최신 모델은 동일한 문제를 겪었습니다. 알파카, 코알라, GPT4올및 비 쿠나. 이 문제를 해결하려면 상업적 용도로 사용할 수 있는 새로운 고품질 데이터 세트를 만들어야 하며, 이것이 바로 Databricks 팀이 databricks-dolly-15k 데이터 세트로 수행한 작업입니다.

새 데이터 세트에는 대규모 언어 모델을 튜닝하는 명령을 설계하는 데 사용할 수 있는 15,000개의 고품질 인간 레이블 프롬프트/응답 쌍이 포함되어 있습니다. 그만큼 databricks-돌리-15k 데이터세트가 함께 제공됩니다. 크리에이티브 커먼즈 저작자표시-동일조건변경허락 3.0 포팅되지 않은 라이선스, 누구나 사용하고 수정하고 상용 응용 프로그램을 만들 수 있습니다.

그들은 어떻게 databricks-dolly-15k 데이터 세트를 만들었습니까?

OpenAI 연구 종이 원래 InstructGPT 모델은 13,000개의 프롬프트와 응답에 대해 훈련되었다고 명시되어 있습니다. Databricks 팀은 이 정보를 사용하여 작업을 시작했고 13개의 질문과 답변을 생성하는 것이 어려운 작업이라는 것이 밝혀졌습니다. 합성 데이터나 AI 생성 데이터를 사용할 수 없고 모든 질문에 대해 독창적인 답변을 생성해야 합니다. 여기에서 Databricks 직원 5,000명을 사용하여 사람이 생성한 데이터를 생성하기로 결정했습니다.

Databricks는 상위 20명의 라벨러가 큰 상을 받을 수 있는 콘테스트를 준비했습니다. 이번 대회에는 LLM에 관심이 많은 Databricks 직원 5,000명이 참가했습니다.

dolly-v2-12b는 최첨단 모델이 아닙니다. 일부 평가 벤치마크에서 dolly-v1-6b보다 성능이 낮습니다. 기본 미세 조정 데이터 세트의 구성과 크기 때문일 수 있습니다. Dolly 모델 제품군은 활발하게 개발 중이므로 향후 더 나은 성능으로 업데이트된 버전을 볼 수 있습니다.

요컨대, dolly-v2-12b 모델은 EleutherAI/gpt-neox-20b 및 EleutherAI/pythia-6.9b보다 더 나은 성능을 보였습니다.

돌리 2.0: 상업용 ChatGPT 오픈 소스 대안
이미지 출처 : 무료 돌리

Dolly 2.0은 100% 오픈 소스입니다. 학습 코드, 데이터 세트, 모델 가중치 및 추론 파이프라인과 함께 제공됩니다. 모든 구성 요소는 상업용으로 적합합니다. Hugging Face Spaces에서 모델을 시험해 볼 수 있습니다. RamAnanth2의 돌리 V1.

돌리 2.0: 상업용 ChatGPT 오픈 소스 대안
이미지 출처 : 포옹하는 얼굴

자료 :

돌리 2.0 데모: RamAnanth2의 돌리 V1

아비드 알리 아완 (@1abidaliawan)은 기계 학습 모델 구축을 좋아하는 공인 데이터 과학자 전문가입니다. 현재 그는 콘텐츠 제작에 집중하고 있으며 머신 러닝 및 데이터 과학 기술에 대한 기술 블로그를 작성하고 있습니다. Abid는 기술 관리 석사 학위와 통신 공학 학사 학위를 보유하고 있습니다. 그의 비전은 정신 질환으로 고생하는 학생들을 위해 그래프 신경망을 사용하여 AI 제품을 만드는 것입니다.