Miksi organisaatiot ovat siirtymässä OpenAI:sta hienosäädettyihin avoimen lähdekoodin malleihin - DATAVERSITY

Miksi organisaatiot ovat siirtymässä OpenAI:sta hienosäädettyihin avoimen lähdekoodin malleihin – DATAVERSITY

Aikaleima: 24. tammikuuta 2024 3
Lähdesolmu: 3081727

Nopeasti kehittyvässä generatiivisessa tekoälymaailmassa OpenAI on mullistanut tavan, jolla kehittäjät rakentavat prototyyppejä, luovat demoja ja saavuttavat merkittäviä tuloksia. suuria kielimalleja (LLM:t). Kuitenkin, kun on aika ottaa LLM:t tuotantoon, organisaatiot siirtyvät yhä enemmän pois kaupallisista LLM:istä, kuten OpenAI:sta, ja suosivat hienosäädettyjä avoimen lähdekoodin malleja. Mikä ajaa tämän muutoksen, ja miksi kehittäjät omaksuvat sen?

Ensisijaiset motivaatiot ovat yksinkertaiset: 1. tehokkuus ja 2. toimittajan lukkiutumisen välttäminen samalla kun turvataan sekä tietoihin että malleihin liittyvä immateriaalioikeus. Avoimen lähdekoodin mallit, kuten Llama2 ja Mistral, vastaavat nyt ja joissakin tapauksissa jopa ylittävät kaupalliset LLM-mallit suorituskyvyltään, mutta ovat myös huomattavasti pienemmät. Siirtyminen avoimen lähdekoodin malleihin ei ainoastaan ​​takaa huomattavia kustannussäästöjä, vaan se antaa kehittäjille myös paremman hallinnan ja valvonnan malleihinsa.

Immateriaaliomaisuuden turvaaminen ja toimittajan lukkiutumisen välttäminen

Useimmille organisaatioille kaupalliset LLM:t ovat musta laatikko, koska ne eivät tarjoa pääsyä mallin lähdekoodiin tai kykyä viedä mallin artefakteja. Pelkästään API:n kautta saataviin black box -malleihin luottaminen ei ole enää ihanteellinen kriittisiin ja kaupallisiin sovelluksiin. Organisaatioiden on selvitettävä mallin omistajuus ja erotettava tuotteensa kilpailijoista säilyttäen samalla tekoälyn ja datan immateriaaliomaisuutensa. Yritykseni hiljattain tekemän tutkimuksen mukaan kolme neljäsosaa vastaajista ei suostuisi käyttämään kaupallista LLM:ää tuotannossa. Nämä vastaajat mainitsivat omistajuuden, yksityisyyden ja kustannusten ensisijaisena huolenaiheensa.

Vaatimustenmukaisuuden ja yksityisyyden varmistaminen on edelleen ensiarvoisen tärkeää, ja kehittäjät kohtaavat haasteen varmistaa, että loppukäyttäjien tiedot on suojattu haitallisilta tahoilta, kun ne siirretään mustaan ​​laatikkojärjestelmään. Lisäksi riippuvuus kolmansien osapuolien alustoista herättää huolta latenssista ja tuotantotason palvelutason sopimusten säilyttämisestä kaupallisille sovelluksille (SLA). Lopuksi yritysjohtajat näkevät tekoälyn yhä useammin IP-osuutensa ytimenä, ja he näkevät yhä useammin räätälöityjä malleja, joissa on omat tiedot, keskeisenä erottavana tekijänä, joka erottaa heidät kilpailijoista. Yksinkertaisesti sanottuna yritykset eivät enää ole tyytyväisiä ajatukseen immateriaalioikeuksien uskomisesta kolmannelle osapuolelle ja vain ohut kerros jonkun toisen API:n päällä.

Erikoismallit: suorituskyky ja kustannustehokkuus

Kun avoimen lähdekoodin malleja pidettiin tehottomana, ne ovat kokeneet huomattavan muodonmuutoksen hienosäädön ansiosta, ja nyt niistä on noussut tehokkaina kilpailijoina. Hienosäädetyt avoimen lähdekoodin mallit kohtaavat nyt, ellei jopa enemmän, kaupallisia malleja. suoritustaso, säilyttäen samalla huomattavasti pienemmän jalanjäljen. 

Tulokset viimeaikaisista kokeiluistamme: Hienosäädetyt, pienemmät tehtäväkohtaiset LLM:t ylittävät kaupallisten toimittajien vaihtoehdot.

Tämä on valtava mahdollisuus, koska massiivisten kaupallisten LLM-yritysten tuotanto on aiheuttanut vaikeuksia monille organisaatioille LLM:ien koon ja niihin liittyvien kustannusten vuoksi. Hyödyntämällä hienosäädettyjä malleja, kehittäjät voivat saavuttaa erinomaisia ​​tuloksia käsitellessään malleja, jotka ovat kaksi tai kolme suuruusluokkaa pienempiä kuin kaupalliset vastineet ja siten huomattavasti halvempia ja nopeampia. 

Harkitse tapausta, jossa organisaatio käyttää LLM:ää satojen tuhansien etulinjan työntekijöiden viestien käsittelyyn. Organisaatio voisi vähentää kustannuksiaan käyttämällä hienosäädettyä mallia laajan LLM:n sijaan. Kyky saavuttaa merkittäviä tuloksia murto-osalla kustannuksista tekee hienosäädöstä houkuttelevan vaihtoehdon organisaatioille, jotka pyrkivät optimoimaan tekoälytoteutuksiaan.

Yhteenveto

Siirtyminen OpenAI:sta avoimen lähdekoodin malleihin on seuraava vaihe yrityksille, jotka haluavat säilyttää tietonsa ja mallinsa omistuksensa. yksityisyysja vältä toimittajan lukkiutumista. Avoimen lähdekoodin mallit tarjoavat jatkuvasti kehittyessään houkuttelevan vaihtoehdon kehittäjille, jotka haluavat ottaa tekoälyn käyttöön tuotantoympäristöissä. Räätälöidyn tekoälyn aikakaudella erikoismallit eivät ainoastaan ​​tarjoa optimaalista suorituskykyä, vaan myös vähentävät kustannuksia huomattavasti, mikä osoittaa kohti valoisaa tulevaisuutta.

Haasteita on kuitenkin edelleen hienosäätöprosessin yksinkertaistamisessa ja hallinnassa, vankan tuotantoinfrastruktuurin luomisessa ja tekoälysovellusten laadun, luotettavuuden, turvallisuuden ja eettisyyden varmistamisessa. Innovatiiviset alustat tarjoavat ratkaisuja näihin haasteisiin, jotka auttavat organisaatioita rakentamaan mukautettuja tekoälysovelluksia. Tarjoamalla helppokäyttöisiä hienosäätöominaisuuksia ja tuotantovalmiutta infrastruktuuria, nämä alustat antavat organisaatioille mahdollisuuden vapauttaa avoimen lähdekoodin mallien valtavat mahdollisuudet säilyttäen samalla äärimmäisen hallinnan ja saavuttaen optimaalisen suorituskyvyn.

Aikaleima:

Lisää aiheesta DATAVERSITEETTI