Dell og Nvidia drømmer om DIY-generative AI-modeller

Publisert av Platon

Følgere: 0

Dell World Dell har koblet seg opp med Nvidia for å pitche bedrifter på verktøy for å bygge generative AI-modeller som er trent på deres egne bedriftsdata, i stedet for offentlig tilgjengelig informasjon som den som brukes av generelle store språkmodeller (LLM) som OpenAIs GPT.

Nøkkelen til banen er datasikkerhet. Nvidias Manuvir Das, visepresident for enterprise computing, fortalte journalister at en bedrift som bygger sin egen generative AI trent på sine egne domenespesifikke data "ikke trenger å bekymre seg for at deres proprietære data blir blandet med proprietære data fra et annet selskap under opplæring."

Project Helix, et opplegg lansert av Nvidia og Dell tirsdag på Dell Technologies World 2023, inkluderer PowerEdge XE9680 og R760xa rackservere som er optimalisert for AI-trening og slutningsarbeid. XE9680, mens den kjører to av Intels fjerde generasjon Xeon-skalerbare prosessorer, har også åtte av Nvidias nyeste H100 Tensor Core GPUer koblet til via Nvidias NVLink-nettverk.

Nvidia planlegger også å utnytte sin AI-bedriftsprogramvare, rammeverk og utviklerverktøy – inkludert NeMo og forhåndstrente grunnmodeller NeMo rekkverk – å bygge sikre generative AI chatbots. Dells PowerScale og ECS Enterprise Object Storage-systemer for ustrukturerte data kan brukes med PowerEdge-rackservere, heter det.

"Alt dette lar oss sette sammen en virkelig komplett løsning for generativ AI som kan kjøres på stedet, som er fullstendig validert med maskinvaren og programvaren, som er sikker [og] privat," ifølge Das.

Lever på kanten

Å drive opplærings- og slutningsarbeidsmengdene i en bedrifts eget datasenter er nøkkelen til å forhindre at kritiske bedriftsdata havner i det offentlige domene og ev. brudd personvern- og sikkerhetsforskrifter, ifølge Huang. Når det gjelder generativ AI, vil on-prem i økende grad bety kanten.

"De må gjøre det på stedet fordi det er der dataene deres er, og de må gjøre det nær kanten fordi det er nærmest lysets hastighet," sa Huang. "Du vil at den skal reagere umiddelbart. Du vil også at det skal være på kanten, for i fremtiden vil du ha informasjon fra flere modaliteter.

"Jo mer kontekstuell informasjon vi får, jo bedre ... slutninger kan vi gjøre. Evnen til å ta disse beslutningene så nær kanten som mulig, hvor handlingen er, hvor alle dataene er, og hvor responsen kan være så høy som mulig, er virkelig viktig.»

For Nvidia, som for et tiår eller så siden satset på at AI skal være en fremtidig vekstmotor, bidrar Project Helix ytterligere til å befeste sin posisjon som en sentral muliggjører for maskinlæring for selskaper og HPC-organisasjoner.

I en tid da LLM-er trener på massive datasett for generelle formål – når det gjelder GPT og ChatGPT-boten bygget på den, internett – ønsker organisasjoner å trene mindre modeller på sine egne data for å møte sine egne spesifikke behov, ifølge Jeffrey Clarke , nestleder og co-COO i Dell.

"Det er trenden vi ser hos kundene," sa Clarke. «Hvordan tar de forretningskonteksten, dataene deres og hjelper dem med å ta bedre forretningsbeslutninger? Du trenger ikke en GPT-storspråklig modell for å gjøre det. … Bedrifter kommer ikke til å distribuere ChatGPT på en fabrikk for å få en fabrikk til å fungere bedre. Det vil være en lokalisert modell av selskapet X, Y eller Z med deres data."

Gir mer kontroll

Presset for å gjøre det mulig for bedrifter å tilpasse opplæringsmodeller med sin proprietære informasjon og i sine egne datasentre, får fart. Tidligere denne måneden, ServiceNow og Nvidia avduket et partnerskap ligner på Project Helix. De ideen er ikke ny, men det har blitt overladet med den nylige akselerasjonen i utviklingen av generative AI og LLM-er.

På GTC i september 2022 lanserte Nvidia NeMo LLM-tjenesten med det i tankene, og ga bedrifter en måte å tilpasse en rekke forhåndstrente grunnmodeller for å lage tilpassede modeller trent på deres egne data.

Generelle modeller som OpenAIs GPT-4 vil fungere for noen jobber, sa Das, "men det er også et stort antall bedriftsbedrifter som trenger å ha sine egne tilpassede storspråklige modeller for sitt eget domene, for sine egne proprietære data , for å forsikre seg om at modellene gjør akkurat det de trenger i forbindelse med selskapet deres.»

"NeMo er en plattform fra Nvidia for de kundene som trenger å bygge og vedlikeholde sine egne modeller."

Nvidia-sjef Jensen Huang, som dukket opp i en videodiskusjon med Clark under keynoten, sa at "hvert selskap er i sin kjerne om intelligens."

"Project Helix ... vil hjelpe hvert selskap til å være en AI-fabrikk og være i stand til å produsere deres intelligens, deres domenespesifikke intelligens, deres ekspertise, og deretter gjøre det i lyshastighet og gjøre det i skala," sa Huang.

Rask innovasjon rundt generativ AI vil også gi bedrifter flere alternativer, hevdet Dells Clarke. Dell Validated Designs basert på Project Helix vil være tilgjengelig fra og med juli. ®