Natančno nastavite in stroškovno učinkovito uvedite modele Llama 2 v Amazon SageMaker JumpStart z AWS Inferentia in AWS Trainium | Spletne storitve Amazon

Danes z veseljem sporočamo, da je na voljo podpora za sklepanje in fino nastavitev Llama 2 AWS Trainium in Sklepanje AWS primeri v Amazon SageMaker JumpStart. Uporaba primerkov, ki temeljijo na AWS Trainium in Inferentia, prek SageMakerja lahko uporabnikom pomaga znižati stroške natančnega prilagajanja za do 50 % in znižati stroške uvajanja za 4.7-krat, hkrati pa zmanjša zakasnitev na žeton. Llama 2 je avtoregresivni generativni besedilni jezikovni model, ki uporablja optimizirano transformatorsko arhitekturo. Kot javno dostopen model je Llama 2 zasnovan za številne naloge NLP, kot so klasifikacija besedil, analiza čustev, prevajanje jezikov, jezikovno modeliranje, generiranje besedil in sistemi dialogov. Natančno prilagajanje in uvajanje LLM-jev, kot je Llama 2, lahko postane drago ali zahtevno za doseganje zmogljivosti v realnem času za zagotavljanje dobre uporabniške izkušnje. Trainium in AWS Inferentia, ki ju omogoča AWS nevron komplet za razvoj programske opreme (SDK), ponujajo visoko zmogljivo in stroškovno učinkovito možnost za usposabljanje in sklepanje modelov Llama 2.

V tej objavi prikazujemo, kako uvesti in natančno nastaviti Llama 2 na instancah Trainium in AWS Inferentia v SageMaker JumpStart.

Pregled rešitev

V tem blogu se bomo sprehodili skozi naslednje scenarije:

1. Namestite Llamo 2 na primerke AWS Inferentia v obeh Amazon SageMaker Studio Uporabniški vmesnik z izkušnjo uvajanja z enim klikom in SDK SageMaker Python.
2. Natančno prilagodite Llama 2 na primerkih Trainium v ​​uporabniškem vmesniku SageMaker Studio in SDK SageMaker Python.
3. Primerjajte zmogljivost natančno nastavljenega modela Llama 2 z vnaprej natreniranim modelom, da pokažete učinkovitost natančne nastavitve.

Če se želite dokopati, glejte Primer zvezka GitHub.

Razmestite Llama 2 na primerke AWS Inferentia z uporabo uporabniškega vmesnika SageMaker Studio in Python SDK

V tem razdelku prikazujemo, kako uvesti Llama 2 na primerke AWS Inferentia z uporabo uporabniškega vmesnika SageMaker Studio za uvajanje z enim klikom in Python SDK.

Odkrijte model Llama 2 v uporabniškem vmesniku SageMaker Studio

SageMaker JumpStart omogoča dostop do javno dostopnih in lastniških modeli temeljev. Osnovni modeli so vgrajeni in vzdrževani s strani tretjih oseb in lastniških ponudnikov. Kot taki so izdani pod različnimi licencami, ki jih določi vir modela. Ne pozabite prebrati licence za kateri koli temeljni model, ki ga uporabljate. Odgovorni ste za pregled in upoštevanje vseh veljavnih licenčnih pogojev ter zagotovitev, da so sprejemljivi za vaš primer uporabe, preden prenesete ali uporabite vsebino.

Do temeljnih modelov Llama 2 lahko dostopate prek SageMaker JumpStart v uporabniškem vmesniku SageMaker Studio in SDK SageMaker Python. V tem razdelku bomo opisali, kako odkriti modele v SageMaker Studio.

SageMaker Studio je integrirano razvojno okolje (IDE), ki ponuja enoten spletni vizualni vmesnik, kjer lahko dostopate do namensko izdelanih orodij za izvajanje vseh razvojnih korakov strojnega učenja (ML), od priprave podatkov do gradnje, usposabljanja in uvajanja vašega ML. modeli. Za več podrobnosti o tem, kako začeti in nastaviti SageMaker Studio, glejte Amazon SageMaker Studio.

Ko ste v SageMaker Studio, lahko dostopate do SageMaker JumpStart, ki vsebuje vnaprej pripravljene modele, zvezke in vnaprej pripravljene rešitve, pod Predizdelane in avtomatizirane rešitve. Za podrobnejše informacije o dostopu do lastniških modelov glejte Uporabite lastniške modele temeljev Amazon SageMaker JumpStart v Amazon SageMaker Studio.

Na ciljni strani SageMaker JumpStart lahko brskate po rešitvah, modelih, prenosnikih in drugih virih.

Če ne vidite modelov Llama 2, posodobite svojo različico SageMaker Studio tako, da zaustavite in znova zaženete. Za več informacij o posodobitvah različic glejte Zaustavite in posodobite aplikacije Studio Classic.

Z izbiro najdete tudi druge modelske variante Raziščite vse modele generiranja besedila ali iskanje llama or neuron v iskalnem polju. Na tej strani si boste lahko ogledali modele Llama 2 Neuron.

Namestite model Llama-2-13b s SageMaker Jumpstart

Izberete lahko kartico modela, da si ogledate podrobnosti o modelu, kot so licenca, podatki, uporabljeni za usposabljanje, in kako jih uporabljati. Najdete lahko tudi dva gumba, uvajanje in Odpri zvezek, ki vam pomagajo pri uporabi modela s tem primerom brez kode.

Ko izberete kateri koli gumb, se v pojavnem oknu prikaže licenčna pogodba za končnega uporabnika in pravilnik o sprejemljivi uporabi (AUP), ki ju morate potrditi.

Ko potrdite pravilnike, lahko razmestite končno točko modela in jo uporabite po korakih v naslednjem razdelku.

Razmestite model Llama 2 Neuron prek SDK-ja za Python

Ko izberete uvajanje in potrdite pogoje, se bo začela uvedba modela. Druga možnost je, da uvedete prek vzorčnega prenosnika tako, da izberete Odpri zvezek. Primer zvezka nudi navodila od konca do konca o tem, kako razmestiti model za sklepanje in čiščenje virov.

Če želite razmestiti ali natančno prilagoditi model na instancah Trainium ali AWS Inferentia, morate najprej poklicati PyTorch Neuron (torch-neuronx), da sestavite model v graf, specifičen za nevrone, ki ga bo optimiziral za NeuronCores podjetja Inferentia. Uporabniki lahko naročijo prevajalniku, naj optimizira za najnižjo zakasnitev ali najvišjo prepustnost, odvisno od ciljev aplikacije. V JumpStartu smo vnaprej prevedli Neuronove grafe za različne konfiguracije, da bi uporabnikom omogočili, da srkajo korake prevajanja, kar omogoča hitrejše natančno prilagajanje in uvajanje modelov.

Upoštevajte, da je vnaprej prevedeni graf Neuron ustvarjen na podlagi določene različice različice prevajalnika Neuron.

Obstajata dva načina za uvedbo LIama 2 na instancah, ki temeljijo na AWS Inferentia. Prva metoda uporablja vnaprej zgrajeno konfiguracijo in vam omogoča, da uvedete model v samo dveh vrsticah kode. V drugem primeru imate večji nadzor nad konfiguracijo. Začnimo s prvo metodo, z vnaprej zgrajeno konfiguracijo, in kot primer uporabimo vnaprej usposobljen nevronski model Llama 2 13B. Naslednja koda prikazuje, kako namestiti Llama 13B s samo dvema vrsticama:

from sagemaker.jumpstart.model import JumpStartModel

model_id = "meta-textgenerationneuron-llama-2-13b"
model = JumpStartModel(model_id=model_id)
pretrained_predictor = model.deploy(accept_eula=False) ## To set 'accept_eula' to be True to deploy 

Če želite izvajati sklepanje na teh modelih, morate podati argument accept_eula za True kot del model.deploy() klic. Nastavitev tega argumenta za resničnega potrjuje, da ste prebrali in sprejeli EULA za model. EULA je na voljo v opisu modela kartice ali v Spletna stran Meta.

Privzeti tip primerka za Llama 2 13B je ml.inf2.8xlarge. Poskusite lahko tudi druge ID-je podprtih modelov:

• meta-textgenerationneuron-llama-2-7b
• meta-textgenerationneuron-llama-2-7b-f (model za klepet)
• meta-textgenerationneuron-llama-2-13b-f (model za klepet)

Če pa želite imeti več nadzora nad konfiguracijami razmestitve, kot so dolžina konteksta, tenzorska vzporedna stopnja in največja velikost tekočega paketa, jih lahko spremenite prek okoljskih spremenljivk, kot je prikazano v tem razdelku. Osnovni vsebnik za globoko učenje (DLC) uvedbe je Large Model Inference (LMI) NeuronX DLC. Okoljske spremenljivke so naslednje:

• OPTION_N_POSITIONS – Največje število vhodnih in izhodnih žetonov. Na primer, če sestavite model z OPTION_N_POSITIONS kot 512, potem lahko uporabite vhodni žeton 128 (velikost vhodnega poziva) z največjim izhodnim žetonom 384 (skupno število vhodnih in izhodnih žetonov mora biti 512). Za največji izhodni žeton je vsaka vrednost pod 384 v redu, vendar je ne morete preseči (na primer vnos 256 in izhod 512).
• OPTION_TENSOR_PARALLEL_DEGREE – Število NeuronCores za nalaganje modela v primerke AWS Inferentia.
• OPTION_MAX_ROLLING_BATCH_SIZE – Največja velikost paketa za sočasne zahteve.
• OPTION_DTYPE – Vrsta datuma za nalaganje modela.

Sestava nevronskega grafa je odvisna od dolžine konteksta (OPTION_N_POSITIONS), vzporedna stopnja tenzorja (OPTION_TENSOR_PARALLEL_DEGREE), največja velikost serije (OPTION_MAX_ROLLING_BATCH_SIZE) in vrsto podatkov (OPTION_DTYPE), da naložite model. SageMaker JumpStart ima vnaprej prevedene nevronske grafe za različne konfiguracije za prejšnje parametre, da se izogne ​​prevajanju med izvajanjem. Konfiguracije vnaprej sestavljenih grafov so navedene v naslednji tabeli. Dokler okoljske spremenljivke spadajo v eno od naslednjih kategorij, bo sestavljanje nevronskih grafov preskočeno.

Sledi primer uvajanja Llama 2 13B in nastavitve vseh razpoložljivih konfiguracij.

from sagemaker.jumpstart.model import JumpStartModel

model_id = "meta-textgenerationneuron-llama-2-13b-f"
model = JumpStartModel(
    model_id=model_id,
    env={
        "OPTION_DTYPE": "fp16",
        "OPTION_N_POSITIONS": "4096",
        "OPTION_TENSOR_PARALLEL_DEGREE": "12",
        "OPTION_MAX_ROLLING_BATCH_SIZE": "4", 
    },
    instance_type="ml.inf2.24xlarge"  
)
pretrained_predictor = model.deploy(accept_eula=False) ## To set 'accept_eula' to be True to deploy 

Zdaj, ko smo namestili model Llama-2-13b, lahko z njim izvedemo sklepanje tako, da prikličemo končno točko. Naslednji delček kode prikazuje uporabo podprtih parametrov sklepanja za nadzor generiranja besedila:

• največja_dolžina – Model ustvarja besedilo, dokler ne doseže izhodne dolžine (ki vključuje dolžino vhodnega konteksta). max_length. Če je navedeno, mora biti pozitivno celo število.
• max_new_tokens – Model generira besedilo, dokler ne doseže izhodne dolžine (razen dolžine vhodnega konteksta). max_new_tokens. Če je navedeno, mora biti pozitivno celo število.
• št_žarkov – To označuje število žarkov, uporabljenih pri pohlepnem iskanju. Če je navedeno, mora biti celo število, večje ali enako num_return_sequences.
• no_repeat_ngram_size – Model zagotavlja, da zaporedje besed no_repeat_ngram_size se ne ponovi v izhodnem zaporedju. Če je navedeno, mora biti pozitivno celo število, večje od 1.
• temperatura – To nadzoruje naključnost v izhodu. Višja temperatura povzroči izhodno zaporedje z besedami z nizko verjetnostjo; nižja temperatura povzroči izhodno zaporedje z besedami z visoko verjetnostjo. če temperature enako 0, povzroči pohlepno dekodiranje. Če je navedeno, mora biti pozitivno lebdeče.
• zgodnje_ustavljanje - Če True, je generiranje besedila končano, ko vse hipoteze žarkov dosežejo konec stavčnega žetona. Če je navedeno, mora biti logično.
• do_sample - Če True, model vzorči naslednjo besedo glede na verjetnost. Če je navedeno, mora biti logično.
• top_k – V vsakem koraku generiranja besedila model vzorči samo iz top_k najverjetneje besede. Če je navedeno, mora biti pozitivno celo število.
• top_p – V vsakem koraku generiranja besedila model vzorči iz najmanjšega možnega niza besed s kumulativno verjetnostjo top_p. Če je navedeno, mora biti lebdeča vrednost med 0–1.
• stop – Če je navedeno, mora biti seznam nizov. Generiranje besedila se ustavi, če je ustvarjen kateri koli od navedenih nizov.

Naslednja koda prikazuje primer:

payload = {
    "inputs": "I believe the meaning of life is",
    "parameters": {
        "max_new_tokens": 64,
        "top_p": 0.9,
        "temperature": 0.6,
    },
}

response = pretrained_predictor.predict(payload)

izhod:

I believe the meaning of life is
>  to be happy. I believe that happiness is a choice. I believe that happiness 
is a state of mind. I believe that happiness is a state of being. I believe that 
happiness is a state of being. I believe that happiness is a state of being. I 
believe that happiness is a state of being. I believe

Za več informacij o parametrih v tovoru glejte Podrobni parametri.

Prav tako lahko raziščete izvajanje parametrov v prenosnik če želite dodati več informacij o povezavi zvezka.

Natančno prilagodite modele Llama 2 na primerkih Trainium z uporabniškim vmesnikom SageMaker Studio in SDK SageMaker Python

Generativni osnovni modeli umetne inteligence so postali glavni fokus v strojnem stroju in umetni inteligenci, vendar pa lahko njihova široka posplošitev ne uspe na določenih področjih, kot so zdravstvo ali finančne storitve, kjer so vključeni edinstveni nabori podatkov. Ta omejitev poudarja potrebo po natančnem prilagajanju teh generativnih modelov umetne inteligence s podatki, specifičnimi za domeno, da se izboljša njihova učinkovitost na teh specializiranih področjih.

Zdaj, ko smo uvedli vnaprej usposobljeno različico modela Llama 2, poglejmo, kako lahko to natančno prilagodimo domensko specifičnim podatkom, da povečamo natančnost, izboljšamo model v smislu hitrih zaključkov in prilagodimo model primer vaše poslovne uporabe in podatke. Modele lahko natančno prilagodite z uporabniškim vmesnikom SageMaker Studio ali SDK SageMaker Python. V tem razdelku obravnavamo obe metodi.

Natančno prilagodite model Llama-2-13b Neuron s SageMaker Studio

V SageMaker Studio se pomaknite do modela Llama-2-13b Neuron. Na uvajanje lahko pokažete na Preprosta storitev shranjevanja Amazon (Amazon S3), ki vsebuje nabore podatkov za usposabljanje in validacijo za natančno nastavitev. Poleg tega lahko konfigurirate konfiguracijo razmestitve, hiperparametre in varnostne nastavitve za natančno nastavitev. Potem izberite Vlak za začetek usposabljanja na primerku SageMaker ML.

Če želite uporabljati modele Llama 2, morate sprejeti EULA in AUP. Prikaže se, ko izberete Vlak. Izberite Prebral sem in sprejemam EULA in AUP za začetek natančnega prilagajanja.

Stanje svojega usposabljanja za natančno nastavljen model si lahko ogledate pod na konzoli SageMaker tako, da izberete Usposabljanja v podoknu za krmarjenje.

Svoj model Llama 2 Neuron lahko natančno prilagodite s tem primerom brez kode ali pa ga natančno prilagodite s SDK-jem za Python, kot je prikazano v naslednjem razdelku.

Natančno prilagodite model Llama-2-13b Neuron prek SDK-ja SageMaker Python

Nabor podatkov lahko natančno prilagodite s formatom prilagoditve domene ali natančno prilagajanje na podlagi navodil format. Sledijo navodila za oblikovanje podatkov o usposabljanju, preden se pošljejo v fino nastavitev:

• vhod - A train imenik, ki vsebuje datoteko v obliki vrstic JSON (.jsonl) ali besedila (.txt).
  • Za datoteko vrstic JSON (.jsonl) je vsaka vrstica ločen predmet JSON. Vsak objekt JSON mora biti strukturiran kot par ključ-vrednost, kjer mora biti ključ text, vrednost pa je vsebina enega primera usposabljanja.
  • Število datotek v imeniku vlakov mora biti enako 1.
• izhod – Usposobljen model, ki ga je mogoče uporabiti za sklepanje.

V tem primeru uporabljamo podmnožico Nabor podatkov Dolly v formatu za nastavitev navodil. Nabor podatkov Dolly vsebuje približno 15,000 zapisov, ki sledijo navodilom, za različne kategorije, kot so odgovori na vprašanja, povzemanje in ekstrakcija informacij. Na voljo je pod licenco Apache 2.0. Uporabljamo information_extraction primeri za natančno nastavitev.

1. Naložite nabor podatkov Dolly in ga razdelite na train (za fino nastavitev) in test (za oceno):

   from datasets import load_dataset
   
   dolly_dataset = load_dataset("databricks/databricks-dolly-15k", split="train")
   
   task = "information_extraction"
   To train for summarization/closed question and answering, you can replace the assertion in next line to example["category"] == "sumarization"/"closed_qa".
   summarization_dataset = dolly_dataset.filter(lambda example: example["category"] == task)
   summarization_dataset = summarization_dataset.remove_columns("category")
   
   We split the dataset into two where test data is used to evaluate at the end.
   train_and_test_dataset = summarization_dataset.train_test_split(test_size=0.1)
   
   Dumping the training data to a local file to be used for training.
   train_and_test_dataset["train"].to_json("train.jsonl")

2. Uporabite predlogo poziva za predhodno obdelavo podatkov v obliki navodil za opravilo usposabljanja:

   prompt = ("""Below is an instruction that describes a task, paired with an input 
   that provides further context. Write a response that appropriately completes the 
   request.nn### Instruction:n{instruction}nn### Input:n{context}### 
   Response:n{response}nn<s>""")

3. Preglejte hiperparametre in jih prepišite za svoj primer uporabe:

   from sagemaker import hyperparameters
   
   model_id = "meta-textgenerationneuron-llama-2-13b"
   model_version = "1.*"
   
   my_hyperparameters = hyperparameters.retrieve_default(
       model_id=model_id, model_version=model_version
   )
   
   my_hyperparameters["max_input_length"] = "4096" ## you can increase it up to 4096 for sequence length.
   my_hyperparameters["max_steps"] = "25"
   my_hyperparameters["learning_rate"] = "0.0001"
   print(my_hyperparameters)
   
   hyperparameters.validate(model_id=model_id, model_version=model_version, hyperparameters=my_hyperparameters)

4. Natančno prilagodite model in začnite učno delo SageMaker. Skripti za fino nastavitev temeljijo na nevronx-nemo-megatron repozitorij, ki so spremenjene različice paketov nemo in apex ki so bili prilagojeni za uporabo z instancami Neuron in EC2 Trn1. The nevronx-nemo-megatron repozitorij ima 3D (podatki, tenzor in cevovod) vzporednost, ki vam omogoča natančno nastavitev LLM-jev v obsegu. Podprti primerki Trainium so ml.trn1.32xlarge in ml.trn1n.32xlarge.

   from sagemaker.jumpstart.estimator import JumpStartEstimator
   
   estimator = JumpStartEstimator(
       model_id=model_id,
       model_version=model_version,
       hyperparameters=my_hyperparameters,
       environment={"accept_eula": "false"}, # please change `accept_eula` to be `true` to accept EULA.
       #instance_type="ml.trn1n.32xlarge", if not specified, default `ml.trn1.32xlarge` will be used.
   )
   
   estimator.fit({"train": train_data_location})

5. Končno razmestite natančno nastavljen model v končni točki SageMaker:

   finetuned_predictor = estimator.deploy()

Primerjajte odzive med predhodno usposobljenimi in natančno nastavljenimi modeli Llama 2 Neuron

Zdaj, ko smo uvedli vnaprej usposobljeno različico modela Llama-2-13b in jo natančno prilagodili, si lahko ogledamo nekaj primerjav zmogljivosti takojšnjih dokončanj obeh modelov, kot je prikazano v naslednji tabeli. Ponujamo tudi primer za natančno nastavitev Llame 2 na naboru podatkov SEC za vložitev v formatu .txt. Za podrobnosti glejte Primer zvezka GitHub.

Vidimo lahko, da odzivi iz natančno nastavljenega modela kažejo znatno izboljšanje natančnosti, ustreznosti in jasnosti v primerjavi s tistimi iz predhodno usposobljenega modela. V nekaterih primerih uporaba vnaprej usposobljenega modela za vaš primer uporabe morda ne bo dovolj, zato bo z natančno nastavitvijo s to tehniko rešitev bolj prilagojena vašemu naboru podatkov.

Čiščenje

Ko končate z usposabljanjem in ne želite več uporabljati obstoječih virov, izbrišite vire z naslednjo kodo:

# Delete resources
# Delete the fine-tuned model
finetuned_predictor.delete_model()

# Delete the fine-tuned model endpoint
finetuned_predictor.delete_endpoint()

zaključek

Uvedba in fina nastavitev modelov Llama 2 Neuron na SageMaker dokazujeta pomemben napredek pri upravljanju in optimizaciji generativnih modelov umetne inteligence velikega obsega. Ti modeli, vključno z različicami, kot sta Llama-2-7b in Llama-2-13b, uporabljajo Neuron za učinkovito usposabljanje in sklepanje na primerkih, ki temeljijo na AWS Inferentia in Trainium, s čimer izboljšajo njihovo zmogljivost in razširljivost.

Možnost uvajanja teh modelov prek uporabniškega vmesnika SageMaker JumpStart in Python SDK ponuja prilagodljivost in enostavnost uporabe. Neuron SDK s podporo za priljubljena ogrodja ML in visoko zmogljivimi zmogljivostmi omogoča učinkovito ravnanje s temi velikimi modeli.

Natančna nastavitev teh modelov na domensko specifičnih podatkih je ključnega pomena za izboljšanje njihove ustreznosti in natančnosti na specializiranih področjih. Postopek, ki ga lahko izvajate prek uporabniškega vmesnika SageMaker Studio ali Python SDK, omogoča prilagajanje posebnim potrebam, kar vodi do izboljšane zmogljivosti modela v smislu hitrega dokončanja in kakovosti odziva.

Za primerjavo, vnaprej usposobljene različice teh modelov, čeprav zmogljive, lahko zagotovijo bolj splošne ali ponavljajoče se odzive. Natančna nastavitev prilagodi model posebnim kontekstom, kar ima za posledico natančnejše, ustreznejše in raznolike odzive. Ta prilagoditev je še posebej očitna pri primerjavi odzivov predhodno usposobljenih in natančno nastavljenih modelov, kjer slednji pokaže opazno izboljšanje kakovosti in specifičnosti izhoda. Skratka, uvedba in fina nastavitev modelov Neuron Llama 2 na SageMakerju predstavljata robusten okvir za upravljanje naprednih modelov umetne inteligence, ki ponuja znatne izboljšave v zmogljivosti in uporabnosti, zlasti kadar so prilagojeni specifičnim domenam ali nalogam.

Začnite danes s sklicevanjem na vzorec SageMaker prenosnik.

Za več informacij o uvajanju in natančnem prilagajanju vnaprej usposobljenih modelov Llama 2 na instancah, ki temeljijo na GPU, glejte Natančno nastavite Llama 2 za ustvarjanje besedila na Amazon SageMaker JumpStart in Modeli temeljev Llama 2 podjetja Meta so zdaj na voljo v Amazon SageMaker JumpStart.

Avtorji bi se radi zahvalili za tehnične prispevke Evanu Kravitzu, Christopherju Whittenu, Adamu Kozdrowiczu, Mananu Shahu, Jonathanu Guinegagnu in Miku Jamesu.

O avtorjih

Xin Huang je višji aplikativni znanstvenik za vgrajene algoritme Amazon SageMaker JumpStart in Amazon SageMaker. Osredotoča se na razvoj razširljivih algoritmov strojnega učenja. Njegovi raziskovalni interesi so na področju obdelave naravnega jezika, razložljivega globokega učenja na tabelarnih podatkih in robustne analize neparametričnega prostorsko-časovnega združevanja. Objavil je številne članke na konferencah ACL, ICDM, KDD in Royal Statistical Society: Series A.

Nitin Evzebij je višji arhitekt za podjetniške rešitve pri AWS, ima izkušnje s programskim inženiringom, podjetniško arhitekturo in AI/ML. Zelo je navdušen nad raziskovanjem možnosti generativne umetne inteligence. Sodeluje s strankami, da bi jim pomagal zgraditi dobro zasnovane aplikacije na platformi AWS, in je predan reševanju tehnoloških izzivov in pomoči pri njihovi poti v oblak.

Madhur Prashant deluje v generativnem prostoru umetne inteligence pri AWS. Navdušen je nad presečiščem človeškega razmišljanja in generativne umetne inteligence. Njegovi interesi so generativni AI, natančneje gradnja rešitev, ki so koristne in neškodljive ter predvsem optimalne za stranke. Zunaj službe se rad ukvarja z jogo, planinari, preživlja čas s svojim dvojčkom in igra kitaro.

Dewan Choudhury je inženir za razvoj programske opreme pri Amazon Web Services. Dela na algoritmih Amazon SageMaker in ponudbi JumpStart. Poleg gradnje infrastruktur AI/ML se navdušuje tudi nad gradnjo razširljivih porazdeljenih sistemov.

Hao Zhou je raziskovalec pri Amazon SageMaker. Pred tem je delal na razvoju metod strojnega učenja za odkrivanje goljufij za Amazon Fraud Detector. Navdušen je nad uporabo strojnega učenja, optimizacije in generativnih tehnik umetne inteligence pri različnih problemih v resničnem svetu. Ima doktorat iz elektrotehnike na univerzi Northwestern.

Qing Lan je inženir za razvoj programske opreme v AWS. Delal je na več zahtevnih izdelkih v Amazonu, vključno z visoko zmogljivimi rešitvami sklepanja ML in visoko zmogljivim sistemom beleženja. Qingova ekipa je uspešno lansirala prvi model z milijardami parametrov v Amazon Advertising z zelo nizko zahtevano zakasnitvijo. Qing ima poglobljeno znanje o optimizaciji infrastrukture in pospeševanju globokega učenja.

Dr. Ashish Khetan je višji aplikativni znanstvenik z vgrajenimi algoritmi Amazon SageMaker in pomaga pri razvoju algoritmov strojnega učenja. Doktoriral je na Univerzi Illinois Urbana-Champaign. Je aktiven raziskovalec strojnega učenja in statističnega sklepanja ter je objavil številne članke na konferencah NeurIPS, ICML, ICLR, JMLR, ACL in EMNLP.

dr. Li Zhang je glavni produktni vodja – tehnični za vgrajene algoritme Amazon SageMaker JumpStart in Amazon SageMaker, storitev, ki podatkovnim znanstvenikom in izvajalcem strojnega učenja pomaga začeti z usposabljanjem in uvajanjem njihovih modelov ter uporablja učenje z okrepitvijo z Amazon SageMaker. Njegovo preteklo delo kot glavni član raziskovalnega osebja in glavni izumitelj pri IBM Research je osvojil nagrado testa časovnega papirja pri IEEE INFOCOM.

Kamran Khan, višji tehnični vodja poslovnega razvoja za AWS Inferentina/Trianium pri AWS. Ima več kot desetletje izkušenj s pomočjo strankam pri uvajanju in optimizaciji usposabljanja za globoko učenje in delovnih obremenitev sklepanja z uporabo AWS Inferentia in AWS Trainium.

Joe Senerchia je višji produktni vodja pri AWS. Definira in gradi instance Amazon EC2 za globoko učenje, umetno inteligenco in visoko zmogljive računalniške delovne obremenitve.

• Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
• PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
• PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
• PlatoESG. Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
• PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
• vir: https://aws.amazon.com/blogs/machine-learning/fine-tune-and-deploy-llama-2-models-cost-effectively-in-amazon-sagemaker-jumpstart-with-aws-inferentia-and-aws-trainium/