Viimistlege ja juurutage Llama 2 mudeleid kuluefektiivselt rakenduses Amazon SageMaker JumpStart koos AWS Inferentia ja AWS Trainiumiga | Amazoni veebiteenused

Täna on meil hea meel teatada, et Llama 2 järelduste ja peenhäälestuse tugi on saadaval AWS Trainium ja AWS Inferentia juhtumid sisse Amazon SageMaker JumpStart. AWS Trainiumil ja Inferential põhinevate eksemplaride kasutamine SageMakeri kaudu võib aidata kasutajatel vähendada peenhäälestuskulusid kuni 50% ja juurutuskulusid 4.7 korda, vähendades samal ajal loa latentsust. Llama 2 on automaatselt regressiivne generatiivse tekstikeele mudel, mis kasutab optimeeritud trafo arhitektuuri. Avalikult kättesaadava mudelina on Llama 2 loodud paljude NLP-ülesannete jaoks, nagu teksti klassifitseerimine, sentimentide analüüs, keele tõlkimine, keele modelleerimine, teksti genereerimine ja dialoogisüsteemid. LLM-ide, nagu Llama 2, peenhäälestus ja juurutamine võib muutuda kulukaks või keeruliseks, et tagada reaalajas jõudlus, et pakkuda head kliendikogemust. Trainium ja AWS Inferentia, mida võimaldavad AWS Neuron tarkvaraarenduskomplekt (SDK), pakub suure jõudlusega ja kulutõhusat võimalust Llama 2 mudelite treenimiseks ja järelduste tegemiseks.

Selles postituses näitame, kuidas Llama 2 juurutada ja viimistleda SageMaker JumpStartis Trainiumi ja AWS Inferentia eksemplaridel.

Lahenduse ülevaade

Selles ajaveebis käsitleme järgmisi stsenaariume.

1. Juurutage Llama 2 AWS Inferentia eksemplaridel mõlemas Amazon SageMaker Studio UI, ühe klõpsuga juurutuskogemus ja SageMaker Python SDK.
2. Täpsustage Llama 2 Trainiumi eksemplaridel nii SageMaker Studio kasutajaliideses kui ka SageMaker Python SDK-s.
3. Võrrelge peenhäälestatud mudeli Llama 2 jõudlust eelkoolitatud mudeli omaga, et näidata peenhäälestuse tõhusust.

Kätte saamiseks vaadake GitHubi näidismärkmik.

Llama 2 juurutamine AWS Inferentia eksemplaridel, kasutades SageMaker Studio kasutajaliidest ja Pythoni SDK-d

Selles jaotises demonstreerime, kuidas juurutada Llama 2 AWS Inferentia eksemplaridel, kasutades SageMaker Studio kasutajaliidest ühe klõpsuga juurutamiseks ja Pythoni SDK-d.

Avastage Llama 2 mudel SageMaker Studio kasutajaliideses

SageMaker JumpStart pakub juurdepääsu nii avalikult kättesaadavatele kui ka varalistele andmetele vundamendi mudelid. Sihtasutuse mudelid on sisse ehitatud ja neid hooldavad kolmandad osapooled ja patenteeritud pakkujad. Sellisena avaldatakse need mudeliallika määratud erinevate litsentside alusel. Vaadake kindlasti üle kõigi kasutatavate alusmudelite litsents. Vastutate kohaldatavate litsentsitingimuste ülevaatamise ja järgimise eest ning veenduge, et need on teie kasutusjuhtumi jaoks vastuvõetavad enne sisu allalaadimist või kasutamist.

Llama 2 vundamendimudelitele pääsete juurde SageMakeri JumpStarti kaudu SageMaker Studio kasutajaliideses ja SageMaker Python SDK-s. Selles jaotises käsitleme SageMaker Studio mudelite leidmist.

SageMaker Studio on integreeritud arenduskeskkond (IDE), mis pakub ühtset veebipõhist visuaalset liidest, kus pääsete juurde spetsiaalselt loodud tööriistadele, et sooritada kõiki masinõppe (ML) arendusetappe, alates andmete ettevalmistamisest kuni ML-i loomise, koolitamise ja juurutamiseni. mudelid. Lisateavet SageMaker Studio alustamise ja seadistamise kohta leiate aadressilt Amazon SageMaker Studio.

Kui olete SageMaker Studios, pääsete jaotises SageMaker JumpStart juurde, mis sisaldab eelkoolitatud mudeleid, märkmikke ja eelehitatud lahendusi. Eelehitatud ja automatiseeritud lahendused. Üksikasjalikuma teabe saamiseks patenteeritud mudelitele juurdepääsu kohta vt Kasutage Amazon SageMaker Studios Amazon SageMaker JumpStarti patenteeritud vundamendimudeleid.

SageMaker JumpStarti sihtlehel saate sirvida lahendusi, mudeleid, märkmikke ja muid ressursse.

Kui te Llama 2 mudeleid ei näe, värskendage oma SageMaker Studio versiooni, lülitades välja ja taaskäivitades. Versioonivärskenduste kohta lisateabe saamiseks vaadake Lülitage Studio klassikalised rakendused välja ja värskendage neid.

Valides leiate ka teisi mudelivariante Tutvuge kõigi teksti genereerimise mudelitega või otsivad llama or neuron otsingukastis. Sellel lehel saate vaadata Llama 2 Neuron mudeleid.

Rakendage mudelit Llama-2-13b SageMaker Kiirstardi abil

Saate valida mudelikaardi, et vaadata mudeli üksikasju, nagu litsents, koolituseks kasutatud andmed ja selle kasutamine. Samuti võite leida kaks nuppu, juurutada ja Ava märkmik, mis aitavad teil seda koodivaba näidet kasutades mudelit kasutada.

Kui valite kummagi nupu, kuvatakse hüpikaknas lõppkasutaja litsentsileping ja vastuvõetava kasutuse poliitika (AUP), mida peate kinnitama.

Pärast poliitikate kinnitamist saate juurutada mudeli lõpp-punkti ja kasutada seda järgmises jaotises toodud juhiste järgi.

Juurutage Llama 2 Neuron mudel Pythoni SDK kaudu

Kui valite juurutada ja tunnistage tingimused, algab mudeli juurutamine. Teise võimalusena saate juurutada näidismärkmiku kaudu, valides Ava märkmik. Näidismärkmik pakub täielikke juhiseid selle kohta, kuidas mudelit järelduste tegemiseks ja ressursside puhastamiseks kasutada.

Mudeli juurutamiseks või viimistlemiseks Trainiumi või AWS Inferentia eksemplaridel peate esmalt kutsuma PyTorch Neuron (tõrvik-neuronx), et koostada mudel Neuron-spetsiifiliseks graafikuks, mis optimeerib selle Inferentia NeuronCoresi jaoks. Kasutajad saavad anda kompilaatorile käsu optimeerida väikseima latentsusaja või suurima läbilaskevõime jaoks, olenevalt rakenduse eesmärkidest. KiirStartis koostasime Neuroni graafikud erinevate konfiguratsioonide jaoks, et kasutajad saaksid kompileerimise etappe lonksata, võimaldades mudelite kiiremat peenhäälestamist ja juurutamist.

Pange tähele, et Neuroni eelkompileeritud graafik luuakse Neuron Compileri versiooni konkreetse versiooni alusel.

LIama 2 juurutamiseks AWS Inferentia-põhistel eksemplaridel on kaks võimalust. Esimene meetod kasutab eelehitatud konfiguratsiooni ja võimaldab teil mudelit juurutada vaid kahe koodireaga. Teises on teil suurem kontroll konfiguratsiooni üle. Alustame esimesest meetodist, eelseadistatud konfiguratsioonist, ja kasutame näitena eelkoolitatud Llama 2 13B Neuron mudelit. Järgmine kood näitab, kuidas Llama 13B juurutada vaid kahe reaga:

from sagemaker.jumpstart.model import JumpStartModel

model_id = "meta-textgenerationneuron-llama-2-13b"
model = JumpStartModel(model_id=model_id)
pretrained_predictor = model.deploy(accept_eula=False) ## To set 'accept_eula' to be True to deploy 

Nende mudelite põhjal järelduste tegemiseks peate määrama argumendi accept_eula olla True osana model.deploy() helistama. Selle argumendi õigeks määramine kinnitab, et olete mudeli EULA-ga tutvunud ja sellega nõustunud. EULA leiate mudelikaardi kirjeldusest või aadressilt Meta veebisait.

Llama 2 13B vaikeeksemplari tüüp on ml.inf2.8xlarge. Võite proovida ka teisi toetatud mudelite ID-sid:

• meta-textgenerationneuron-llama-2-7b
• meta-textgenerationneuron-llama-2-7b-f (vestlusmudel)
• meta-textgenerationneuron-llama-2-13b-f (vestlusmudel)

Teise võimalusena, kui soovite juurutuskonfiguratsioone, nagu konteksti pikkus, tensori paralleelaste ja maksimaalne jooksva partii suurus, rohkem juhtida, saate neid keskkonnamuutujate kaudu muuta, nagu on näidatud selles jaotises. Juurutamise aluseks olev süvaõppekonteiner (DLC) on Large Model Inference (LMI) NeuronX DLC. Keskkonnamuutujad on järgmised:

• OPTION_N_POSITIONS – Sisend- ja väljundmärkide maksimaalne arv. Näiteks kui koostate mudeli koos OPTION_N_POSITIONS kui 512, siis saate kasutada sisendmärki 128 (sisendviipa suurus) maksimaalse väljundmärgiga 384 (sisend- ja väljundmärke peab kokku olema 512). Maksimaalse väljundmärgi puhul sobivad kõik väärtused alla 384, kuid te ei saa sellest kaugemale minna (näiteks sisend 256 ja väljund 512).
• OPTION_TENSOR_PARALLEL_DEGREE – NeuronCore’ide arv mudeli laadimiseks AWS Inferentia eksemplarides.
• OPTION_MAX_ROLLING_BATCH_SIZE – Samaaegsete päringute maksimaalne partii suurus.
• OPTION_DTYPE – mudeli laadimise kuupäeva tüüp.

Neuron graafi koostamine sõltub konteksti pikkusest (OPTION_N_POSITIONS), tensori paralleelaste (OPTION_TENSOR_PARALLEL_DEGREE), maksimaalne partii suurus (OPTION_MAX_ROLLING_BATCH_SIZE) ja andmetüüp (OPTION_DTYPE) mudeli laadimiseks. SageMaker JumpStart on eelkompileerinud Neuroni graafikud mitmesuguste eelmiste parameetrite konfiguratsioonide jaoks, et vältida käitusaja kompileerimist. Eelkoostatud graafikute konfiguratsioonid on loetletud järgmises tabelis. Kuni keskkonnamuutujad kuuluvad ühte järgmistest kategooriatest, jäetakse neuronigraafikute koostamine vahele.

Järgmine on näide Llama 2 13B juurutamise ja kõigi saadaolevate konfiguratsioonide seadistamise kohta.

from sagemaker.jumpstart.model import JumpStartModel

model_id = "meta-textgenerationneuron-llama-2-13b-f"
model = JumpStartModel(
    model_id=model_id,
    env={
        "OPTION_DTYPE": "fp16",
        "OPTION_N_POSITIONS": "4096",
        "OPTION_TENSOR_PARALLEL_DEGREE": "12",
        "OPTION_MAX_ROLLING_BATCH_SIZE": "4", 
    },
    instance_type="ml.inf2.24xlarge"  
)
pretrained_predictor = model.deploy(accept_eula=False) ## To set 'accept_eula' to be True to deploy 

Nüüd, kui oleme mudeli Llama-2-13b juurutanud, saame sellega järeldusi teha, kutsudes esile lõpp-punkti. Järgmine koodilõik demonstreerib toetatud järeldusparameetrite kasutamist teksti genereerimise juhtimiseks.

• max_pikkus – Mudel genereerib teksti, kuni väljundi pikkus (mis sisaldab sisendkonteksti pikkust) jõuab max_length. Kui see on määratud, peab see olema positiivne täisarv.
• max_uued_märgid – Mudel genereerib teksti, kuni väljundi pikkus (välja arvatud sisendkonteksti pikkus) jõuab max_new_tokens. Kui see on määratud, peab see olema positiivne täisarv.
• kiirte_arv – See näitab ahnes otsingus kasutatud kiirte arvu. Kui see on määratud, peab see olema täisarv, mis on suurem või võrdne sellega num_return_sequences.
• no_repeat_ngram_size – Mudel tagab, et sõnade jada no_repeat_ngram_size väljundjärjestuses ei korrata. Kui see on määratud, peab see olema positiivne täisarv, mis on suurem kui 1.
• temperatuur – See juhib väljundi juhuslikkust. Kõrgem temperatuur annab tulemuseks väikese tõenäosusega sõnadega väljundjada; madalam temperatuur annab tulemuseks suure tõenäosusega sõnadega väljundjada. Kui temperature võrdub 0-ga, tulemuseks on ahne dekodeerimine. Kui see on määratud, peab see olema positiivne ujuk.
• varajane_peatus - Kui True, teksti genereerimine on lõppenud, kui kõik kiirhüpoteesid jõuavad lausemärgi lõppu. Kui see on määratud, peab see olema tõeväärtus.
• do_sample - Kui True, valib mudel järgmise sõna vastavalt tõenäosusele. Kui see on määratud, peab see olema tõeväärtus.
• top_k – Igas teksti genereerimise etapis võtab mudel näidiseid ainult top_k kõige tõenäolisemad sõnad. Kui see on määratud, peab see olema positiivne täisarv.
• top_p – Mudel valib teksti genereerimise igas etapis väikseimast võimalikust sõnade hulgast kumulatiivse tõenäosusega top_p. Kui see on määratud, peab see olema ujuk vahemikus 0–1.
• peatus – Kui see on määratud, peab see olema stringide loend. Teksti genereerimine peatub, kui genereeritakse mõni määratud stringidest.

Järgmine kood näitab näidet:

payload = {
    "inputs": "I believe the meaning of life is",
    "parameters": {
        "max_new_tokens": 64,
        "top_p": 0.9,
        "temperature": 0.6,
    },
}

response = pretrained_predictor.predict(payload)

Väljund:

I believe the meaning of life is
>  to be happy. I believe that happiness is a choice. I believe that happiness 
is a state of mind. I believe that happiness is a state of being. I believe that 
happiness is a state of being. I believe that happiness is a state of being. I 
believe that happiness is a state of being. I believe

Lisateavet kasuliku koormuse parameetrite kohta leiate jaotisest Üksikasjalikud parameetrid.

Samuti saate uurida parameetrite rakendamist jaotises märkmik lisateabe lisamiseks märkmiku lingi kohta.

Täpsustage Llama 2 mudeleid Trainiumi eksemplaridel, kasutades SageMaker Studio kasutajaliidest ja SageMaker Python SDK

Generatiivsed tehisintellekti alusmudelid on muutunud ML ja AI põhifookuseks, kuid nende laiaulatuslik üldistus võib jääda alla konkreetsetes valdkondades, nagu tervishoid või finantsteenused, kus on kaasatud ainulaadsed andmekogumid. See piirang rõhutab vajadust täpsustada neid generatiivseid AI mudeleid domeenispetsiifiliste andmetega, et parandada nende toimivust nendes erivaldkondades.

Nüüd, kui oleme kasutusele võtnud Llama 2 mudeli eelkoolitatud versiooni, vaatame, kuidas saaksime seda domeenispetsiifilisteks andmeteks kohandada, et suurendada täpsust, täiustada mudelit viipete täitmise osas ja kohandada mudelit teie konkreetne ärikasutusjuht ja andmed. Mudeleid saate täpsustada kas SageMaker Studio kasutajaliidese või SageMaker Python SDK abil. Selles jaotises käsitleme mõlemat meetodit.

Peenhäälestage mudelit Llama-2-13b Neuron SageMaker Studio abil

Navigeerige SageMaker Studios mudelile Llama-2-13b Neuron. peal juurutada vahekaardilt saate osutada Amazoni lihtne salvestusteenus (Amazon S3) kopp, mis sisaldab peenhäälestamiseks mõeldud koolitus- ja valideerimisandmekogumeid. Lisaks saate peenhäälestamiseks konfigureerida juurutamise konfiguratsiooni, hüperparameetreid ja turbesätteid. Seejärel vali Rong koolitustöö alustamiseks SageMaker ML eksemplaris.

Llama 2 mudelite kasutamiseks peate nõustuma EULA ja AUP-iga. See kuvatakse siis, kui valite Rong. Valima Olen lugenud läbi EULA ja AUP ning nõustun nendega peenhäälestustöö alustamiseks.

Saate vaadata oma peenhäälestatud mudeli koolitustöö olekut SageMakeri konsooli all, valides Koolitustööd navigeerimispaanil.

Saate oma Llama 2 Neuroni mudelit peenhäälestada, kasutades seda koodivaba näidet, või peenhäälestada Pythoni SDK kaudu, nagu on näidatud järgmises jaotises.

Llama-2-13b Neuron mudeli peenhäälestus SageMaker Python SDK kaudu

Andmekomplekti saate täpsustada domeeni kohandamise vormingu või juhistepõhine peenhäälestus vormingus. Järgmised juhised selle kohta, kuidas treeningandmeid tuleks enne peenhäälestusse saatmist vormindada.

• Sisend - A train kataloog, mis sisaldab kas JSON read (.jsonl) või teksti (.txt) vormingus faili.
  • JSON-ridade (.jsonl) faili puhul on iga rida eraldi JSON-objekt. Iga JSON-objekt peaks olema struktureeritud võtme-väärtuse paarina, kus võti peaks asuma textja väärtus on ühe koolitusnäite sisu.
  • Rongi kataloogis olevate failide arv peaks võrduma 1-ga.
• Väljund – Koolitatud mudel, mida saab järelduste tegemiseks kasutada.

Selles näites kasutame alamhulka Dolly andmestik juhiste häälestamise vormingus. Dolly andmestik sisaldab ligikaudu 15,000 2.0 juhiseid järgivat kirjet erinevate kategooriate jaoks, näiteks küsimustele vastamine, kokkuvõte ja teabe väljavõtmine. See on saadaval Apache XNUMX litsentsi all. Me kasutame information_extraction näiteid peenhäälestamiseks.

1. Laadige Dolly andmestik ja jagage see osadeks train (peenhäälestamiseks) ja test (hindamiseks):

   from datasets import load_dataset
   
   dolly_dataset = load_dataset("databricks/databricks-dolly-15k", split="train")
   
   task = "information_extraction"
   To train for summarization/closed question and answering, you can replace the assertion in next line to example["category"] == "sumarization"/"closed_qa".
   summarization_dataset = dolly_dataset.filter(lambda example: example["category"] == task)
   summarization_dataset = summarization_dataset.remove_columns("category")
   
   We split the dataset into two where test data is used to evaluate at the end.
   train_and_test_dataset = summarization_dataset.train_test_split(test_size=0.1)
   
   Dumping the training data to a local file to be used for training.
   train_and_test_dataset["train"].to_json("train.jsonl")

2. Kasutage koolitustöö juhiste vormingus andmete eeltöötluseks viipamalli:

   prompt = ("""Below is an instruction that describes a task, paired with an input 
   that provides further context. Write a response that appropriately completes the 
   request.nn### Instruction:n{instruction}nn### Input:n{context}### 
   Response:n{response}nn<s>""")

3. Uurige hüperparameetreid ja kirjutage need enda jaoks üle:

   from sagemaker import hyperparameters
   
   model_id = "meta-textgenerationneuron-llama-2-13b"
   model_version = "1.*"
   
   my_hyperparameters = hyperparameters.retrieve_default(
       model_id=model_id, model_version=model_version
   )
   
   my_hyperparameters["max_input_length"] = "4096" ## you can increase it up to 4096 for sequence length.
   my_hyperparameters["max_steps"] = "25"
   my_hyperparameters["learning_rate"] = "0.0001"
   print(my_hyperparameters)
   
   hyperparameters.validate(model_id=model_id, model_version=model_version, hyperparameters=my_hyperparameters)

4. Viimistlege mudelit ja alustage SageMakeri koolitustööd. Peenhäälestusskriptid põhinevad neuronx-nemo-megatron hoidla, mis on pakettide muudetud versioonid nemo ja Tipp mis on kohandatud kasutamiseks Neuron ja EC2 Trn1 eksemplaridega. The neuronx-nemo-megatron hoidlal on 3D (andmed, tensor ja konveier) paralleelsus, mis võimaldab teil LLM-e mõõtkavas peenhäälestada. Toetatud Trainiumi eksemplarid on ml.trn1.32xlarge ja ml.trn1n.32xlarge.

   from sagemaker.jumpstart.estimator import JumpStartEstimator
   
   estimator = JumpStartEstimator(
       model_id=model_id,
       model_version=model_version,
       hyperparameters=my_hyperparameters,
       environment={"accept_eula": "false"}, # please change `accept_eula` to be `true` to accept EULA.
       #instance_type="ml.trn1n.32xlarge", if not specified, default `ml.trn1.32xlarge` will be used.
   )
   
   estimator.fit({"train": train_data_location})

5. Lõpuks juurutage peenhäälestatud mudel SageMakeri lõpp-punktis:

   finetuned_predictor = estimator.deploy()

Võrrelge vastuseid eelkoolitatud ja peenhäälestatud Llama 2 Neuron mudelite vahel

Nüüd, kui oleme kasutusele võtnud mudeli Llama-2-13b eelkoolitatud versiooni ja seda peenhäälestanud, saame vaadata mõlema mudeli viipade täitmise võrdlusi, nagu on näidatud järgmises tabelis. Pakume ka näidet Llama 2 peenhäälestamiseks SEC-faili andmestikul .txt-vormingus. Üksikasjade saamiseks vaadake GitHubi näidismärkmik.

Näeme, et peenhäälestatud mudeli vastused näitavad täpsuse, asjakohasuse ja selguse olulist paranemist võrreldes eelkoolitatud mudeli vastustega. Mõnel juhul ei pruugi eelkoolitatud mudeli kasutamine teie kasutusjuhtumi jaoks olla piisav, nii et selle tehnikaga peenhäälestamine muudab lahenduse teie andmestiku jaoks isikupärasemaks.

Koristage

Kui olete oma koolitustöö lõpetanud ja ei soovi enam olemasolevaid ressursse kasutada, kustutage ressursid järgmise koodi abil:

# Delete resources
# Delete the fine-tuned model
finetuned_predictor.delete_model()

# Delete the fine-tuned model endpoint
finetuned_predictor.delete_endpoint()

Järeldus

Llama 2 Neuron mudelite juurutamine ja peenhäälestus SageMakeris näitavad märkimisväärset edusamme suuremahuliste generatiivsete AI mudelite haldamisel ja optimeerimisel. Need mudelid, sealhulgas sellised variandid nagu Llama-2-7b ja Llama-2-13b, kasutavad Neuroni tõhusaks treenimiseks ja AWS Inferentia ja Trainium-põhiste eksemplaride kohta järelduste tegemiseks, parandades nende jõudlust ja mastaapsust.

Võimalus juurutada neid mudeleid SageMaker JumpStart UI ja Python SDK kaudu pakub paindlikkust ja kasutuslihtsust. Neuron SDK, mis toetab populaarseid ML-raamistikke ja suure jõudlusega võimalusi, võimaldab neid suuri mudeleid tõhusalt käsitleda.

Nende mudelite peenhäälestus domeenispetsiifiliste andmete põhjal on nende asjakohasuse ja täpsuse suurendamiseks erivaldkondades ülioluline. Protsess, mida saate läbi viia SageMaker Studio kasutajaliidese või Pythoni SDK kaudu, võimaldab kohandamist konkreetsetele vajadustele, mis parandab mudeli jõudlust kiirete lõpetamiste ja vastuse kvaliteedi osas.

Võrdluseks võivad nende mudelite eelkoolitatud versioonid, kuigi võimsad, pakkuda üldisemaid või korduvaid vastuseid. Peenhäälestus kohandab mudeli konkreetse kontekstiga, mille tulemuseks on täpsemad, asjakohasemad ja mitmekesisemad vastused. See kohandamine on eriti ilmne, kui võrrelda eelkoolitatud ja peenhäälestatud mudelite vastuseid, kus viimane näitab väljundi kvaliteedi ja spetsiifilisuse märgatavat paranemist. Kokkuvõtteks võib öelda, et Neuron Llama 2 mudelite juurutamine ja viimistlemine SageMakeris kujutab endast tugevat raamistikku täiustatud tehisintellekti mudelite haldamiseks, pakkudes märkimisväärseid jõudluse ja rakendatavuse täiustusi, eriti kui need on kohandatud konkreetsetele domeenidele või ülesannetele.

Alustage juba täna, viidates SageMakeri näidisele märkmik.

GPU-põhistel eksemplaridel eelkoolitatud Llama 2 mudelite juurutamise ja peenhäälestuse kohta lisateabe saamiseks vaadake Peenhäälestage Llama 2 teksti genereerimiseks rakenduses Amazon SageMaker JumpStart ja Meta Llama 2 vundamendimudelid on nüüd saadaval Amazon SageMaker JumpStartis.

Autorid soovivad tunnustada Evan Kravitzi, Christopher Whitteni, Adam Kozdrowiczi, Manan Shahi, Jonathan Guinegagne'i ja Mike Jamesi tehnilist panust.

Autoritest

Xin Huang on Amazon SageMaker JumpStart ja Amazon SageMaker sisseehitatud algoritmide vanemrakendusteadlane. Ta keskendub skaleeritavate masinõppe algoritmide arendamisele. Tema uurimishuvid on seotud loomuliku keele töötlemise, tabeliandmete seletatava süvaõppe ja mitteparameetrilise aegruumi klastrite tugeva analüüsiga. Ta on avaldanud palju artikleid ACL-is, ICDM-is, KDD konverentsidel ja Kuninglikus Statistikaühingus: A-seeria.

Nitin Eusebius on AWS-i vanem ettevõtluslahenduste arhitekt, kellel on kogemusi tarkvaratehnika, ettevõttearhitektuuri ja AI/ML alal. Ta on sügavalt kirglik uurima generatiivse tehisintellekti võimalusi. Ta teeb koostööd klientidega, et aidata neil luua AWS-i platvormil hästi arhitektuurseid rakendusi, ning on pühendunud tehnoloogiliste väljakutsete lahendamisele ja nende pilveteekonnal abistamisele.

Madhur Prashant töötab AWS-i generatiivses AI-ruumis. Ta on kirglik inimmõtlemise ja generatiivse tehisintellekti ristumiskoha vastu. Tema huvid seisnevad generatiivses tehisintellektis, täpsemalt lahenduste loomises, mis on kasulikud ja kahjutud ning eelkõige klientide jaoks optimaalsed. Väljaspool tööd meeldib talle joogat teha, matkata, oma kaksikuga aega veeta ja kitarri mängida.

Dewan Choudhury on Amazon Web Services tarkvaraarenduse insener. Ta töötab Amazon SageMakeri algoritmide ja JumpStarti pakkumiste kallal. Lisaks AI/ML-infrastruktuuride ehitamisele on ta kirglik ka skaleeritavate hajutatud süsteemide loomise vastu.

Hao Zhou on Amazon SageMakeri teadlane. Enne seda töötas ta Amazon Fraud Detectori jaoks pettuste tuvastamise masinõppe meetodite väljatöötamisega. Ta on kirglik masinõppe, optimeerimise ja generatiivsete tehisintellekti tehnikate rakendamise vastu erinevatele reaalmaailma probleemidele. Tal on Northwesterni ülikooli elektrotehnika doktorikraad.

Qing Lan on AWS-i tarkvaraarenduse insener. Ta on Amazonis töötanud mitmete väljakutset pakkuvate toodetega, sealhulgas suure jõudlusega ML järelduslahenduste ja suure jõudlusega logimissüsteemiga. Qingi meeskond käivitas Amazon Advertisingis edukalt esimese miljardi parameetriga mudeli, mille latentsusaeg on väga väike. Qingil on põhjalikud teadmised infrastruktuuri optimeerimise ja süvaõppe kiirendamise kohta.

Dr Ashish Khetan on vanemrakendusteadlane, kellel on Amazon SageMaker sisseehitatud algoritmid ja aitab välja töötada masinõppe algoritme. Ta sai doktorikraadi Illinoisi Urbana-Champaigni ülikoolist. Ta on aktiivne masinõppe ja statistiliste järelduste uurija ning avaldanud palju artikleid NeurIPS, ICML, ICLR, JMLR, ACL ja EMNLP konverentsidel.

Dr Li Zhang on Amazon SageMakeri JumpStarti ja Amazon SageMakeri sisseehitatud algoritmide peamine tootejuht-tehniline teenus – teenus, mis aitab andmeteadlastel ja masinõppega tegelejatel alustada oma mudelite koolitamist ja juurutamist, ning kasutab Amazon SageMakeriga tugevdavat õpet. Tema varasem töö IBM Researchi peamise teadlase ja kaptenleiutajana on võitnud IEEE INFOCOMi ajaproovi paberi auhinna.

Kamran Khan, AWS Inferentina/Trianium tehniline äriarendusjuht, AWS. Tal on üle kümne aasta pikkune kogemus, mis aitab klientidel juurutada ja optimeerida süvaõppe koolitust ja järelduste töökoormust, kasutades AWS Inferentia ja AWS Trainium.

Joe Senerchia on AWS-i vanemtootejuht. Ta määratleb ja koostab Amazon EC2 eksemplare sügava õppimise, tehisintellekti ja suure jõudlusega andmetöötluse töökoormuse jaoks.

• SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
• PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
• PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
• PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
• PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
• Allikas: https://aws.amazon.com/blogs/machine-learning/fine-tune-and-deploy-llama-2-models-cost-effectively-in-amazon-sagemaker-jumpstart-with-aws-inferentia-and-aws-trainium/