Hienosäädä ja ota käyttöön Llama 2 -malleja kustannustehokkaasti Amazon SageMaker JumpStartissa AWS Inferentian ja AWS Trainiumin kanssa | Amazon Web Services

Tänään olemme iloisia voidessamme ilmoittaa Llama 2:n päättely- ja hienosäätötuen saatavuudesta AWS Trainium ja AWS Inferencia tapauksia sisään Amazon SageMaker JumpStart. AWS Trainium- ja Inferentia-pohjaisten ilmentymien käyttäminen SageMakerin kautta voi auttaa käyttäjiä alentamaan hienosäätökustannuksia jopa 50 % ja alentamaan käyttöönottokustannuksia 4.7-kertaisesti samalla, kun tunnisteviivettä pienennetään. Llama 2 on automaattisesti regressiivinen generatiivinen tekstikielimalli, joka käyttää optimoitua muuntajaarkkitehtuuria. Julkisesti saatavilla olevana mallina Llama 2 on suunniteltu moniin NLP-tehtäviin, kuten tekstin luokitteluun, tunteiden analysointiin, kielen kääntämiseen, kielen mallintamiseen, tekstin luomiseen ja dialogijärjestelmiin. LLM:ien, kuten Llama 2:n, hienosäätö ja käyttöönotto voi tulla kalliiksi tai haastavaksi reaaliaikaisen suorituskyvyn saavuttamiseksi hyvän asiakaskokemuksen takaamiseksi. Trainium ja AWS Inferentia, jotka ovat käytössä AWS Neuron ohjelmistokehityspaketti (SDK), tarjoaa tehokkaan ja kustannustehokkaan vaihtoehdon koulutukseen ja Llama 2 -mallien päättelyyn.

Tässä viestissä näytämme, kuinka Llama 2 otetaan käyttöön ja hienosäätää Trainium- ja AWS Inferentia -esiintymissä SageMaker JumpStartissa.

Ratkaisun yleiskatsaus

Tässä blogissa käymme läpi seuraavat skenaariot:

1. Ota Llama 2 käyttöön AWS Inferentia -esiintymissä molemmissa Amazon SageMaker Studio Käyttöliittymä, jossa on yhden napsautuksen käyttöönottokokemus ja SageMaker Python SDK.
2. Hienosäädä Llama 2 Trainium-esiintymissä sekä SageMaker Studion käyttöliittymässä että SageMaker Python SDK:ssa.
3. Vertaa hienosäädetyn Llama 2 -mallin suorituskykyä esikoulutetun mallin suorituskykyyn näyttääksesi hienosäädön tehokkuuden.

Pääset käsiksi katsomaan GitHub-esimerkkimuistikirja.

Ota Llama 2 käyttöön AWS Inferentia -esiintymissä SageMaker Studion käyttöliittymän ja Python SDK:n avulla

Tässä osiossa esittelemme, kuinka Llama 2 otetaan käyttöön AWS Inferentia -esiintymissä käyttämällä SageMaker Studion käyttöliittymää yhden napsautuksen käyttöönottoa varten ja Python SDK:ta.

Tutustu Llama 2 -malliin SageMaker Studion käyttöliittymässä

SageMaker JumpStart tarjoaa pääsyn sekä julkisesti saatavilla oleviin että omistettuihin perusmallit. Säätiömallit on sisällytetty ja niitä ylläpitävät kolmannet osapuolet ja omat palveluntarjoajat. Sellaisenaan ne julkaistaan ​​mallilähteen määrittämien eri lisenssien alla. Muista tarkistaa kaikkien käyttämiesi perusmallien lisenssi. Olet vastuussa kaikkien sovellettavien käyttöoikeusehtojen tarkistamisesta ja noudattamisesta ja varmistamisesta, että ne ovat hyväksyttäviä käyttötapauksiisi ennen sisällön lataamista tai käyttöä.

Voit käyttää Llama 2 Foundation -malleja SageMaker JumpStartin kautta SageMaker Studion käyttöliittymässä ja SageMaker Python SDK:ssa. Tässä osiossa käymme läpi kuinka löytää mallit SageMaker Studiossa.

SageMaker Studio on integroitu kehitysympäristö (IDE), joka tarjoaa yhden verkkopohjaisen visuaalisen käyttöliittymän, jossa voit käyttää tarkoitukseen rakennettuja työkaluja suorittaaksesi kaikki koneoppimisen (ML) kehitysvaiheet tietojen valmistelusta ML:n rakentamiseen, koulutukseen ja käyttöönottoon. mallit. Katso lisätietoja SageMaker Studion aloittamisesta ja määrittämisestä Amazon SageMaker Studio.

Kun olet SageMaker Studiossa, voit käyttää SageMaker JumpStartia, joka sisältää valmiiksi koulutettuja malleja, muistikirjoja ja valmiita ratkaisuja. Valmiiksi rakennetut ja automatisoidut ratkaisut. Katso lisätietoja omistettujen mallien käyttämisestä kohdasta Käytä Amazon SageMaker JumpStartin patentoituja perustamalleja Amazon SageMaker Studiossa.

SageMaker JumpStart -aloitussivulta voit selata ratkaisuja, malleja, muistikirjoja ja muita resursseja.

Jos et näe Llama 2 -malleja, päivitä SageMaker Studio -versio sammuttamalla ja käynnistämällä uudelleen. Lisätietoja versiopäivityksistä on kohdassa Sammuta ja päivitä Studion perinteiset sovellukset.

Voit etsiä myös muita mallivaihtoehtoja valitsemalla Tutustu kaikkiin tekstinluontimalleihin tai etsivät llama or neuron hakukentässä. Voit tarkastella Llama 2 Neuron -malleja tällä sivulla.

Ota Llama-2-13b-malli käyttöön SageMaker Jumpstartilla

Voit valita mallikortin nähdäksesi mallin tiedot, kuten lisenssin, koulutuksessa käytetyt tiedot ja sen käytön. Löydät myös kaksi painiketta, Sijoittaa ja Avaa muistikirja, jotka auttavat sinua käyttämään mallia käyttämällä tätä kooditonta esimerkkiä.

Kun valitset jommankumman painikkeen, ponnahdusikkunassa näkyy loppukäyttäjän lisenssisopimus ja hyväksyttävä käyttökäytäntö (AUP), jotka sinun on hyväksyttävä.

Kun olet hyväksynyt käytännöt, voit ottaa mallin päätepisteen käyttöön ja käyttää sitä seuraavan osan vaiheiden mukaisesti.

Ota Llama 2 Neuron -malli käyttöön Python SDK:n kautta

Kun valitset Sijoittaa ja hyväksy ehdot, mallin käyttöönotto alkaa. Vaihtoehtoisesti voit ottaa käyttöön esimerkkimuistikirjan kautta valitsemalla Avaa muistikirja. Esimerkkimuistikirja tarjoaa päästä päähän -ohjeita mallin käyttöönotosta päättelyyn ja resurssien puhdistamiseen.

Mallin käyttöönottamiseksi tai hienosäätämiseksi Trainium- tai AWS Inferentia -esiintymissä sinun on ensin kutsuttava PyTorch Neuron (taskulamppu-neuronx). Käyttäjät voivat ohjeistaa kääntäjää optimoimaan pienimmän latenssin tai suurimman suorituskyvyn sovelluksen tavoitteista riippuen. JumpStartissa esikäänsimme Neuron-kaaviot eri kokoonpanoille, jotta käyttäjät voivat siemailla kokoamisvaiheita, mikä mahdollistaa mallien nopeamman hienosäädön ja käyttöönoton.

Huomaa, että Neuronin esikäännetty kaavio luodaan Neuron Compiler -version tietyn version perusteella.

On kaksi tapaa ottaa LIama 2 käyttöön AWS Inferentia -pohjaisissa ilmentymissä. Ensimmäinen menetelmä käyttää valmiiksi rakennettua kokoonpanoa, ja voit ottaa mallin käyttöön vain kahdella koodirivillä. Toisessa voit hallita kokoonpanoa paremmin. Aloitetaan ensimmäisestä menetelmästä, valmiiksi rakennetusta kokoonpanosta, ja käytä esimerkkinä esikoulutettua Llama 2 13B Neuron -mallia. Seuraava koodi näyttää kuinka Llama 13B otetaan käyttöön vain kahdella rivillä:

from sagemaker.jumpstart.model import JumpStartModel

model_id = "meta-textgenerationneuron-llama-2-13b"
model = JumpStartModel(model_id=model_id)
pretrained_predictor = model.deploy(accept_eula=False) ## To set 'accept_eula' to be True to deploy 

Jotta voit tehdä johtopäätöksiä näille malleille, sinun on määritettävä argumentti accept_eula olla True osana model.deploy() puhelu. Tämän argumentin määrittäminen todeksi vahvistaa, että olet lukenut ja hyväksynyt mallin EULA:n. EULA löytyy mallikortin kuvauksesta tai osoitteesta Meta-sivusto.

Llama 2 13B:n oletusinstanssityyppi on ml.inf2.8xlarge. Voit myös kokeilla muita tuettuja mallien tunnuksia:

• meta-textgenerationneuron-llama-2-7b
• meta-textgenerationneuron-llama-2-7b-f (chat-malli)
• meta-textgenerationneuron-llama-2-13b-f (chat-malli)

Vaihtoehtoisesti, jos haluat hallita paremmin käyttöönottokokoonpanoja, kuten kontekstin pituutta, tensorin rinnakkaisastetta ja suurinta rullaavan erän kokoa, voit muokata niitä ympäristömuuttujien avulla, kuten tässä osiossa esitetään. Käyttöönoton taustalla oleva Deep Learning Container (DLC) on Large Model Inference (LMI) NeuronX DLC. Ympäristömuuttujat ovat seuraavat:

• OPTION_N_POSITIONS – Syöttö- ja lähtötunnisteiden enimmäismäärä. Jos esimerkiksi käännät mallin käyttämällä OPTION_N_POSITIONS kuten 512, voit käyttää 128 syöttötunnusta (syötekehotteen koko) maksimilähtötunnisteella 384 (tulo- ja lähtötunnisteiden yhteismäärän on oltava 512). Maksimilähtötunnisteelle mikä tahansa alle 384 oleva arvo on hyvä, mutta et voi ylittää sitä (esimerkiksi tulo 256 ja lähtö 512).
• OPTION_TENSOR_PARALLEL_DEGREE – NeuronCores-määrä, jolla malli ladataan AWS Inferentia -esiintymiin.
• OPTION_MAX_ROLLING_BATCH_SIZE – Suurin eräkoko samanaikaisille pyynnöille.
• OPTION_DTYPE – Päivämäärätyyppi mallin lataamiseksi.

Neuron-graafin laatiminen riippuu kontekstin pituudesta (OPTION_N_POSITIONS), tensorin rinnakkaisaste (OPTION_TENSOR_PARALLEL_DEGREE), erän enimmäiskoko (OPTION_MAX_ROLLING_BATCH_SIZE), ja tietotyyppi (OPTION_DTYPE) ladataksesi mallin. SageMaker JumpStart on esikääntänyt Neuron-kaavioita eri konfiguraatioille edeltäville parametreille välttääkseen ajonaikaisen kääntämisen. Esikoottujen kaavioiden kokoonpanot on lueteltu seuraavassa taulukossa. Niin kauan kuin ympäristömuuttujat kuuluvat johonkin seuraavista luokista, neuronikaavioiden laatiminen ohitetaan.

Seuraavassa on esimerkki Llama 2 13B:n käyttöönotosta ja kaikkien käytettävissä olevien kokoonpanojen asettamisesta.

from sagemaker.jumpstart.model import JumpStartModel

model_id = "meta-textgenerationneuron-llama-2-13b-f"
model = JumpStartModel(
    model_id=model_id,
    env={
        "OPTION_DTYPE": "fp16",
        "OPTION_N_POSITIONS": "4096",
        "OPTION_TENSOR_PARALLEL_DEGREE": "12",
        "OPTION_MAX_ROLLING_BATCH_SIZE": "4", 
    },
    instance_type="ml.inf2.24xlarge"  
)
pretrained_predictor = model.deploy(accept_eula=False) ## To set 'accept_eula' to be True to deploy 

Nyt kun olemme ottaneet käyttöön Llama-2-13b-mallin, voimme tehdä päätelmiä sen avulla kutsumalla päätepistettä. Seuraava koodinpätkä osoittaa tuettujen päättelyparametrien käytön tekstin luomisen ohjaamiseen:

• Maksimi pituus – Malli luo tekstiä, kunnes tulosteen pituus (joka sisältää syötekontekstin pituuden) saavuttaa max_length. Jos määritetään, sen on oltava positiivinen kokonaisluku.
• max_new_tones – Malli luo tekstiä, kunnes tulosteen pituus (ilman syöttökontekstin pituutta) saavuttaa max_new_tokens. Jos määritetään, sen on oltava positiivinen kokonaisluku.
• palkkien lukumäärä – Tämä osoittaa ahneessa haussa käytettyjen säteiden lukumäärän. Jos määritetään, sen on oltava suurempi tai yhtä suuri kokonaisluku kuin num_return_sequences.
• no_repeat_ngram_size – Malli varmistaa, että sanajono no_repeat_ngram_size ei toistu tulosjaksossa. Jos määritetään, sen on oltava positiivinen kokonaisluku, joka on suurempi kuin 1.
• lämpötila – Tämä ohjaa lähdön satunnaisuutta. Korkeampi lämpötila johtaa lähtösekvenssiin, jossa on pieni todennäköisyys sanoja; alhaisempi lämpötila johtaa tulossekvenssiin, jossa on suuren todennäköisyyden sanoja. Jos temperature on yhtä kuin 0, se johtaa ahneeseen dekoodaukseen. Jos määritetään, sen on oltava positiivinen float.
• aikainen_pysähdys - Jos True, tekstin luominen on valmis, kun kaikki sädehypoteesit saavuttavat lauseen lopussa. Jos määritetään, sen on oltava Boolen arvo.
• do_sample - Jos True, malli ottaa näytteitä seuraavasta sanasta todennäköisyyden mukaan. Jos määritetään, sen on oltava Boolen arvo.
• top_k – Jokaisessa tekstin luomisen vaiheessa malli ottaa näytteitä vain top_k todennäköisimmin sanoja. Jos määritetään, sen on oltava positiivinen kokonaisluku.
• top_p – Jokaisessa tekstin luomisen vaiheessa malli ottaa näytteitä pienimmästä mahdollisesta sanajoukosta kumulatiivisella todennäköisyydellä top_p. Jos määritetty, sen on oltava kelluva välillä 0–1.
• pysäkki – Jos määritetty, sen on oltava merkkijonoluettelo. Tekstin luominen pysähtyy, jos jokin määritetyistä merkkijonoista luodaan.

Seuraava koodi näyttää esimerkin:

payload = {
    "inputs": "I believe the meaning of life is",
    "parameters": {
        "max_new_tokens": 64,
        "top_p": 0.9,
        "temperature": 0.6,
    },
}

response = pretrained_predictor.predict(payload)

ulostulo:

I believe the meaning of life is
>  to be happy. I believe that happiness is a choice. I believe that happiness 
is a state of mind. I believe that happiness is a state of being. I believe that 
happiness is a state of being. I believe that happiness is a state of being. I 
believe that happiness is a state of being. I believe

Lisätietoja hyötykuorman parametreista on kohdassa yksityiskohtaisia ​​parametreja.

Voit myös tutkia parametrien toteutusta kohdassa muistikirja lisätäksesi lisätietoja muistikirjan linkistä.

Hienosäädä Llama 2 -malleja Trainium-esiintymissä SageMaker Studion käyttöliittymän ja SageMaker Python SDK:n avulla

Generatiivisista tekoälyperusmalleista on tullut ensisijainen painopiste ML:ssä ja tekoälyssä, mutta niiden laaja yleistäminen voi kuitenkin jäädä vajaaksi tietyillä aloilla, kuten terveydenhuollossa tai rahoituspalveluissa, joissa on mukana ainutlaatuisia tietojoukkoja. Tämä rajoitus korostaa tarvetta hienosäätää näitä generatiivisia tekoälymalleja verkkotunnuskohtaisilla tiedoilla niiden suorituskyvyn parantamiseksi näillä erikoisalueilla.

Nyt kun olemme ottaneet käyttöön Llama 2 -mallin esikoulutetun version, katsotaan, kuinka voimme hienosäätää tämän verkkotunnuskohtaisiksi tiedoiksi tarkkuuden lisäämiseksi, mallin parantamiseksi nopean täydennyksen suhteen ja mallin mukauttamiseksi sinun yrityskäyttösi ja tietosi. Voit hienosäätää malleja joko SageMaker Studion käyttöliittymällä tai SageMaker Python SDK:lla. Keskustelemme molemmista menetelmistä tässä osiossa.

Hienosäädä Llama-2-13b Neuron -malli SageMaker Studiolla

Siirry SageMaker Studiossa Llama-2-13b Neuron -malliin. Käytössä Sijoittaa -välilehti, voit osoittaa Amazonin yksinkertainen tallennuspalvelu (Amazon S3) -ämpäri, joka sisältää koulutus- ja validointitietojoukot hienosäätöä varten. Lisäksi voit määrittää käyttöönoton määritykset, hyperparametrit ja suojausasetukset hienosäätöä varten. Valitse sitten Juna aloittaaksesi koulutustyön SageMaker ML -esiintymässä.

Jotta voit käyttää Llama 2 -malleja, sinun on hyväksyttävä EULA ja AUP. Se tulee näkyviin, kun valitset Juna. Valita Olen lukenut ja hyväksyn EULA:n ja AUP:n aloittaaksesi hienosäätötyön.

Voit tarkastella harjoitustyösi tilaa hienosäädetylle mallille SageMaker-konsolin alta valitsemalla Harjoittelupaikat navigointipaneelissa.

Voit joko hienosäätää Llama 2 Neuron -malliasi käyttämällä tätä kooditonta esimerkkiä tai hienosäätää Python SDK:n kautta, kuten seuraavassa osiossa esitetään.

Hienosäädä Llama-2-13b Neuron -malli SageMaker Python SDK:n kautta

Voit hienosäätää tietojoukkoa verkkotunnuksen mukauttamismuodolla tai ohjepohjainen hienosäätö muoto. Seuraavassa on ohjeet harjoitustietojen muotoiluun ennen niiden lähettämistä hienosäätöön:

• panos - train hakemistoon, joka sisältää joko JSON-rivit (.jsonl) tai tekstimuotoisen tiedoston (.txt).
  • JSON-rivit (.jsonl) -tiedostossa jokainen rivi on erillinen JSON-objekti. Jokainen JSON-objekti tulee rakentaa avain-arvo-pariksi, jossa avaimen tulisi olla text, ja arvo on yhden koulutusesimerkin sisältö.
  • Junahakemistossa olevien tiedostojen määrän tulee olla yhtä suuri kuin 1.
• ulostulo – Koulutettu malli, jota voidaan käyttää johtopäätösten tekemiseen.

Tässä esimerkissä käytämme osajoukkoa Dolly-tietojoukko ohjeen viritysmuodossa. Dolly-tietojoukko sisältää noin 15,000 2.0 ohjetta seuraavaa tietuetta eri luokille, kuten kysymyksiin vastaaminen, yhteenveto ja tiedon poimiminen. Se on saatavilla Apache XNUMX -lisenssillä. Käytämme information_extraction esimerkkejä hienosäätöön.

1. Lataa Dolly-tietojoukko ja jaa se train (hienosäätöä varten) ja test (arviointia varten):

   from datasets import load_dataset
   
   dolly_dataset = load_dataset("databricks/databricks-dolly-15k", split="train")
   
   task = "information_extraction"
   To train for summarization/closed question and answering, you can replace the assertion in next line to example["category"] == "sumarization"/"closed_qa".
   summarization_dataset = dolly_dataset.filter(lambda example: example["category"] == task)
   summarization_dataset = summarization_dataset.remove_columns("category")
   
   We split the dataset into two where test data is used to evaluate at the end.
   train_and_test_dataset = summarization_dataset.train_test_split(test_size=0.1)
   
   Dumping the training data to a local file to be used for training.
   train_and_test_dataset["train"].to_json("train.jsonl")

2. Käytä kehotemallia tietojen esikäsittelyyn koulutustyön ohjemuodossa:

   prompt = ("""Below is an instruction that describes a task, paired with an input 
   that provides further context. Write a response that appropriately completes the 
   request.nn### Instruction:n{instruction}nn### Input:n{context}### 
   Response:n{response}nn<s>""")

3. Tarkista hyperparametrit ja kirjoita ne päälle omaa käyttötapaasi varten:

   from sagemaker import hyperparameters
   
   model_id = "meta-textgenerationneuron-llama-2-13b"
   model_version = "1.*"
   
   my_hyperparameters = hyperparameters.retrieve_default(
       model_id=model_id, model_version=model_version
   )
   
   my_hyperparameters["max_input_length"] = "4096" ## you can increase it up to 4096 for sequence length.
   my_hyperparameters["max_steps"] = "25"
   my_hyperparameters["learning_rate"] = "0.0001"
   print(my_hyperparameters)
   
   hyperparameters.validate(model_id=model_id, model_version=model_version, hyperparameters=my_hyperparameters)

4. Hienosäädä mallia ja aloita SageMaker-koulutustyö. Hienosäätöskriptit perustuvat neuronx-nemo-megatron arkisto, jotka ovat pakettien modifioituja versioita nemo ja kärki jotka on mukautettu käytettäväksi Neuron- ja EC2 Trn1 -esiintymien kanssa. The neuronx-nemo-megatron arkistossa on 3D (data, tensori ja liukuhihna) rinnakkaisuus, jotta voit hienosäätää LLM:itä mittakaavassa. Tuetut Trainium-esiintymät ovat ml.trn1.32xlarge ja ml.trn1n.32xlarge.

   from sagemaker.jumpstart.estimator import JumpStartEstimator
   
   estimator = JumpStartEstimator(
       model_id=model_id,
       model_version=model_version,
       hyperparameters=my_hyperparameters,
       environment={"accept_eula": "false"}, # please change `accept_eula` to be `true` to accept EULA.
       #instance_type="ml.trn1n.32xlarge", if not specified, default `ml.trn1.32xlarge` will be used.
   )
   
   estimator.fit({"train": train_data_location})

5. Ota lopuksi käyttöön hienosäädetty malli SageMaker-päätepisteessä:

   finetuned_predictor = estimator.deploy()

Vertaa esikoulutettujen ja hienosäädettyjen Llama 2 Neuron -mallien vastauksia

Nyt kun olemme ottaneet käyttöön Llama-2-13b-mallin esikoulutetun version ja hienosäätäneet sitä, voimme tarkastella joitain molempien mallien nopean valmistumisen suorituskykyvertailuja seuraavan taulukon mukaisesti. Tarjoamme myös esimerkin Llama 2:n hienosäätämisestä SEC-tiedostossa .txt-muodossa. Katso lisätietoja GitHub-esimerkkimuistikirja.

Voimme nähdä, että hienosäädetyn mallin vastaukset osoittavat merkittävää parannusta tarkkuudessa, osuvuudessa ja selkeydessä verrattuna esikoulutetun mallin vastauksiin. Joissakin tapauksissa valmiiksi koulutetun mallin käyttäminen käyttötapaukseesi ei välttämättä riitä, joten sen hienosäätö tällä tekniikalla tekee ratkaisusta yksilöllisemmän tietojoukkosi mukaan.

Puhdistaa

Kun olet suorittanut koulutustyösi etkä halua enää käyttää olemassa olevia resursseja, poista resurssit seuraavalla koodilla:

# Delete resources
# Delete the fine-tuned model
finetuned_predictor.delete_model()

# Delete the fine-tuned model endpoint
finetuned_predictor.delete_endpoint()

Yhteenveto

Llama 2 Neuron -mallien käyttöönotto ja hienosäätö SageMakerissa osoittavat merkittävää edistystä suurten generatiivisten tekoälymallien hallinnassa ja optimoinnissa. Nämä mallit, mukaan lukien muunnelmat, kuten Llama-2-7b ja Llama-2-13b, käyttävät Neuronia tehokkaaseen harjoitteluun ja AWS Inferentia- ja Trainium-pohjaisiin tapauksiin liittyvien johtopäätösten tekemiseen, mikä parantaa niiden suorituskykyä ja skaalautuvuutta.

Mahdollisuus ottaa nämä mallit käyttöön SageMaker JumpStart -käyttöliittymän ja Python SDK:n kautta tarjoaa joustavuutta ja helppokäyttöisyyttä. Neuron SDK, joka tukee suosittuja ML-kehyksiä ja korkean suorituskyvyn ominaisuuksia, mahdollistaa näiden suurten mallien tehokkaan käsittelyn.

Näiden mallien hienosäätö verkkotunnuskohtaisten tietojen perusteella on ratkaisevan tärkeää niiden merkityksen ja tarkkuuden parantamiseksi erikoisaloilla. Prosessi, jonka voit suorittaa SageMaker Studion käyttöliittymän tai Python SDK:n kautta, mahdollistaa räätälöinnin erityistarpeisiin, mikä parantaa mallin suorituskykyä nopean valmistumisen ja vastausten laadun suhteen.

Vaikka näiden mallien esikoulutetut versiot ovatkin tehokkaita, ne voivat tarjota yleisempiä tai toistuvampia vastauksia. Hienosäätö räätälöi mallin tiettyihin yhteyksiin, mikä tuottaa tarkempia, osuvampia ja monipuolisempia vastauksia. Tämä räätälöinti on erityisen ilmeinen, kun verrataan esikoulutettujen ja hienosäädetyistä malleista saatuja vastauksia, joissa jälkimmäinen osoittaa huomattavaa parannusta tulosteen laadussa ja spesifisyydessä. Yhteenvetona voidaan todeta, että Neuron Llama 2 -mallien käyttöönotto ja hienosäätö SageMakerissa muodostavat vankan kehyksen edistyneiden tekoälymallien hallintaan, mikä tarjoaa merkittäviä parannuksia suorituskykyyn ja soveltuvuuteen, etenkin kun ne on räätälöity tiettyihin toimialueisiin tai tehtäviin.

Aloita tänään viittaamalla näyte SageMakeriin muistikirja.

Lisätietoja esikoulutettujen Llama 2 -mallien käyttöönotosta ja hienosäädöstä GPU-pohjaisissa instansseissa on osoitteessa Hienosäädä Llama 2 tekstin luomista varten Amazon SageMaker JumpStartissa ja Metan Llama 2 -pohjamallit ovat nyt saatavilla Amazon SageMaker JumpStartissa.

Kirjoittajat haluavat kiittää Evan Kravitzin, Christopher Whittenin, Adam Kozdrowiczin, Manan Shahin, Jonathan Guinegagnen ja Mike Jamesin teknisestä panoksesta.

Tietoja Tekijät

Xin Huang on vanhempi soveltuva tutkija Amazon SageMaker JumpStart ja Amazon SageMaker sisäänrakennetuille algoritmeille. Hän keskittyy skaalautuvien koneoppimisalgoritmien kehittämiseen. Hänen tutkimusintressiään ovat luonnollisen kielen prosessointi, selitettävissä oleva syvä oppiminen taulukkotiedoista ja ei-parametrisen aika-avaruusklusteroinnin robusti analyysi. Hän on julkaissut monia artikkeleita ACL-, ICDM-, KDD-konferensseissa ja Royal Statistical Society: Series A.

Nitin Eusebius on AWS:n vanhempi yritysratkaisuarkkitehti, jolla on kokemusta ohjelmistosuunnittelusta, yritysarkkitehtuurista ja AI/ML:stä. Hän on syvästi intohimoinen luovan tekoälyn mahdollisuuksien tutkimiseen. Hän tekee yhteistyötä asiakkaiden kanssa auttaakseen heitä rakentamaan hyvin suunniteltuja sovelluksia AWS-alustalle, ja hän on omistautunut ratkaisemaan teknologian haasteita ja avustamaan heidän pilvimatkallaan.

Madhur Prashant työskentelee AWS:n generatiivisessa tekoälytilassa. Hän on intohimoinen inhimillisen ajattelun ja generatiivisen tekoälyn risteyksestä. Hänen kiinnostuksen kohteet ovat luova tekoäly, erityisesti hyödyllisten ja vaarattomien ratkaisujen rakentaminen, ja ennen kaikkea asiakkaille optimaaliset ratkaisut. Työn ulkopuolella hän rakastaa joogaamista, patikointia, viettää aikaa kaksosensa kanssa ja soittaa kitaraa.

Dewan Choudhury on ohjelmistokehitysinsinööri Amazon Web Services -palvelussa. Hän työskentelee Amazon SageMakerin algoritmien ja JumpStart-tarjousten parissa. AI/ML-infrastruktuurien rakentamisen lisäksi hän on intohimoinen myös skaalautuvien hajautettujen järjestelmien rakentamiseen.

Hao Zhou on Amazon SageMakerin tutkija. Sitä ennen hän työskenteli koneoppimismenetelmien kehittämisessä petosten havaitsemiseen Amazon Fraud Detectorille. Hän on intohimoinen soveltamaan koneoppimista, optimointia ja generatiivisia tekoälytekniikoita erilaisiin reaalimaailman ongelmiin. Hän on valmistunut sähkötekniikan tohtoriksi Northwestern Universitystä.

Qing Lan on ohjelmistokehitysinsinööri AWS:ssä. Hän on työskennellyt useiden haastavien tuotteiden parissa Amazonissa, mukaan lukien korkean suorituskyvyn ML-johtopäätösratkaisut ja korkean suorituskyvyn lokijärjestelmä. Qingin tiimi lanseerasi onnistuneesti ensimmäisen Billion-parametrin mallin Amazon Advertisingissä erittäin alhaisella latenssilla. Qingillä on syvällinen tietämys infrastruktuurin optimoinnista ja Deep Learning -kiihdytyksestä.

Tohtori Ashish Khetan on vanhempi soveltuva tutkija, jolla on sisäänrakennetut Amazon SageMaker -algoritmit ja auttaa kehittämään koneoppimisalgoritmeja. Hän sai tohtorin tutkinnon Illinois Urbana-Champaignin yliopistosta. Hän on aktiivinen koneoppimisen ja tilastollisen päättelyn tutkija, ja hän on julkaissut monia artikkeleita NeurIPS-, ICML-, ICLR-, JMLR-, ACL- ja EMNLP-konferensseissa.

Tohtori Li Zhang on päätuotepäällikkö-tekninen Amazon SageMakerin JumpStart- ja Amazon SageMaker -algoritmeille, palvelulle, joka auttaa datatieteilijöitä ja koneoppimisen harjoittajia pääsemään alkuun mallien koulutuksessa ja käyttöönotossa, ja käyttää vahvistusoppimista Amazon SageMakerin kanssa. Hänen aikaisempi työnsä pääasiallisena tutkimushenkilöstönä ja mestarikeksijänä IBM Researchissa on voittanut Test of Time Paper -palkinnon IEEE INFOCOMissa.

Kamran Khan, AWS Inferentina/Trianiumin teknisen liiketoiminnan kehityspäällikkö, AWS. Hänellä on yli vuosikymmenen kokemus auttaa asiakkaita ottamaan käyttöön ja optimoimaan syvän oppimisen koulutusta ja päätelmien työkuormia AWS Inferentian ja AWS Trainiumin avulla.

Joe Senerchia on AWS:n tuotepäällikkö. Hän määrittelee ja rakentaa Amazon EC2 -esiintymiä syväoppimista, tekoälyä ja korkean suorituskyvyn laskentaa varten.

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
• PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
• PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
• PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
• Lähde: https://aws.amazon.com/blogs/machine-learning/fine-tune-and-deploy-llama-2-models-cost-effectively-in-amazon-sagemaker-jumpstart-with-aws-inferentia-and-aws-trainium/