Finomhangolhatja és költséghatékonyan üzembe helyezheti a Llama 2 modelleket az Amazon SageMaker JumpStartban az AWS Inferentia és az AWS Trainium segítségével | Amazon webszolgáltatások

Ma örömmel jelentjük be, hogy elérhető a Llama 2 következtetési és finomhangolási támogatása AWS Trainium és a AWS Inferentia példányok be Amazon SageMaker JumpStart. Az AWS Trainium és Inferentia alapú példányok SageMakeren keresztüli használatával a felhasználók akár 50%-kal csökkenthetik a finomhangolási költségeket, és 4.7-szeresére csökkenthetik a telepítési költségeket, miközben csökkentik a tokenenkénti késleltetést. A Llama 2 egy automatikusan regresszív generatív szövegnyelvi modell, amely optimalizált transzformátor architektúrát használ. Nyilvánosan elérhető modellként a Llama 2-t számos NLP-feladatra tervezték, mint például a szövegosztályozás, a hangulatelemzés, a nyelvi fordítás, a nyelvi modellezés, a szöveggenerálás és a párbeszédrendszerek. Az LLM-ek finomhangolása és telepítése, mint például a Llama 2, költségessé vagy kihívást jelenthet a valós idejű teljesítmény elérése érdekében, hogy jó ügyfélélményt biztosítsanak. A Trainium és AWS Inferentia által engedélyezett AWS Neuron szoftverfejlesztő készlet (SDK), nagy teljesítményű és költséghatékony lehetőséget kínál a Llama 2 modellek betanítására és következtetéseire.

Ebben a bejegyzésben bemutatjuk, hogyan telepíthető és finomhangolható a Llama 2 Trainium és AWS Inferentia példányokon a SageMaker JumpStartban.

Megoldás áttekintése

Ebben a blogban a következő forgatókönyveket fogjuk végigjárni:

1. Telepítse a Llama 2-t az AWS Inferentia példányokon mindkét esetben Amazon SageMaker Studio UI, egy kattintásos üzembe helyezési tapasztalattal és a SageMaker Python SDK-val.
2. Finomhangolja a Llama 2-t a Trainium példányokon a SageMaker Studio felhasználói felületén és a SageMaker Python SDK-ban egyaránt.
3. Hasonlítsa össze a finomhangolt Llama 2 modell teljesítményét az előre betanított modellével, hogy megmutassa a finomhangolás hatékonyságát.

A kézhezvételhez lásd a GitHub példajegyzetfüzet.

Telepítse a Llama 2-t AWS Inferentia példányokon a SageMaker Studio UI és a Python SDK használatával

Ebben a részben bemutatjuk, hogyan telepítheti a Llama 2-t AWS Inferentia-példányokon a SageMaker Studio felhasználói felületével az egykattintásos telepítéshez és a Python SDK-val.

Fedezze fel a Llama 2 modellt a SageMaker Studio felhasználói felületén

A SageMaker JumpStart hozzáférést biztosít mind a nyilvánosan, mind a szabadalmaztatottakhoz alapozó modellek. Az alapítványi modelleket külső és védett szolgáltatók építik be és tartják karban. Mint ilyenek, a modellforrás által megjelölt különböző licencek alatt kerülnek kiadásra. Feltétlenül tekintse át minden használt alapmodell licencét. Ön felelős azért, hogy a tartalom letöltése vagy használata előtt átnézzen és betartsa a vonatkozó licencfeltételeket, és megbizonyosodjon arról, hogy azok az Ön használati esetére elfogadhatók.

A Llama 2 alapozó modelleket a SageMaker JumpStart segítségével érheti el a SageMaker Studio UI-ban és a SageMaker Python SDK-ban. Ebben a részben áttekintjük, hogyan fedezheti fel a modelleket a SageMaker Stúdióban.

A SageMaker Studio egy integrált fejlesztői környezet (IDE), amely egyetlen web-alapú vizuális felületet biztosít, ahol hozzáférhet a célra épített eszközökhöz a gépi tanulás (ML) fejlesztési lépéseinek végrehajtásához, az adatok előkészítésétől az ML felépítéséig, betanításáig és telepítéséig. modellek. A SageMaker Studio megkezdésével és beállításával kapcsolatos további részletekért lásd: Amazon SageMaker Studio.

A SageMaker Studio használata után elérheti a SageMaker JumpStart alkalmazást, amely előre betanított modelleket, notebookokat és előre elkészített megoldásokat tartalmaz. Előre elkészített és automatizált megoldások. A védett modellek elérésével kapcsolatos részletesebb információkért lásd: Használja az Amazon SageMaker JumpStart szabadalmaztatott alapozómodelljeit az Amazon SageMaker Studio alkalmazásban.

A SageMaker JumpStart nyitóoldalán megoldások, modellek, notebookok és egyéb források között böngészhet.

Ha nem látja a Llama 2 modelleket, frissítse a SageMaker Studio verzióját úgy, hogy leállítja és újraindítja. A verziófrissítésekkel kapcsolatos további információkért lásd: Zárja le és frissítse a Studio Classic alkalmazásokat.

Választással más modellváltozatokat is találhat Fedezze fel az összes szöveggenerációs modellt vagy keres llama or neuron a keresőmezőben. Ezen az oldalon megtekintheti a Llama 2 Neuron modelleket.

Telepítse a Llama-2-13b modellt a SageMaker Jumpstart segítségével

A modellkártya kiválasztásával megtekintheti a modell részleteit, például a licencet, a betanításhoz használt adatokat és a használat módját. Két gombot is találhat, Telepítése és a Nyissa meg a jegyzetfüzetet, amelyek segítenek a modell használatában ezzel a kód nélküli példával.

Ha bármelyik gombot választja, egy felugró ablakban megjelenik a végfelhasználói licencszerződés és az elfogadható használati szabályzat (AUP), amelyet tudomásul kell venni.

Miután jóváhagyta a házirendeket, telepítheti a modell végpontját, és használhatja azt a következő szakasz lépései szerint.

Telepítse a Llama 2 Neuron modellt a Python SDK-n keresztül

Ha úgy dönt Telepítése és nyugtázza a feltételeket, megkezdődik a modell bevezetése. Alternatív megoldásként a példajegyzetfüzeten keresztül is telepítheti, ha kiválasztja Nyissa meg a jegyzetfüzetet. A példajegyzetfüzet teljes körű útmutatást nyújt a modell telepítéséhez a következtetések levonásához és az erőforrások tisztításához.

Egy modell Trainium vagy AWS Inferentia példányokon való üzembe helyezéséhez vagy finomhangolásához először meg kell hívnia a PyTorch Neuron (fáklya-neuronx), hogy a modellt Neuron-specifikus gráfba állítsa, amely optimalizálja azt az Inferentia neuronmagjaira. A felhasználók utasíthatják a fordítót, hogy az alkalmazás céljaitól függően optimalizálja a legalacsonyabb késleltetést vagy a legnagyobb átviteli sebességet. A JumpStartban előre összeállítottuk a Neuron grafikonokat a különféle konfigurációkhoz, hogy a felhasználók áttekinthessék a fordítási lépéseket, lehetővé téve a modellek gyorsabb finomhangolását és üzembe helyezését.

Vegye figyelembe, hogy a Neuron előre lefordított grafikonja a Neuron Compiler verziójának egy adott verziója alapján jön létre.

Kétféleképpen telepítheti a LIama 2-t AWS Inferentia alapú példányokon. Az első módszer az előre beépített konfigurációt használja, és lehetővé teszi a modell telepítését mindössze két kódsorban. A másodikban nagyobb irányítása van a konfiguráció felett. Kezdjük az első módszerrel, az előre elkészített konfigurációval, és példaként használjuk az előre betanított Llama 2 13B Neuron modellt. A következő kód bemutatja, hogyan telepíthető a Llama 13B mindössze két sorral:

from sagemaker.jumpstart.model import JumpStartModel

model_id = "meta-textgenerationneuron-llama-2-13b"
model = JumpStartModel(model_id=model_id)
pretrained_predictor = model.deploy(accept_eula=False) ## To set 'accept_eula' to be True to deploy 

Ha ezekre a modellekre szeretne következtetést levonni, meg kell adnia az argumentumot accept_eula lenni True részeként model.deploy() hívás. Ha ezt az érvet igaznak állítja, akkor elismeri, hogy elolvasta és elfogadta a modell EULA-ját. Az EULA megtalálható a modellkártya leírásában vagy a Meta weboldal.

A Llama 2 13B alapértelmezett példánytípusa az ml.inf2.8xlarge. Kipróbálhat más támogatott modellazonosítókat is:

• meta-textgenerationneuron-llama-2-7b
• meta-textgenerationneuron-llama-2-7b-f (chat modell)
• meta-textgenerationneuron-llama-2-13b-f (chat modell)

Alternatív megoldásként, ha jobban szeretné szabályozni a telepítési konfigurációkat, például a környezeti hosszt, a tenzor párhuzamos fokát és a maximális gördülő kötegméretet, módosíthatja azokat környezeti változókon keresztül, amint azt ebben a szakaszban bemutatjuk. A telepítés mögöttes Deep Learning Container (DLC) a Large Model Inference (LMI) NeuronX DLC. A környezeti változók a következők:

• OPTION_N_POSITIONS – A bemeneti és kimeneti tokenek maximális száma. Például, ha a modellt azzal állítod össze OPTION_N_POSITIONS mint 512, akkor használhat egy 128-as bemeneti tokent (bemeneti prompt mérete), a maximális kimeneti tokent pedig 384-et (a bemeneti és kimeneti tokennek összesen 512-nek kell lennie). A maximális kimeneti tokenhez bármilyen 384 alatti érték megfelelő, de nem lépheti túl azt (például a 256-os bemenet és az 512-es kimenet).
• OPTION_TENSOR_PARALLEL_DEGREE – A modell AWS Inferentia példányaiba való betöltéséhez szükséges NeuronCore-ok száma.
• OPTION_MAX_ROLLING_BATCH_SIZE – Az egyidejű kérések maximális kötegmérete.
• OPTION_DTYPE – A modell betöltésének dátumtípusa.

A Neuron gráf összeállítása a környezet hosszától függ (OPTION_N_POSITIONS), tenzor párhuzamos fok (OPTION_TENSOR_PARALLEL_DEGREE), maximális tételméret (OPTION_MAX_ROLLING_BATCH_SIZE), és az adattípus (OPTION_DTYPE) a modell betöltéséhez. A SageMaker JumpStart előre összeállított Neuron gráfokat különféle konfigurációkhoz az előző paraméterekhez, hogy elkerülje a futásidejű fordítást. Az előre összeállított grafikonok konfigurációit a következő táblázat sorolja fel. Mindaddig, amíg a környezeti változók a következő kategóriák valamelyikébe tartoznak, a Neuron-gráfok összeállítása kimarad.

A következő egy példa a Llama 2 13B telepítésére és az összes elérhető konfiguráció beállítására.

from sagemaker.jumpstart.model import JumpStartModel

model_id = "meta-textgenerationneuron-llama-2-13b-f"
model = JumpStartModel(
    model_id=model_id,
    env={
        "OPTION_DTYPE": "fp16",
        "OPTION_N_POSITIONS": "4096",
        "OPTION_TENSOR_PARALLEL_DEGREE": "12",
        "OPTION_MAX_ROLLING_BATCH_SIZE": "4", 
    },
    instance_type="ml.inf2.24xlarge"  
)
pretrained_predictor = model.deploy(accept_eula=False) ## To set 'accept_eula' to be True to deploy 

Most, hogy üzembe helyeztük a Llama-2-13b modellt, a végpont meghívásával következtetéseket vonhatunk le vele. A következő kódrészlet bemutatja a támogatott következtetési paraméterek használatát a szöveggenerálás szabályozására:

• max_length – A modell addig generál szöveget, amíg el nem éri a kimeneti hosszt (amely tartalmazza a bemeneti környezet hosszát). max_length. Ha meg van adva, pozitív egész számnak kell lennie.
• max_new_tokens – A modell addig generál szöveget, amíg el nem éri a kimeneti hosszt (a bemeneti kontextus hosszát kivéve). max_new_tokens. Ha meg van adva, pozitív egész számnak kell lennie.
• gerendák száma – Ez jelzi a mohó keresésben használt sugarak számát. Ha meg van adva, akkor nagyobbnak vagy egyenlőnek kell lennie, mint num_return_sequences.
• no_repeat_ngram_size – A modell biztosítja, hogy egy szósorozat a no_repeat_ngram_size nem ismétlődik a kimeneti sorrendben. Ha meg van adva, akkor 1-nél nagyobb pozitív egész számnak kell lennie.
• hőmérséklet – Ez szabályozza a kimenet véletlenszerűségét. A magasabb hőmérséklet kis valószínűségű szavakat tartalmazó kimeneti sorozatot eredményez; az alacsonyabb hőmérséklet egy kimeneti sorozatot eredményez nagy valószínűségű szavakkal. Ha temperature egyenlő 0-val, ez mohó dekódolást eredményez. Ha meg van adva, pozitív lebegésnek kell lennie.
• korai_megállás - Ha True, a szöveggenerálás akkor fejeződik be, amikor az összes gerenda hipotézis eléri a mondat token végét. Ha meg van adva, akkor logikai értéknek kell lennie.
• do_sample - Ha True, a modell a valószínűség szerint mintát vesz a következő szóból. Ha meg van adva, akkor logikai értéknek kell lennie.
• top_k – A szöveggenerálás minden lépésében a modell csak a top_k legvalószínűbb szavak. Ha meg van adva, pozitív egész számnak kell lennie.
• top_p – A szöveggenerálás minden lépésében a modell a lehető legkisebb szókészletből vesz mintát, halmozott valószínűséggel top_p. Ha meg van adva, akkor 0–1 közötti úszónak kell lennie.
• megáll – Ha meg van adva, akkor karakterláncok listájának kell lennie. A szöveggenerálás leáll, ha a megadott karakterláncok bármelyike ​​létrejön.

A következő kód példát mutat:

payload = {
    "inputs": "I believe the meaning of life is",
    "parameters": {
        "max_new_tokens": 64,
        "top_p": 0.9,
        "temperature": 0.6,
    },
}

response = pretrained_predictor.predict(payload)

teljesítmény:

I believe the meaning of life is
>  to be happy. I believe that happiness is a choice. I believe that happiness 
is a state of mind. I believe that happiness is a state of being. I believe that 
happiness is a state of being. I believe that happiness is a state of being. I 
believe that happiness is a state of being. I believe

A hasznos teher paramétereivel kapcsolatos további információkért lásd: Részletes paraméterek.

A paraméterek megvalósítását is felfedezheti a jegyzetfüzet hogy további információkat adjon meg a jegyzetfüzet hivatkozásáról.

Finomhangolja a Llama 2 modelleket Trainium példányokon a SageMaker Studio UI és a SageMaker Python SDK segítségével

A generatív AI-alapmodellek az ML és az AI elsődleges fókuszpontjává váltak, azonban széles körű általánosításuk elmaradhat bizonyos területeken, például az egészségügyben vagy a pénzügyi szolgáltatásokban, ahol egyedi adatkészletekről van szó. Ez a korlátozás rávilágít arra, hogy ezeket a generatív AI-modelleket tartomány-specifikus adatokkal kell finomítani, hogy javítsák teljesítményüket ezeken a speciális területeken.

Most, hogy bevezettük a Llama 2 modell előre betanított verzióját, nézzük meg, hogyan tudjuk ezt a tartomány-specifikus adatokra finomhangolni a pontosság növelése, a modell javítása a gyors befejezések szempontjából, és a modell adaptálása az Ön konkrét üzleti felhasználási esete és adatai. A modelleket a SageMaker Studio UI vagy a SageMaker Python SDK segítségével finomhangolhatja. Ebben a részben mindkét módszert tárgyaljuk.

Finomhangolja a Llama-2-13b Neuron modellt a SageMaker Studio segítségével

A SageMaker Stúdióban keresse meg a Llama-2-13b Neuron modellt. A Telepítése lapon rámutathat a Amazon egyszerű tárolási szolgáltatás (Amazon S3) vödör, amely a képzési és érvényesítési adatkészleteket tartalmazza a finomhangoláshoz. Ezenkívül konfigurálhatja a központi telepítési konfigurációt, a hiperparamétereket és a biztonsági beállításokat a finomhangoláshoz. Akkor válassz Vonat a betanítási feladat elindításához egy SageMaker ML példányon.

A Llama 2 modellek használatához el kell fogadnia az EULA-t és az AUP-t. Akkor jelenik meg, amikor választasz Vonat. Válaszd ki Elolvastam és elfogadom az EULA-t és az AUP-t a finomhangolási munka megkezdéséhez.

A SageMaker konzolon megtekintheti a finomhangolt modellre vonatkozó betanítási feladatának állapotát, ha kiválasztja Képzési munkák a navigációs ablaktáblában.

Finomhangolhatja Llama 2 Neuron modelljét ezzel a kód nélküli példával, vagy finomhangolhatja a Python SDK-n keresztül, ahogy a következő részben bemutatjuk.

Finomhangolja a Llama-2-13b Neuron modellt a SageMaker Python SDK segítségével

Finomhangolhatja az adatkészletet a domain adaptációs formátummal vagy a utasítás alapú finomhangolás formátum. Az alábbiakban ismertetjük, hogyan kell formázni az edzési adatokat a finomhangolásba való elküldés előtt:

• Bemenet - A train JSON-sorokat (.jsonl) vagy szöveges (.txt) formázott fájlt tartalmazó könyvtár.
  • A JSON-vonalak (.jsonl) fájl esetében minden sor külön JSON-objektum. Minden JSON-objektumot kulcs-érték párként kell felépíteni, ahol a kulcsnak kell lennie text, és az érték egy képzési példa tartalma.
  • A vonatkönyvtárban lévő fájlok számának 1-nek kell lennie.
• teljesítmény – Egy betanított modell, amelyből következtetni lehet.

Ebben a példában a részhalmazát használjuk Dolly adatkészlet utasítás hangolási formátumban. A Dolly adatkészlet körülbelül 15,000 2.0 utasításkövető rekordot tartalmaz különböző kategóriákhoz, például kérdések megválaszolásához, összefoglaláshoz és információ kinyeréséhez. Az Apache XNUMX licenc alatt érhető el. Használjuk a information_extraction példák a finomhangoláshoz.

1. Töltse be a Dolly adatkészletet, és ossza fel train (finomhangoláshoz) és test (értékeléshez):

   from datasets import load_dataset
   
   dolly_dataset = load_dataset("databricks/databricks-dolly-15k", split="train")
   
   task = "information_extraction"
   To train for summarization/closed question and answering, you can replace the assertion in next line to example["category"] == "sumarization"/"closed_qa".
   summarization_dataset = dolly_dataset.filter(lambda example: example["category"] == task)
   summarization_dataset = summarization_dataset.remove_columns("category")
   
   We split the dataset into two where test data is used to evaluate at the end.
   train_and_test_dataset = summarization_dataset.train_test_split(test_size=0.1)
   
   Dumping the training data to a local file to be used for training.
   train_and_test_dataset["train"].to_json("train.jsonl")

2. Használjon prompt sablont az adatok előfeldolgozásához a betanítási feladat utasításformátumában:

   prompt = ("""Below is an instruction that describes a task, paired with an input 
   that provides further context. Write a response that appropriately completes the 
   request.nn### Instruction:n{instruction}nn### Input:n{context}### 
   Response:n{response}nn<s>""")

3. Vizsgálja meg a hiperparamétereket, és írja felül őket saját felhasználási esetére:

   from sagemaker import hyperparameters
   
   model_id = "meta-textgenerationneuron-llama-2-13b"
   model_version = "1.*"
   
   my_hyperparameters = hyperparameters.retrieve_default(
       model_id=model_id, model_version=model_version
   )
   
   my_hyperparameters["max_input_length"] = "4096" ## you can increase it up to 4096 for sequence length.
   my_hyperparameters["max_steps"] = "25"
   my_hyperparameters["learning_rate"] = "0.0001"
   print(my_hyperparameters)
   
   hyperparameters.validate(model_id=model_id, model_version=model_version, hyperparameters=my_hyperparameters)

4. Finomhangolja a modellt, és kezdjen el egy SageMaker képzési munkát. A finomhangoló szkriptek a neuronx-nemo-megatron repository, amelyek a csomagok módosított változatai nemo és a Csúcs amelyeket a Neuron és EC2 Trn1 példányokkal való használatra adaptáltak. A neuronx-nemo-megatron Az adattár 3D (adat, tenzor és csővezeték) párhuzamossággal rendelkezik, amely lehetővé teszi az LLM-ek méretarányos finomhangolását. A támogatott Trainium példányok: ml.trn1.32xlarge és ml.trn1n.32xlarge.

   from sagemaker.jumpstart.estimator import JumpStartEstimator
   
   estimator = JumpStartEstimator(
       model_id=model_id,
       model_version=model_version,
       hyperparameters=my_hyperparameters,
       environment={"accept_eula": "false"}, # please change `accept_eula` to be `true` to accept EULA.
       #instance_type="ml.trn1n.32xlarge", if not specified, default `ml.trn1.32xlarge` will be used.
   )
   
   estimator.fit({"train": train_data_location})

5. Végül helyezze üzembe a finomhangolt modellt egy SageMaker végpontban:

   finetuned_predictor = estimator.deploy()

Hasonlítsa össze az előre betanított és a finomhangolt Llama 2 Neuron modellek válaszait

Most, hogy bevezettük a Llama-2-13b modell előre betanított verzióját és finomhangoltuk, megtekinthetjük a két modell azonnali befejezésének teljesítmény-összehasonlítását, amint az a következő táblázatban látható. Példát is kínálunk a Llama 2 finomhangolására egy .txt formátumú SEC-fájladatkészleten. A részletekért lásd a GitHub példajegyzetfüzet.

Láthatjuk, hogy a finomhangolt modell válaszai a pontosság, a relevancia és a tisztaság jelentős javulását mutatják az előre betanított modell válaszaihoz képest. Egyes esetekben előfordulhat, hogy az előre betanított modell használata nem elegendő, így ennek a technikának a finomhangolása a megoldást személyre szabottabbá teszi az adatkészlethez.

Tisztítsuk meg

Miután befejezte a képzési feladatot, és már nem kívánja használni a meglévő erőforrásokat, törölje az erőforrásokat a következő kóddal:

# Delete resources
# Delete the fine-tuned model
finetuned_predictor.delete_model()

# Delete the fine-tuned model endpoint
finetuned_predictor.delete_endpoint()

Következtetés

A Llama 2 Neuron modellek SageMakeren történő bevezetése és finomhangolása jelentős előrelépést jelent a nagyszabású generatív AI modellek kezelésében és optimalizálása terén. Ezek a modellek, beleértve az olyan változatokat, mint a Llama-2-7b és a Llama-2-13b, a Neuront használják a hatékony képzéshez és következtetésekhez az AWS Inferentia és Trainium alapú példányokon, javítva a teljesítményüket és a méretezhetőségüket.

Az a lehetőség, hogy ezeket a modelleket a SageMaker JumpStart UI-n és a Python SDK-n keresztül telepítheti, rugalmasságot és egyszerű használatot kínál. A Neuron SDK a népszerű ML keretrendszerek támogatásával és a nagy teljesítményű képességekkel lehetővé teszi ezeknek a nagy modelleknek a hatékony kezelését.

Ezeknek a modelleknek a tartományspecifikus adatokon történő finomhangolása kulcsfontosságú a relevanciájuk és pontosságuk növelése érdekében a speciális területeken. A SageMaker Studio felhasználói felületén vagy a Python SDK-n keresztül végrehajtható folyamat lehetővé teszi az egyedi igényekhez való testreszabást, ami javítja a modell teljesítményét a gyors befejezések és a válaszminőség tekintetében.

Összehasonlításképpen ezeknek a modelleknek az előre betanított verziói, bár erőteljesek, általánosabb vagy ismétlődő válaszokat adhatnak. A finomhangolás konkrét kontextusokhoz szabja a modellt, pontosabb, relevánsabb és változatosabb válaszokat eredményezve. Ez a testreszabás különösen szembetűnő az előre betanított és finomhangolt modellek válaszainak összehasonlításakor, ahol az utóbbi a kimenet minőségének és specifikusságának észrevehető javulását mutatja. Összefoglalva, a Neuron Llama 2 modellek telepítése és finomhangolása a SageMaker rendszeren robusztus keretrendszert jelent a fejlett mesterséges intelligencia modellek kezeléséhez, jelentős teljesítmény- és alkalmazhatóságjavulást kínálva, különösen, ha konkrét tartományokra vagy feladatokra szabják.

Kezdje el még ma a SageMaker minta hivatkozásával jegyzetfüzet.

Az előre betanított Llama 2 modellek GPU-alapú példányokon történő üzembe helyezésével és finomhangolásával kapcsolatos további információkért lásd: Finomhangolja a Llama 2-t a szöveggeneráláshoz az Amazon SageMaker JumpStarton és a A Meta Llama 2 alapozó modelljei már elérhetőek az Amazon SageMaker JumpStartban.

A szerzők szeretnének köszönetet mondani Evan Kravitz, Christopher Whitten, Adam Kozdrowicz, Manan Shah, Jonathan Guinegagne és Mike James technikai közreműködéséért.

A szerzőkről

Xin Huang az Amazon SageMaker JumpStart és az Amazon SageMaker beépített algoritmusainak vezető alkalmazott tudósa. A skálázható gépi tanulási algoritmusok fejlesztésére összpontosít. Kutatási területe a természetes nyelvi feldolgozás, a táblázatos adatok magyarázható mély tanulása és a nem-paraméteres tér-idő klaszterezés robusztus elemzése. Számos közleményt publikált az ACL-ben, az ICDM-ben, a KDD konferenciákon és a Royal Statistical Society: A sorozatban.

Nitin Eusebius Sr. Enterprise Solutions Architect az AWS-nél, tapasztalattal rendelkezik a szoftverfejlesztés, a vállalati architektúra és az AI/ML területén. Mélyen lelkesedik a generatív mesterséges intelligencia lehetőségeinek feltárásáért. Együttműködik az ügyfelekkel, hogy segítsen nekik jól megtervezett alkalmazásokat építeni az AWS platformon, és elkötelezett a technológiai kihívások megoldása és a felhőalapú utazásuk segítése iránt.

Madhur Prashant az AWS generatív AI-terében dolgozik. Szenvedélyesen rajong az emberi gondolkodás és a generatív mesterséges intelligencia találkozási pontjaiért. Érdeklődése a generatív mesterséges intelligencia, különösen az olyan megoldások készítése, amelyek hasznosak és ártalmatlanok, és leginkább az ügyfelek számára optimálisak. A munkán kívül szeret jógázni, kirándulni, időt tölt ikertestvérével és gitározik.

Dewan Choudhury az Amazon Web Services szoftverfejlesztő mérnöke. Az Amazon SageMaker algoritmusain és a JumpStart ajánlatain dolgozik. Az AI/ML infrastruktúrák építése mellett szenvedélyesen fejleszti a méretezhető elosztott rendszereket is.

Hao Zhou az Amazon SageMaker kutatója. Ezt megelőzően gépi tanulási módszerek fejlesztésén dolgozott az Amazon Fraud Detector csalásfelderítésére. Szenvedélye a gépi tanulás, az optimalizálás és a generatív AI technikák alkalmazása különféle valós problémákra. A Northwestern Egyetemen szerzett villamosmérnöki PhD fokozatot.

Qing Lan az AWS szoftverfejlesztő mérnöke. Számos kihívást jelentő terméken dolgozott az Amazonban, beleértve a nagy teljesítményű ML következtetési megoldásokat és a nagy teljesítményű naplózási rendszert. Qing csapata sikeresen elindította az Amazon Advertising első milliárdos paraméterű modelljét, nagyon alacsony késleltetéssel. Qing mélyreható ismeretekkel rendelkezik az infrastruktúra optimalizálásával és a Deep Learning gyorsításával kapcsolatban.

Dr. Ashish Khetan vezető alkalmazott tudós az Amazon SageMaker beépített algoritmusaival, és segít gépi tanulási algoritmusok fejlesztésében. PhD fokozatát az Illinois Urbana-Champaign Egyetemen szerezte. A gépi tanulás és a statisztikai következtetések aktív kutatója, és számos közleményt publikált NeurIPS, ICML, ICLR, JMLR, ACL és EMNLP konferenciákon.

Dr. Li Zhang az Amazon SageMaker JumpStart és az Amazon SageMaker beépített algoritmusainak fő termékmenedzsere, egy olyan szolgáltatás, amely segíti az adattudósokat és a gépi tanulással foglalkozó szakembereket a modellek betanításában és bevezetésében, valamint megerősítő tanulást használ az Amazon SageMakerrel. Az IBM Research fő kutatójaként és mesterfeltalálóként végzett korábbi munkája elnyerte az IEEE INFOCOM-nál az időpróba papír díjat.

Kamran kán, Sr műszaki üzletfejlesztési menedzser az AWS Inferentina/Trianiumnál, az AWS-nél. Több mint egy évtizedes tapasztalattal rendelkezik abban, hogy az AWS Inferentia és az AWS Trainium használatával segítse ügyfeleit a mély tanulási tréningek telepítésében és optimalizálása, valamint a következtetési munkaterhelésben.

Joe Senerchia az AWS vezető termékmenedzsere. Amazon EC2-példányokat határoz meg és készít a mély tanuláshoz, a mesterséges intelligenciához és a nagy teljesítményű számítási feladatokhoz.

• SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
• PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
• PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
• PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
• PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
• Forrás: https://aws.amazon.com/blogs/machine-learning/fine-tune-and-deploy-llama-2-models-cost-effectively-in-amazon-sagemaker-jumpstart-with-aws-inferentia-and-aws-trainium/