Βελτιστοποιήστε και αναπτύξτε τα μοντέλα Llama 2 οικονομικά στο Amazon SageMaker JumpStart με AWS Inferentia και AWS Trainium | Υπηρεσίες Ιστού της Amazon

Σήμερα, είμαστε στην ευχάριστη θέση να ανακοινώσουμε τη διαθεσιμότητα της υποστήριξης συμπερασμάτων και τελειοποίησης του Llama 2 στο Aws trainium και Αίσθηση AWS περιπτώσεις σε Amazon SageMaker JumpStart. Η χρήση παρουσιών που βασίζονται στο AWS Trainium και το Inferentia, μέσω του SageMaker, μπορεί να βοηθήσει τους χρήστες να μειώσουν το κόστος μικροσυντονισμού έως και 50% και να μειώσουν το κόστος ανάπτυξης κατά 4.7 φορές, ενώ μειώνουν την καθυστέρηση ανά διακριτικό. Το Llama 2 είναι ένα μοντέλο γλώσσας κειμένου με δυνατότητα δημιουργίας αυτόματης παλινδρόμησης που χρησιμοποιεί μια βελτιστοποιημένη αρχιτεκτονική μετασχηματιστή. Ως μοντέλο διαθέσιμο στο κοινό, το Llama 2 έχει σχεδιαστεί για πολλές εργασίες NLP, όπως ταξινόμηση κειμένου, ανάλυση συναισθημάτων, μετάφραση γλώσσας, μοντελοποίηση γλώσσας, δημιουργία κειμένου και συστήματα διαλόγου. Η τελειοποίηση και η ανάπτυξη LLM, όπως το Llama 2, μπορεί να γίνει δαπανηρή ή δύσκολη η επίτευξη απόδοσης σε πραγματικό χρόνο για την παροχή καλής εμπειρίας στον πελάτη. Trainium και AWS Inferentia, ενεργοποιημένα από το AWS Neuron κιτ ανάπτυξης λογισμικού (SDK), προσφέρει μια υψηλής απόδοσης και οικονομικά αποδοτική επιλογή για εκπαίδευση και συμπέρασμα μοντέλων Llama 2.

Σε αυτήν την ανάρτηση, δείχνουμε πώς να αναπτύξετε και να ρυθμίσετε με ακρίβεια το Llama 2 σε περιπτώσεις Trainium και AWS Inferentia στο SageMaker JumpStart.

Επισκόπηση λύσεων

Σε αυτό το ιστολόγιο, θα δούμε τα ακόλουθα σενάρια:

1. Αναπτύξτε το Llama 2 σε περιπτώσεις Inferentia AWS και στα δύο Στούντιο Amazon SageMaker UI, με εμπειρία ανάπτυξης με ένα κλικ και το SageMaker Python SDK.
2. Βελτιστοποιήστε το Llama 2 σε περιπτώσεις Trainium τόσο στο SageMaker Studio UI όσο και στο SageMaker Python SDK.
3. Συγκρίνετε την απόδοση του βελτιστοποιημένου μοντέλου Llama 2 με εκείνη του προεκπαιδευμένου μοντέλου για να δείξετε την αποτελεσματικότητα της μικρορύθμισης.

Για να το αποκτήσετε, δείτε το Παράδειγμα σημειωματάριου GitHub.

Αναπτύξτε το Llama 2 σε περιπτώσεις AWS Inferentia χρησιμοποιώντας το SageMaker Studio UI και το Python SDK

Σε αυτήν την ενότητα, παρουσιάζουμε πώς να αναπτύξετε το Llama 2 σε παρουσίες AWS Inferentia χρησιμοποιώντας τη διεπαφή χρήστη SageMaker Studio για ανάπτυξη με ένα κλικ και το Python SDK.

Ανακαλύψτε το μοντέλο Llama 2 στο SageMaker Studio UI

Το SageMaker JumpStart παρέχει πρόσβαση τόσο σε δημόσια διαθέσιμα όσο και σε ιδιόκτητα μοντέλα θεμελίωσης. Τα μοντέλα θεμελίωσης ενσωματώνονται και συντηρούνται από τρίτους και ιδιόκτητους παρόχους. Ως εκ τούτου, κυκλοφορούν με διαφορετικές άδειες χρήσης, όπως ορίζονται από την πηγή του μοντέλου. Φροντίστε να ελέγξετε την άδεια χρήσης για οποιοδήποτε μοντέλο βάσης που χρησιμοποιείτε. Είστε υπεύθυνοι για τον έλεγχο και τη συμμόρφωση με τυχόν ισχύοντες όρους άδειας χρήσης και για να βεβαιωθείτε ότι είναι αποδεκτοί για την περίπτωση χρήσης σας πριν από τη λήψη ή τη χρήση του περιεχομένου.

Μπορείτε να αποκτήσετε πρόσβαση στα μοντέλα βάσης Llama 2 μέσω του SageMaker JumpStart στο SageMaker Studio UI και στο SageMaker Python SDK. Σε αυτήν την ενότητα, θα δούμε πώς να ανακαλύψετε τα μοντέλα στο SageMaker Studio.

Το SageMaker Studio είναι ένα ολοκληρωμένο περιβάλλον ανάπτυξης (IDE) που παρέχει μια ενιαία οπτική διεπαφή βασισμένη στον ιστό, όπου μπορείτε να έχετε πρόσβαση σε ειδικά κατασκευασμένα εργαλεία για να εκτελέσετε όλα τα βήματα ανάπτυξης μηχανικής μάθησης (ML), από την προετοιμασία δεδομένων έως τη δημιουργία, την εκπαίδευση και την ανάπτυξη της ML σας μοντέλα. Για περισσότερες λεπτομέρειες σχετικά με το πώς να ξεκινήσετε και να ρυθμίσετε το SageMaker Studio, ανατρέξτε στο Amazon SageMaker Studio.

Αφού είστε στο SageMaker Studio, μπορείτε να αποκτήσετε πρόσβαση στο SageMaker JumpStart, το οποίο περιέχει προεκπαιδευμένα μοντέλα, σημειωματάρια και προκατασκευασμένες λύσεις, κάτω από Προκατασκευασμένες και αυτοματοποιημένες λύσεις. Για πιο λεπτομερείς πληροφορίες σχετικά με τον τρόπο πρόσβασης σε ιδιόκτητα μοντέλα, ανατρέξτε στο Χρησιμοποιήστε ιδιόκτητα μοντέλα θεμελίωσης από το Amazon SageMaker JumpStart στο Amazon SageMaker Studio.

Από τη σελίδα προορισμού του SageMaker JumpStart, μπορείτε να αναζητήσετε λύσεις, μοντέλα, σημειωματάρια και άλλους πόρους.

Εάν δεν βλέπετε τα μοντέλα Llama 2, ενημερώστε την έκδοση του SageMaker Studio τερματίζοντας και επανεκκινώντας. Για περισσότερες πληροφορίες σχετικά με τις ενημερώσεις έκδοσης, ανατρέξτε στο Τερματίστε και ενημερώστε τις Κλασικές εφαρμογές του Studio.

Μπορείτε επίσης να βρείτε άλλες παραλλαγές μοντέλων επιλέγοντας Εξερευνήστε όλα τα μοντέλα δημιουργίας κειμένου ή αναζητώντας llama or neuron στο πλαίσιο αναζήτησης. Θα μπορείτε να δείτε τα μοντέλα Llama 2 Neuron σε αυτή τη σελίδα.

Αναπτύξτε το μοντέλο Llama-2-13b με το SageMaker Jumpstart

Μπορείτε να επιλέξετε την κάρτα μοντέλου για να δείτε λεπτομέρειες σχετικά με το μοντέλο, όπως άδεια χρήσης, δεδομένα που χρησιμοποιούνται για την εκπαίδευση και πώς να το χρησιμοποιήσετε. Μπορείτε επίσης να βρείτε δύο κουμπιά, Ανάπτυξη και Ανοίξτε το σημειωματάριο, που σας βοηθούν να χρησιμοποιήσετε το μοντέλο χρησιμοποιώντας αυτό το παράδειγμα χωρίς κώδικα.

Όταν επιλέγετε οποιοδήποτε κουμπί, ένα αναδυόμενο παράθυρο θα εμφανίσει τη Συμφωνία Άδειας Χρήσης Τελικού Χρήστη και την Πολιτική Αποδεκτής Χρήσης (AUP) για να το αναγνωρίσετε.

Αφού αναγνωρίσετε τις πολιτικές, μπορείτε να αναπτύξετε το τελικό σημείο του μοντέλου και να το χρησιμοποιήσετε μέσω των βημάτων στην επόμενη ενότητα.

Αναπτύξτε το μοντέλο Llama 2 Neuron μέσω του Python SDK

Όταν επιλέγετε Ανάπτυξη και να αναγνωρίσετε τους όρους, θα ξεκινήσει η ανάπτυξη του μοντέλου. Εναλλακτικά, μπορείτε να αναπτύξετε μέσω του παραδείγματος σημειωματάριο επιλέγοντας Ανοίξτε το σημειωματάριο. Το παράδειγμα σημειωματάριο παρέχει καθοδήγηση από άκρο σε άκρο σχετικά με τον τρόπο ανάπτυξης του μοντέλου για εξαγωγή συμπερασμάτων και εκκαθάριση πόρων.

Για να αναπτύξετε ή να τελειοποιήσετε ένα μοντέλο σε περιπτώσεις Trainium ή AWS Inferentia, πρέπει πρώτα να καλέσετε το PyTorch Neuron (πυρσός-νεύρος) για τη μεταγλώττιση του μοντέλου σε ένα γράφημα ειδικό για τον Νευρώνα, το οποίο θα το βελτιστοποιήσει για τους NeuronCores της Inferentia. Οι χρήστες μπορούν να δώσουν εντολή στον μεταγλωττιστή να βελτιστοποιήσει για τη χαμηλότερη καθυστέρηση ή την υψηλότερη απόδοση, ανάλογα με τους στόχους της εφαρμογής. Στο JumpStart, προ-μεταγλωττίσαμε τα γραφήματα Neuron για μια ποικιλία διαμορφώσεων, για να επιτρέψουμε στους χρήστες να περάσουν τα βήματα της μεταγλώττισης, επιτρέποντας ταχύτερο συντονισμό και ανάπτυξη μοντέλων.

Σημειώστε ότι το προμεταγλωττισμένο γράφημα Neuron δημιουργείται με βάση μια συγκεκριμένη έκδοση της έκδοσης Neuron Compiler.

Υπάρχουν δύο τρόποι ανάπτυξης του LIama 2 σε περιπτώσεις που βασίζονται σε AWS Inferentia. Η πρώτη μέθοδος χρησιμοποιεί την προ-ενσωματωμένη διαμόρφωση και σας επιτρέπει να αναπτύξετε το μοντέλο σε δύο μόνο γραμμές κώδικα. Στο δεύτερο, έχετε μεγαλύτερο έλεγχο στη διαμόρφωση. Ας ξεκινήσουμε με την πρώτη μέθοδο, με την προκατασκευασμένη διαμόρφωση και χρησιμοποιούμε το προεκπαιδευμένο μοντέλο Llama 2 13B Neuron, ως παράδειγμα. Ο παρακάτω κώδικας δείχνει πώς να αναπτύξετε το Llama 13B με δύο μόνο γραμμές:

from sagemaker.jumpstart.model import JumpStartModel

model_id = "meta-textgenerationneuron-llama-2-13b"
model = JumpStartModel(model_id=model_id)
pretrained_predictor = model.deploy(accept_eula=False) ## To set 'accept_eula' to be True to deploy 

Για να εκτελέσετε συμπέρασμα σε αυτά τα μοντέλα, πρέπει να καθορίσετε το όρισμα accept_eula να είναι True ως μέρος του model.deploy() κλήση. Ορίζοντας αυτό το επιχείρημα ως αληθές, αναγνωρίζετε ότι έχετε διαβάσει και αποδεχτεί την EULA του μοντέλου. Η EULA μπορεί να βρεθεί στην περιγραφή της κάρτας μοντέλου ή από το Ιστοσελίδα Meta.

Ο προεπιλεγμένος τύπος παρουσίας για το Llama 2 13B είναι ml.inf2.8xlarge. Μπορείτε επίσης να δοκιμάσετε άλλα αναγνωριστικά υποστηριζόμενων μοντέλων:

• meta-textgenerationneuron-llama-2-7b
• meta-textgenerationneuron-llama-2-7b-f (μοντέλο συνομιλίας)
• meta-textgenerationneuron-llama-2-13b-f (μοντέλο συνομιλίας)

Εναλλακτικά, εάν θέλετε να έχετε περισσότερο έλεγχο των διαμορφώσεων ανάπτυξης, όπως το μήκος περιβάλλοντος, ο παράλληλος βαθμός τανυστή και το μέγιστο μέγεθος κυλιόμενης παρτίδας, μπορείτε να τις τροποποιήσετε μέσω περιβαλλοντικών μεταβλητών, όπως φαίνεται σε αυτήν την ενότητα. Το υποκείμενο Deep Learning Container (DLC) της ανάπτυξης είναι το DLC NeuronX με μεγάλο μοντέλο συμπερασμάτων (LMI).. Οι περιβαλλοντικές μεταβλητές είναι οι εξής:

• OPTION_N_POSITIONS – Ο μέγιστος αριθμός διακριτικών εισόδου και εξόδου. Για παράδειγμα, εάν μεταγλωττίσετε το μοντέλο με OPTION_N_POSITIONS ως 512, τότε μπορείτε να χρησιμοποιήσετε ένα διακριτικό εισόδου 128 (μέγεθος προτροπής εισόδου) με μέγιστο διακριτικό εξόδου 384 (το σύνολο των διακριτικών εισόδου και εξόδου πρέπει να είναι 512). Για το μέγιστο διακριτικό εξόδου, οποιαδήποτε τιμή κάτω από το 384 είναι καλή, αλλά δεν μπορείτε να προχωρήσετε πέρα ​​από αυτό (για παράδειγμα, είσοδος 256 και έξοδος 512).
• OPTION_TENSOR_PARALLEL_DEGREE – Ο αριθμός των NeuronCores για φόρτωση του μοντέλου σε περιπτώσεις AWS Inferentia.
• OPTION_MAX_ROLLING_BATCH_SIZE – Το μέγιστο μέγεθος παρτίδας για ταυτόχρονες αιτήσεις.
• OPTION_DTYPE – Ο τύπος ημερομηνίας για τη φόρτωση του μοντέλου.

Η σύνταξη του γραφήματος νευρώνων εξαρτάται από το μήκος περιβάλλοντος (OPTION_N_POSITIONS), παράλληλος βαθμός τανυστή (OPTION_TENSOR_PARALLEL_DEGREE), μέγιστο μέγεθος παρτίδας (OPTION_MAX_ROLLING_BATCH_SIZE), και τύπο δεδομένων (OPTION_DTYPE) για να φορτώσετε το μοντέλο. Το SageMaker JumpStart έχει προ-μεταγλωττίσει γραφήματα Neuron για μια ποικιλία διαμορφώσεων για τις προηγούμενες παραμέτρους για να αποφευχθεί η μεταγλώττιση χρόνου εκτέλεσης. Οι διαμορφώσεις των προμεταγλωττισμένων γραφημάτων παρατίθενται στον παρακάτω πίνακα. Εφόσον οι περιβαλλοντικές μεταβλητές εμπίπτουν σε μία από τις ακόλουθες κατηγορίες, η συλλογή γραφημάτων Neuron θα παραλειφθεί.

Το παρακάτω είναι ένα παράδειγμα ανάπτυξης του Llama 2 13B και ρύθμισης όλων των διαθέσιμων διαμορφώσεων.

from sagemaker.jumpstart.model import JumpStartModel

model_id = "meta-textgenerationneuron-llama-2-13b-f"
model = JumpStartModel(
    model_id=model_id,
    env={
        "OPTION_DTYPE": "fp16",
        "OPTION_N_POSITIONS": "4096",
        "OPTION_TENSOR_PARALLEL_DEGREE": "12",
        "OPTION_MAX_ROLLING_BATCH_SIZE": "4", 
    },
    instance_type="ml.inf2.24xlarge"  
)
pretrained_predictor = model.deploy(accept_eula=False) ## To set 'accept_eula' to be True to deploy 

Τώρα που έχουμε αναπτύξει το μοντέλο Llama-2-13b, μπορούμε να εκτελέσουμε συμπέρασμα με αυτό καλώντας το τελικό σημείο. Το ακόλουθο απόσπασμα κώδικα δείχνει τη χρήση των υποστηριζόμενων παραμέτρων συμπερασμάτων για τον έλεγχο της δημιουργίας κειμένου:

• μέγιστο μήκος – Το μοντέλο δημιουργεί κείμενο μέχρι να φτάσει το μήκος εξόδου (το οποίο περιλαμβάνει το μήκος του περιβάλλοντος εισαγωγής). max_length. Εάν ορίζεται, πρέπει να είναι θετικός ακέραιος.
• max_new_tokens – Το μοντέλο δημιουργεί κείμενο μέχρι να φτάσει το μήκος εξόδου (εξαιρουμένου του μήκους περιβάλλοντος εισαγωγής). max_new_tokens. Εάν ορίζεται, πρέπει να είναι θετικός ακέραιος.
• num_beams – Αυτό υποδεικνύει τον αριθμό των ακτίνων που χρησιμοποιούνται στην άπληστη αναζήτηση. Εάν ορίζεται, πρέπει να είναι ακέραιος αριθμός μεγαλύτερος ή ίσος με num_return_sequences.
• no_repeat_ngram_size – Το μοντέλο διασφαλίζει ότι μια ακολουθία λέξεων του no_repeat_ngram_size δεν επαναλαμβάνεται στην ακολουθία εξόδου. Εάν ορίζεται, πρέπει να είναι θετικός ακέραιος μεγαλύτερος από 1.
• θερμοκρασία – Αυτό ελέγχει την τυχαιότητα στην έξοδο. Μια υψηλότερη θερμοκρασία οδηγεί σε μια ακολουθία εξόδου με λέξεις χαμηλής πιθανότητας. μια χαμηλότερη θερμοκρασία οδηγεί σε μια ακολουθία εξόδου με λέξεις υψηλής πιθανότητας. Αν temperature ισούται με 0, καταλήγει σε άπληστη αποκωδικοποίηση. Εάν καθορίζεται, πρέπει να είναι θετικός float.
• νωρίς_διακοπή - Αν True, η δημιουργία κειμένου ολοκληρώνεται όταν όλες οι υποθέσεις δέσμης φτάσουν στο τέλος της πρότασης. Εάν ορίζεται, πρέπει να είναι Boolean.
• do_sample - Αν True, το μοντέλο λαμβάνει δείγματα της επόμενης λέξης σύμφωνα με την πιθανότητα. Εάν ορίζεται, πρέπει να είναι Boolean.
• top_k – Σε κάθε βήμα δημιουργίας κειμένου, το μοντέλο λαμβάνει δείγματα μόνο από το top_k πιθανότατα λόγια. Εάν ορίζεται, πρέπει να είναι θετικός ακέραιος.
• top_p – Σε κάθε βήμα δημιουργίας κειμένου, το μοντέλο λαμβάνει δείγματα από το μικρότερο δυνατό σύνολο λέξεων με αθροιστική πιθανότητα top_p. Εάν καθορίζεται, πρέπει να είναι float μεταξύ 0–1.
• στάση – Εάν ορίζεται, πρέπει να είναι μια λίστα συμβολοσειρών. Η δημιουργία κειμένου σταματά αν δημιουργηθεί οποιαδήποτε από τις καθορισμένες συμβολοσειρές.

Ο παρακάτω κώδικας δείχνει ένα παράδειγμα:

payload = {
    "inputs": "I believe the meaning of life is",
    "parameters": {
        "max_new_tokens": 64,
        "top_p": 0.9,
        "temperature": 0.6,
    },
}

response = pretrained_predictor.predict(payload)

Παραγωγή:

I believe the meaning of life is
>  to be happy. I believe that happiness is a choice. I believe that happiness 
is a state of mind. I believe that happiness is a state of being. I believe that 
happiness is a state of being. I believe that happiness is a state of being. I 
believe that happiness is a state of being. I believe

Για περισσότερες πληροφορίες σχετικά με τις παραμέτρους στο ωφέλιμο φορτίο, ανατρέξτε στο Λεπτομερείς παράμετροι.

Μπορείτε επίσης να εξερευνήσετε την υλοποίηση των παραμέτρων στο σημειωματάριο για να προσθέσετε περισσότερες πληροφορίες σχετικά με το σύνδεσμο του σημειωματάριου.

Βελτιώστε τα μοντέλα Llama 2 σε περιπτώσεις Trainium χρησιμοποιώντας το SageMaker Studio UI και το SageMaker Python SDK

Τα βασικά μοντέλα τεχνητής νοημοσύνης που δημιουργούνται έχουν γίνει πρωταρχική εστίαση στο ML και το AI, ωστόσο, η ευρεία γενίκευσή τους μπορεί να υπολείπεται σε συγκεκριμένους τομείς όπως η υγειονομική περίθαλψη ή οι χρηματοοικονομικές υπηρεσίες, όπου εμπλέκονται μοναδικά σύνολα δεδομένων. Αυτός ο περιορισμός υπογραμμίζει την ανάγκη προσαρμογής αυτών των μοντέλων δημιουργίας τεχνητής νοημοσύνης με δεδομένα για συγκεκριμένους τομείς για τη βελτίωση της απόδοσής τους σε αυτούς τους εξειδικευμένους τομείς.

Τώρα που αναπτύξαμε την προεκπαιδευμένη έκδοση του μοντέλου Llama 2, ας δούμε πώς μπορούμε να το προσαρμόσουμε με ακρίβεια σε δεδομένα για συγκεκριμένο τομέα για να αυξήσουμε την ακρίβεια, να βελτιώσουμε το μοντέλο όσον αφορά τις γρήγορες ολοκληρώσεις και να προσαρμόσουμε το μοντέλο σε συγκεκριμένη περίπτωση και δεδομένα επιχειρηματικής χρήσης. Μπορείτε να ρυθμίσετε τα μοντέλα χρησιμοποιώντας είτε το SageMaker Studio UI είτε το SageMaker Python SDK. Συζητάμε και τις δύο μεθόδους σε αυτή την ενότητα.

Βελτιώστε το μοντέλο Llama-2-13b Neuron με το SageMaker Studio

Στο SageMaker Studio, μεταβείτε στο μοντέλο Llama-2-13b Neuron. Στο Ανάπτυξη καρτέλα, μπορείτε να υποδείξετε το Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3) κάδος που περιέχει τα σύνολα δεδομένων εκπαίδευσης και επικύρωσης για τελειοποίηση. Επιπλέον, μπορείτε να διαμορφώσετε τις ρυθμίσεις παραμέτρων ανάπτυξης, τις υπερπαραμέτρους και τις ρυθμίσεις ασφαλείας για μικροσυντονισμό. Στη συνέχεια επιλέξτε Τρένο για να ξεκινήσετε την εργασία εκπαίδευσης σε μια παρουσία του SageMaker ML.

Για να χρησιμοποιήσετε μοντέλα Llama 2, πρέπει να αποδεχτείτε το EULA και το AUP. Θα εμφανιστεί όταν το επιλέξετε Τρένο. Επιλέξτε Έχω διαβάσει και αποδέχομαι EULA και AUP για να ξεκινήσετε τη δουλειά μικρορύθμισης.

Μπορείτε να δείτε την κατάσταση της εργασίας εκπαίδευσης για το βελτιωμένο μοντέλο στην κονσόλα SageMaker επιλέγοντας Εργασίες κατάρτισης στο παράθυρο πλοήγησης.

Μπορείτε είτε να προσαρμόσετε το μοντέλο Llama 2 Neuron χρησιμοποιώντας αυτό το παράδειγμα χωρίς κώδικα είτε να ρυθμίσετε με ακρίβεια το Python SDK, όπως φαίνεται στην επόμενη ενότητα.

Βελτιστοποιήστε το μοντέλο Llama-2-13b Neuron μέσω του SageMaker Python SDK

Μπορείτε να ρυθμίσετε με ακρίβεια το σύνολο δεδομένων με τη μορφή προσαρμογής τομέα ή το λεπτομέρεια βασισμένη σε οδηγίες μορφή. Ακολουθούν οι οδηγίες για τον τρόπο με τον οποίο πρέπει να μορφοποιηθούν τα δεδομένα εκπαίδευσης πριν αποσταλούν σε λεπτομέρεια:

• Εισαγωγή - Μια train κατάλογο που περιέχει είτε ένα αρχείο με μορφοποίηση JSON lines (.jsonl) είτε κείμενο (.txt).
  • Για το αρχείο γραμμών JSON (.jsonl), κάθε γραμμή είναι ένα ξεχωριστό αντικείμενο JSON. Κάθε αντικείμενο JSON θα πρέπει να είναι δομημένο ως ζεύγος κλειδιού-τιμής, όπου πρέπει να βρίσκεται το κλειδί text, και η αξία είναι το περιεχόμενο ενός παραδείγματος εκπαίδευσης.
  • Ο αριθμός των αρχείων στον κατάλογο τρένου πρέπει να είναι ίσος με 1.
• Παραγωγή – Ένα εκπαιδευμένο μοντέλο που μπορεί να αναπτυχθεί για συμπεράσματα.

Σε αυτό το παράδειγμα, χρησιμοποιούμε ένα υποσύνολο του Δεδομένα Dolly σε μορφή συντονισμού εντολών. Το σύνολο δεδομένων Dolly περιέχει περίπου 15,000 εγγραφές που ακολουθούν οδηγίες για διάφορες κατηγορίες, όπως απαντήσεις σε ερωτήσεις, σύνοψη και εξαγωγή πληροφοριών. Είναι διαθέσιμο με την άδεια Apache 2.0. Χρησιμοποιούμε το information_extraction παραδείγματα για μικρορύθμιση.

1. Φορτώστε το σύνολο δεδομένων Dolly και χωρίστε το σε train (για μικρορύθμιση) και test (για αξιολόγηση):

   from datasets import load_dataset
   
   dolly_dataset = load_dataset("databricks/databricks-dolly-15k", split="train")
   
   task = "information_extraction"
   To train for summarization/closed question and answering, you can replace the assertion in next line to example["category"] == "sumarization"/"closed_qa".
   summarization_dataset = dolly_dataset.filter(lambda example: example["category"] == task)
   summarization_dataset = summarization_dataset.remove_columns("category")
   
   We split the dataset into two where test data is used to evaluate at the end.
   train_and_test_dataset = summarization_dataset.train_test_split(test_size=0.1)
   
   Dumping the training data to a local file to be used for training.
   train_and_test_dataset["train"].to_json("train.jsonl")

2. Χρησιμοποιήστε ένα πρότυπο προτροπής για την προεπεξεργασία των δεδομένων σε μια μορφή οδηγιών για την εργασία εκπαίδευσης:

   prompt = ("""Below is an instruction that describes a task, paired with an input 
   that provides further context. Write a response that appropriately completes the 
   request.nn### Instruction:n{instruction}nn### Input:n{context}### 
   Response:n{response}nn<s>""")

3. Εξετάστε τις υπερπαραμέτρους και αντικαταστήστε τις για δική σας περίπτωση χρήσης:

   from sagemaker import hyperparameters
   
   model_id = "meta-textgenerationneuron-llama-2-13b"
   model_version = "1.*"
   
   my_hyperparameters = hyperparameters.retrieve_default(
       model_id=model_id, model_version=model_version
   )
   
   my_hyperparameters["max_input_length"] = "4096" ## you can increase it up to 4096 for sequence length.
   my_hyperparameters["max_steps"] = "25"
   my_hyperparameters["learning_rate"] = "0.0001"
   print(my_hyperparameters)
   
   hyperparameters.validate(model_id=model_id, model_version=model_version, hyperparameters=my_hyperparameters)

4. Βελτιστοποιήστε το μοντέλο και ξεκινήστε μια εργασία εκπαίδευσης στο SageMaker. Τα σενάρια λεπτομέρειας βασίζονται στο νευρώνας-νεμο-μεγατρόν αποθετήριο, τα οποία είναι τροποποιημένες εκδόσεις των πακέτων nemo και Κορυφή που έχουν προσαρμοστεί για χρήση με περιπτώσεις Neuron και EC2 Trn1. ο νευρώνας-νεμο-μεγατρόν Το αποθετήριο έχει παραλληλισμό 3D (δεδομένα, τανυστής και διοχέτευση) για να σας επιτρέψει να ρυθμίσετε με ακρίβεια τα LLM σε κλίμακα. Οι υποστηριζόμενες περιπτώσεις Trainium είναι ml.trn1.32xlarge και ml.trn1n.32xlarge.

   from sagemaker.jumpstart.estimator import JumpStartEstimator
   
   estimator = JumpStartEstimator(
       model_id=model_id,
       model_version=model_version,
       hyperparameters=my_hyperparameters,
       environment={"accept_eula": "false"}, # please change `accept_eula` to be `true` to accept EULA.
       #instance_type="ml.trn1n.32xlarge", if not specified, default `ml.trn1.32xlarge` will be used.
   )
   
   estimator.fit({"train": train_data_location})

5. Τέλος, αναπτύξτε το τελειοποιημένο μοντέλο σε ένα τελικό σημείο του SageMaker:

   finetuned_predictor = estimator.deploy()

Συγκρίνετε τις αποκρίσεις μεταξύ των προεκπαιδευμένων και βελτιωμένων μοντέλων Llama 2 Neuron

Τώρα που έχουμε αναπτύξει την προεκπαιδευμένη έκδοση του μοντέλου Llama-2-13b και τη βελτιστοποιήσαμε, μπορούμε να δούμε μερικές από τις συγκρίσεις απόδοσης των άμεσων ολοκληρώσεων και από τα δύο μοντέλα, όπως φαίνεται στον παρακάτω πίνακα. Προσφέρουμε επίσης ένα παράδειγμα για να τελειοποιήσετε το Llama 2 σε ένα σύνολο δεδομένων αρχειοθέτησης SEC σε μορφή .txt. Για λεπτομέρειες, δείτε το Παράδειγμα σημειωματάριου GitHub.

Μπορούμε να δούμε ότι οι απαντήσεις από το τελειοποιημένο μοντέλο επιδεικνύουν σημαντική βελτίωση στην ακρίβεια, τη συνάφεια και τη σαφήνεια σε σύγκριση με εκείνες από το προεκπαιδευμένο μοντέλο. Σε ορισμένες περιπτώσεις, η χρήση του προεκπαιδευμένου μοντέλου για την περίπτωση χρήσης σας μπορεί να μην είναι αρκετή, επομένως η λεπτομέρειά του χρησιμοποιώντας αυτήν την τεχνική θα κάνει τη λύση πιο εξατομικευμένη στο σύνολο δεδομένων σας.

εκκαθάριση

Αφού ολοκληρώσετε την εργασία εκπαίδευσης και δεν θέλετε να χρησιμοποιήσετε πλέον τους υπάρχοντες πόρους, διαγράψτε τους πόρους χρησιμοποιώντας τον ακόλουθο κώδικα:

# Delete resources
# Delete the fine-tuned model
finetuned_predictor.delete_model()

# Delete the fine-tuned model endpoint
finetuned_predictor.delete_endpoint()

Συμπέρασμα

Η ανάπτυξη και η τελειοποίηση των μοντέλων Llama 2 Neuron στο SageMaker καταδεικνύουν σημαντική πρόοδο στη διαχείριση και τη βελτιστοποίηση μοντέλων παραγωγής τεχνητής νοημοσύνης μεγάλης κλίμακας. Αυτά τα μοντέλα, συμπεριλαμβανομένων παραλλαγών όπως το Llama-2-7b και το Llama-2-13b, χρησιμοποιούν το Neuron για αποτελεσματική εκπαίδευση και εξαγωγή συμπερασμάτων σε στιγμιότυπα που βασίζονται στο AWS Inferentia και στο Trainium, βελτιώνοντας την απόδοση και την επεκτασιμότητα τους.

Η δυνατότητα ανάπτυξης αυτών των μοντέλων μέσω του SageMaker JumpStart UI και του Python SDK προσφέρει ευελιξία και ευκολία στη χρήση. Το Neuron SDK, με την υποστήριξή του για δημοφιλή πλαίσια ML και δυνατότητες υψηλής απόδοσης, επιτρέπει τον αποτελεσματικό χειρισμό αυτών των μεγάλων μοντέλων.

Η λεπτομερής ρύθμιση αυτών των μοντέλων σε δεδομένα συγκεκριμένου τομέα είναι ζωτικής σημασίας για τη βελτίωση της συνάφειας και της ακρίβειάς τους σε εξειδικευμένους τομείς. Η διαδικασία, την οποία μπορείτε να πραγματοποιήσετε μέσω του SageMaker Studio UI ή του Python SDK, επιτρέπει την προσαρμογή σε συγκεκριμένες ανάγκες, οδηγώντας σε βελτιωμένη απόδοση του μοντέλου όσον αφορά τις έγκαιρες ολοκληρώσεις και την ποιότητα απόκρισης.

Συγκριτικά, οι προεκπαιδευμένες εκδόσεις αυτών των μοντέλων, αν και ισχυρές, ενδέχεται να παρέχουν πιο γενικές ή επαναλαμβανόμενες απαντήσεις. Η τελειοποίηση προσαρμόζει το μοντέλο σε συγκεκριμένα περιβάλλοντα, με αποτέλεσμα πιο ακριβείς, σχετικές και ποικίλες απαντήσεις. Αυτή η προσαρμογή είναι ιδιαίτερα εμφανής όταν συγκρίνονται αποκρίσεις από προεκπαιδευμένα και βελτιωμένα μοντέλα, όπου το τελευταίο δείχνει αξιοσημείωτη βελτίωση στην ποιότητα και την ιδιαιτερότητα της παραγωγής. Συμπερασματικά, η ανάπτυξη και η τελειοποίηση των μοντέλων Neuron Llama 2 στο SageMaker αντιπροσωπεύουν ένα ισχυρό πλαίσιο για τη διαχείριση προηγμένων μοντέλων τεχνητής νοημοσύνης, προσφέροντας σημαντικές βελτιώσεις στην απόδοση και την εφαρμογή, ειδικά όταν προσαρμόζονται σε συγκεκριμένους τομείς ή εργασίες.

Ξεκινήστε σήμερα αναφέροντας το δείγμα του SageMaker σημειωματάριο.

Για περισσότερες πληροφορίες σχετικά με την ανάπτυξη και τη λεπτομερή ρύθμιση προεκπαιδευμένων μοντέλων Llama 2 σε παρουσίες που βασίζονται σε GPU, ανατρέξτε στο Βελτιστοποιήστε το Llama 2 για δημιουργία κειμένου στο Amazon SageMaker JumpStart και Τα μοντέλα βάσης Llama 2 από τη Meta είναι πλέον διαθέσιμα στο Amazon SageMaker JumpStart.

Οι συγγραφείς θα ήθελαν να αναγνωρίσουν τις τεχνικές συνεισφορές των Evan Kravitz, Christopher Whitten, Adam Kozdrowicz, Manan Shah, Jonathan Guinegagne και Mike James.

Σχετικά με τους Συγγραφείς

Σιν Χουάνγκ είναι Senior Applied Scientist για τους ενσωματωμένους αλγόριθμους Amazon SageMaker JumpStart και Amazon SageMaker. Επικεντρώνεται στην ανάπτυξη κλιμακωτών αλγορίθμων μηχανικής μάθησης. Τα ερευνητικά του ενδιαφέροντα είναι στον τομέα της επεξεργασίας φυσικής γλώσσας, της εξηγήσιμης βαθιάς μάθησης σε δεδομένα πινάκων και της ισχυρής ανάλυσης της μη παραμετρικής ομαδοποίησης του χωροχρόνου. Έχει δημοσιεύσει πολλές εργασίες σε συνέδρια ACL, ICDM, KDD και Royal Statistical Society: Series A.

Νιτίν Ευσέβιος είναι Sr. Enterprise Solutions Architect στην AWS, με εμπειρία στη Μηχανική Λογισμικού, την Enterprise Architecture και την AI/ML. Είναι βαθιά παθιασμένος με την εξερεύνηση των δυνατοτήτων της γενετικής τεχνητής νοημοσύνης. Συνεργάζεται με πελάτες για να τους βοηθήσει να δημιουργήσουν καλά αρχιτεκτονημένες εφαρμογές στην πλατφόρμα AWS και είναι αφοσιωμένος στην επίλυση τεχνολογικών προκλήσεων και στην παροχή βοήθειας στο ταξίδι τους στο cloud.

Madhur Prashant εργάζεται στον χώρο παραγωγής AI στο AWS. Είναι παθιασμένος με τη διασταύρωση της ανθρώπινης σκέψης και της γενετικής τεχνητής νοημοσύνης. Τα ενδιαφέροντά του έγκεινται στη δημιουργία τεχνητής νοημοσύνης, συγκεκριμένα στην κατασκευή λύσεων που είναι χρήσιμες και αβλαβείς, και κυρίως βέλτιστες για τους πελάτες. Εκτός δουλειάς, του αρέσει να κάνει γιόγκα, να κάνει πεζοπορία, να περνά χρόνο με το δίδυμό του και να παίζει κιθάρα.

Dewan Choudhury είναι Μηχανικός Ανάπτυξης Λογισμικού με τις Υπηρεσίες Ιστού της Amazon. Εργάζεται στους αλγόριθμους και τις προσφορές του JumpStart του Amazon SageMaker. Εκτός από την κατασκευή υποδομών AI/ML, είναι επίσης παθιασμένος με την κατασκευή κλιμακούμενων κατανεμημένων συστημάτων.

Χάο Ζου είναι ερευνητής με το Amazon SageMaker. Πριν από αυτό, εργάστηκε στην ανάπτυξη μεθόδων μηχανικής εκμάθησης για τον εντοπισμό απάτης για το Amazon Fraud Detector. Είναι παθιασμένος με την εφαρμογή μηχανικής μάθησης, βελτιστοποίησης και τεχνικών τεχνητής νοημοσύνης σε διάφορα προβλήματα του πραγματικού κόσμου. Είναι διδάκτωρ Ηλεκτρολόγου Μηχανικού από το Πανεπιστήμιο Northwestern.

Τσινγκ Λαν είναι Μηχανικός Ανάπτυξης Λογισμικού στην AWS. Έχει εργαστεί σε πολλά προκλητικά προϊόντα στο Amazon, συμπεριλαμβανομένων λύσεων συμπερασμάτων ML υψηλής απόδοσης και συστήματος καταγραφής υψηλής απόδοσης. Η ομάδα του Qing κυκλοφόρησε με επιτυχία το πρώτο μοντέλο δισεκατομμυρίων παραμέτρων στο Amazon Advertising με πολύ χαμηλό λανθάνοντα χρόνο που απαιτείται. Ο Qing έχει εις βάθος γνώση σχετικά με τη βελτιστοποίηση της υποδομής και την επιτάχυνση Deep Learning.

Δρ Ashish Khetan είναι Ανώτερος Εφαρμοσμένος Επιστήμονας με ενσωματωμένους αλγόριθμους του Amazon SageMaker και βοηθά στην ανάπτυξη αλγορίθμων μηχανικής μάθησης. Πήρε το διδακτορικό του από το Πανεπιστήμιο του Illinois Urbana-Champaign. Είναι ενεργός ερευνητής στη μηχανική μάθηση και στα στατιστικά συμπεράσματα και έχει δημοσιεύσει πολλές εργασίες σε συνέδρια NeurIPS, ICML, ICLR, JMLR, ACL και EMNLP.

Δρ Li Zhang είναι ένας κύριος διαχειριστής προϊόντων-τεχνικός για τους ενσωματωμένους αλγόριθμους Amazon SageMaker JumpStart και Amazon SageMaker, μια υπηρεσία που βοηθά τους επιστήμονες δεδομένων και τους επαγγελματίες της μηχανικής μάθησης να ξεκινήσουν με την εκπαίδευση και την ανάπτυξη των μοντέλων τους και χρησιμοποιεί ενισχυτική μάθηση με το Amazon SageMaker. Η προηγούμενη δουλειά του ως κύριο μέλος του ερευνητικού προσωπικού και κύριος εφευρέτης στην IBM Research κέρδισε το βραβείο τεστ του χρόνου στο IEEE INFOCOM.

Kamran Khan, Sr Διευθυντής Τεχνικής Επιχειρηματικής Ανάπτυξης για το AWS Inferentina/Trianium στην AWS. Έχει πάνω από μια δεκαετία εμπειρίας βοηθώντας τους πελάτες να αναπτύξουν και να βελτιστοποιήσουν την εκπαίδευση σε βάθος και τον φόρτο εργασίας εξαγωγής συμπερασμάτων χρησιμοποιώντας το AWS Inferentia και το AWS Trainium.

Τζο Σενέρτσια είναι Ανώτερος Διευθυντής Προϊόντων στην AWS. Ορίζει και κατασκευάζει περιπτώσεις Amazon EC2 για βαθιά μάθηση, τεχνητή νοημοσύνη και φόρτους εργασίας υπολογιστών υψηλής απόδοσης.

• SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
• PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
• PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
• PlatoESG. Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
• PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
• πηγή: https://aws.amazon.com/blogs/machine-learning/fine-tune-and-deploy-llama-2-models-cost-effectively-in-amazon-sagemaker-jumpstart-with-aws-inferentia-and-aws-trainium/