Βελτιώνοντας τα LLM σας με το RLHF στο Amazon SageMaker | Υπηρεσίες Ιστού της Amazon

Η Ενισχυτική μάθηση από την ανθρώπινη ανατροφοδότηση (RLHF) αναγνωρίζεται ως η τυπική τεχνική του κλάδου για τη διασφάλιση ότι τα μεγάλα γλωσσικά μοντέλα (LLM) παράγουν περιεχόμενο που είναι αληθινό, ακίνδυνο και χρήσιμο. Η τεχνική λειτουργεί εκπαιδεύοντας ένα «μοντέλο ανταμοιβής» που βασίζεται στην ανθρώπινη ανατροφοδότηση και χρησιμοποιεί αυτό το μοντέλο ως συνάρτηση ανταμοιβής για τη βελτιστοποίηση της πολιτικής ενός πράκτορα μέσω της ενισχυτικής μάθησης (RL). Το RLHF έχει αποδειχθεί ότι είναι απαραίτητο για την παραγωγή LLM όπως το ChatGPT του OpenAI και το Claude του Anthropic που ευθυγραμμίζονται με τους ανθρώπινους στόχους. Οι εποχές που χρειάζεστε αφύσικη άμεση μηχανική για να αποκτήσετε βασικά μοντέλα, όπως το GPT-3, για να λύσετε τις εργασίες σας, έχουν περάσει.

Μια σημαντική προειδοποίηση του RLHF είναι ότι είναι μια πολύπλοκη και συχνά ασταθής διαδικασία. Ως μέθοδος, το RLHF απαιτεί να εκπαιδεύσετε πρώτα ένα μοντέλο ανταμοιβής που να αντικατοπτρίζει τις ανθρώπινες προτιμήσεις. Στη συνέχεια, το LLM πρέπει να ρυθμιστεί με ακρίβεια για να μεγιστοποιηθεί η εκτιμώμενη ανταμοιβή του μοντέλου ανταμοιβής χωρίς να απομακρυνθεί πολύ από το αρχικό μοντέλο. Σε αυτήν την ανάρτηση, θα δείξουμε πώς να ρυθμίσετε ένα βασικό μοντέλο με το RLHF στο Amazon SageMaker. Σας δείχνουμε επίσης πώς να εκτελείτε ανθρώπινη αξιολόγηση για να ποσοτικοποιήσετε τις βελτιώσεις του προκύπτοντος μοντέλου.

Προϋποθέσεις

Πριν ξεκινήσετε, βεβαιωθείτε ότι καταλαβαίνετε πώς να χρησιμοποιείτε τους ακόλουθους πόρους:

Επισκόπηση λύσεων

Πολλές εφαρμογές Generative AI ξεκινούν με βασικά LLMs, όπως το GPT-3, που εκπαιδεύτηκαν σε τεράστιο όγκο δεδομένων κειμένου και είναι γενικά διαθέσιμα στο κοινό. Τα βασικά LLM είναι, από προεπιλογή, επιρρεπή στη δημιουργία κειμένου με τρόπο που είναι απρόβλεπτος και μερικές φορές επιβλαβής ως αποτέλεσμα της μη γνώσης πώς να ακολουθήσετε τις οδηγίες. Για παράδειγμα, με δεδομένη την προτροπή, "γράψτε ένα email στους γονείς μου που τους εύχεται χρόνια πολλά", ένα βασικό μοντέλο μπορεί να δημιουργήσει μια απόκριση που μοιάζει με την αυτόματη συμπλήρωση της προτροπής (π.χ «και πολλά ακόμη χρόνια αγάπης μαζί») αντί να ακολουθήσετε την προτροπή ως ρητή οδηγία (π.χ. γραπτό email). Αυτό συμβαίνει επειδή το μοντέλο έχει εκπαιδευτεί να προβλέπει το επόμενο διακριτικό. Για να βελτιωθεί η ικανότητα παρακολούθησης εντολών του βασικού μοντέλου, οι σχολιαστές ανθρώπινων δεδομένων έχουν επιφορτιστεί με τη σύνταξη απαντήσεων σε διάφορες προτροπές. Οι απαντήσεις που συλλέγονται (συχνά αναφέρονται ως δεδομένα επίδειξης) χρησιμοποιούνται σε μια διαδικασία που ονομάζεται εποπτευόμενη λεπτομέρεια (SFT). Το RLHF βελτιώνει περαιτέρω και ευθυγραμμίζει τη συμπεριφορά του μοντέλου με τις ανθρώπινες προτιμήσεις. Σε αυτήν την ανάρτηση ιστολογίου, ζητάμε από τους σχολιαστές να ταξινομήσουν τα αποτελέσματα του μοντέλου με βάση συγκεκριμένες παραμέτρους, όπως η εξυπηρετικότητα, η ειλικρίνεια και η αβλαβή. Τα δεδομένα προτιμήσεων που προκύπτουν χρησιμοποιούνται για την εκπαίδευση ενός μοντέλου ανταμοιβής το οποίο με τη σειρά του χρησιμοποιείται από έναν αλγόριθμο ενίσχυσης εκμάθησης που ονομάζεται Proximal Policy Optimization (PPO) για την εκπαίδευση του εποπτευόμενου βελτιστοποιημένου μοντέλου. Τα μοντέλα ανταμοιβής και η ενισχυτική μάθηση εφαρμόζονται επαναληπτικά με ανατροφοδότηση από τον άνθρωπο.

Το παρακάτω διάγραμμα απεικονίζει αυτή την αρχιτεκτονική.

Σε αυτήν την ανάρτηση ιστολογίου, παρουσιάζουμε πώς μπορεί να εκτελεστεί το RLHF στο Amazon SageMaker πραγματοποιώντας ένα πείραμα με το δημοφιλές, ανοιχτού κώδικα RLHF repo Trlx. Μέσα από το πείραμά μας, δείχνουμε πώς το RLHF μπορεί να χρησιμοποιηθεί για να αυξήσει τη χρησιμότητα ή την αβλαβή χρήση ενός μεγάλου γλωσσικού μοντέλου χρησιμοποιώντας το διαθέσιμο στο κοινό Σύνολο δεδομένων Helpfulness and Harmlessness (HH). παρέχεται από το Anthropic. Χρησιμοποιώντας αυτό το σύνολο δεδομένων, διεξάγουμε το πείραμά μας με Σημειωματάριο Amazon SageMaker Studio που τρέχει σε ένα ml.p4d.24xlarge παράδειγμα. Τέλος, παρέχουμε α Σημειωματάριο Jupyter για να επαναλάβουμε τα πειράματά μας.

Ολοκληρώστε τα παρακάτω βήματα στο σημειωματάριο για να πραγματοποιήσετε λήψη και εγκατάσταση των προαπαιτούμενων:

git clone https://github.com/CarperAI/trlx.git
cd trlx
pip install torch==2.0.0 --extra-index-url https://download.pytorch.org/whl/cu116 # for cuda
pip install -e .

Εισαγωγή δεδομένων επίδειξης

Το πρώτο βήμα στο RLHF περιλαμβάνει τη συλλογή δεδομένων επίδειξης για την τελειοποίηση ενός βασικού LLM. Για τους σκοπούς αυτής της ανάρτησης ιστολογίου, χρησιμοποιούμε δεδομένα επίδειξης στο σύνολο δεδομένων HH όπως αναφέρθηκε παραπάνω. Μπορούμε να φορτώσουμε τα δεδομένα επίδειξης απευθείας από το πακέτο συνόλων δεδομένων Hugging Face:

from datasets import load_dataset
dataset = load_dataset("Dahoas/rm-static")

Εποπτευόμενη τελειοποίηση ενός βασικού LLM

Το επόμενο βήμα είναι να εκτελέσετε εποπτευόμενη μικρορύθμιση ενός βασικού LLM. Σε αυτήν την ανάρτηση ιστολογίου, αναφερόμαστε στο βασικό μοντέλο που έχει υποστεί εποπτευόμενη λεπτομέρεια απλώς ως «μοντέλο SFT». Απαιτείται η εποπτευόμενη λεπτομέρεια για να μάθουμε από τα δεδομένα επίδειξης, έτσι ώστε ένα LLM να αποδίδει καλά στο συνομιλητικό μας έργο και να μάθει να είναι χρήσιμο και αβλαβές. Σε αυτήν την ανάρτηση, χρησιμοποιούμε τη δημόσια διαθέσιμη EleutherAI/gpt-j-6b μοντέλο που φιλοξενείται στο Hugging Face. Χρησιμοποιούμε επίσης το πλαίσιο Trlx που παρέχει κώδικα για εποπτευόμενη λεπτομέρεια αυτού του μοντέλου.

Εκτελέστε τις παρακάτω εντολές για να ξεκινήσετε την εκπαίδευση:

cd examples/hh
accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml sft_hh.py

Εισαγωγή δεδομένων προτιμήσεων

Όπως φαίνεται στο προηγούμενο διάγραμμα, ένα κρίσιμο βήμα στο RLHF περιλαμβάνει την απόκτηση δεδομένων προτιμήσεων. Τα δεδομένα προτιμήσεων είναι μια συλλογή παραδειγμάτων που καταδεικνύουν πώς ένας άνθρωπος προτιμά μια έξοδο μηχανής έναντι μιας άλλης βάσει κριτηρίων εξυπηρετικότητας και αβλαβούς.

Ο παρακάτω πίνακας δείχνει την έννοια της προτίμησης:

Εκπαιδεύστε το μοντέλο ανταμοιβής σας

Το μοντέλο ανταμοιβής μας βασίζεται σε GPT-J-6B και είναι βελτιστοποιημένο στο σύνολο δεδομένων HH που αναφέρθηκε προηγουμένως. Δεδομένου ότι η εκπαίδευση του μοντέλου ανταμοιβής δεν είναι το επίκεντρο αυτής της ανάρτησης, θα χρησιμοποιήσουμε ένα προεκπαιδευμένο μοντέλο ανταμοιβής που καθορίζεται στο repo Trlx, το Dahoas/gptj-rm-static. Εάν θέλετε να εκπαιδεύσετε το δικό σας μοντέλο ανταμοιβής, ανατρέξτε στο βιβλιοθήκη autocrit στο GitHub.

Εκπαίδευση RLHF

Τώρα που έχουμε αποκτήσει όλα τα απαραίτητα στοιχεία για την εκπαίδευση RLHF (δηλαδή, ένα μοντέλο SFT και ένα μοντέλο ανταμοιβής), μπορούμε τώρα να ξεκινήσουμε τη βελτιστοποίηση της πολιτικής χρησιμοποιώντας το RLHF.

Για να γίνει αυτό, τροποποιούμε τη διαδρομή προς το μοντέλο SFT examples/hh/ppo_hh.py:

elif config_name == "6B": ... default_config.model.model_path = PATH_TO_THE_SFT_MODEL_IN_THE_PREVIOUS_STEP ...

Στη συνέχεια εκτελούμε τις εντολές εκπαίδευσης:

cd examples/hh CONFIG_NAME=6B accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml ppo_hh.py

Το σενάριο εκκινεί το μοντέλο SFT χρησιμοποιώντας τα τρέχοντα βάρη του και στη συνέχεια τα βελτιστοποιεί υπό την καθοδήγηση ενός μοντέλου ανταμοιβής, έτσι ώστε το εκπαιδευμένο μοντέλο RLHF που προκύπτει να ευθυγραμμιστεί με την ανθρώπινη προτίμηση. Το παρακάτω διάγραμμα δείχνει τις βαθμολογίες ανταμοιβής των εξόδων του μοντέλου καθώς προχωρά η εκπαίδευση RLHF. Η εκπαίδευση ενίσχυσης είναι εξαιρετικά ασταθής, επομένως η καμπύλη κυμαίνεται, αλλά η συνολική τάση της ανταμοιβής είναι ανοδική, πράγμα που σημαίνει ότι η απόδοση του μοντέλου ευθυγραμμίζεται όλο και περισσότερο με την ανθρώπινη προτίμηση σύμφωνα με το μοντέλο ανταμοιβής. Συνολικά, η ανταμοιβή βελτιώνεται από -3.42e-1 στην 0η επανάληψη στην υψηλότερη τιμή -9.869e-3 στην 3000η επανάληψη.

Το παρακάτω διάγραμμα δείχνει ένα παράδειγμα καμπύλης κατά την εκτέλεση του RLHF.

Ανθρώπινη αξιολόγηση

Έχοντας βελτιστοποιήσει το μοντέλο μας SFT με το RLHF, στοχεύουμε τώρα να αξιολογήσουμε τον αντίκτυπο της διαδικασίας μικρορύθμισης καθώς σχετίζεται με τον ευρύτερο στόχο μας να παράγουμε αποκρίσεις που είναι χρήσιμες και αβλαβείς. Προς υποστήριξη αυτού του στόχου, συγκρίνουμε τις αποκρίσεις που δημιουργούνται από το μοντέλο που έχει βελτιωθεί με RLHF με τις αποκρίσεις που δημιουργούνται από το μοντέλο SFT. Πειραματιζόμαστε με 100 προτροπές που προέρχονται από το σύνολο δοκιμής του συνόλου δεδομένων HH. Περνάμε μέσω προγραμματισμού κάθε εντολή μέσω του SFT και του βελτιστοποιημένου μοντέλου RLHF για να λάβουμε δύο αποκρίσεις. Τέλος, ζητάμε από τους ανθρώπινους σχολιαστές να επιλέξουν την προτιμώμενη απόκριση με βάση την αντιληπτή εξυπηρετικότητα και αβλαβή.

Η προσέγγιση της Ανθρώπινης Αξιολόγησης ορίζεται, δρομολογείται και διαχειρίζεται το Amazon SageMaker Ground Truth Plus υπηρεσία επισήμανσης. Το SageMaker Ground Truth Plus δίνει τη δυνατότητα στους πελάτες να προετοιμάσουν υψηλής ποιότητας, μεγάλης κλίμακας σύνολα δεδομένων εκπαίδευσης για να τελειοποιήσουν τα μοντέλα θεμελίωσης για την εκτέλεση εργασιών τεχνητής νοημοσύνης που μοιάζουν με τον άνθρωπο. Επιτρέπει επίσης σε ειδικευμένους ανθρώπους να αναθεωρήσουν τα αποτελέσματα των μοντέλων για να τα ευθυγραμμίσουν με τις ανθρώπινες προτιμήσεις. Επιπλέον, δίνει τη δυνατότητα στους κατασκευαστές εφαρμογών να προσαρμόζουν τα μοντέλα χρησιμοποιώντας τα δεδομένα του κλάδου ή της εταιρείας τους κατά την προετοιμασία συνόλων δεδομένων εκπαίδευσης. Όπως φαίνεται σε προηγούμενη ανάρτηση ιστολογίου ("Υψηλής ποιότητας ανθρώπινη ανατροφοδότηση για τις παραγωγικές σας εφαρμογές AI από το Amazon SageMaker Ground Truth Plus”), το SageMaker Ground Truth Plus παρέχει ροές εργασιών, διεπαφές ετικετών και εξειδικευμένο εργατικό δυναμικό για τη δημιουργία δεδομένων ανθρώπινης ανατροφοδότησης υψηλής ποιότητας για την ολοκλήρωση αυτών των εργασιών σε μια πλήρως διαχειριζόμενη υπηρεσία για λογαριασμό του πελάτη. Χρησιμοποιούμε μια διεπαφή εργασιών παρόμοια με τη διεπαφή χρήστη που φαίνεται παρακάτω για να διευκολύνουμε το βήμα αξιολόγησης από τον άνθρωπο του πειράματός μας.

Ολοκληρώνουμε το πείραμα αξιολόγησης μοντέλων προσδιορίζοντας ποιο από τα δύο μοντέλα – SFT ή RLHF – παρήγαγε απαντήσεις που προτιμώνται συχνότερα. Για 84 από τις 100 προτροπές και αποκρίσεις που αξιολογούνται, παρατηρούμε ότι οι αποκρίσεις από το μοντέλο που έχει βελτιωθεί με RLHF είναι τουλάχιστον εξίσου καλές ή περισσότερο προτιμώμενες από εκείνες που δημιουργούνται από το μοντέλο που έχει βελτιωθεί με SFT (μοντέλο που εκπαιδεύεται σε RLHF είναι προτιμότερο 30 φορές, ισοπαλία 54 φορές). Όπως φαίνεται στον παρακάτω πίνακα, μια ποιοτική σύγκριση των αποκρίσεων του μοντέλου παρέχει υποστηρικτικά στοιχεία που δείχνουν πώς το μοντέλο RLHF τείνει να είναι πιο χρήσιμο και πραγματικά σωστό από το μοντέλο SFT. Λαμβάνοντας ως συλλογικό, το πείραμά μας προτείνει ότι το RLHF, στην πραγματικότητα, βελτιώνει την ικανότητα του μοντέλου να παράγει αποτελέσματα που είναι καλύτερα ευθυγραμμισμένα με τις τιμές ενδιαφέροντος.

Αξιολόγηση τοξικότητας

Για να ποσοτικοποιήσουμε τον τρόπο με τον οποίο το RLHF μειώνει την τοξικότητα στις γενιές μοντέλων, συγκρίνουμε το δημοφιλές Σετ δοκιμής RealToxicityPrompt και μετρήστε την τοξικότητα σε συνεχή κλίμακα από το 0 (Μη Τοξικό) έως το 1 (Τοξικό). Επιλέγουμε τυχαία 1,000 περιπτώσεις δοκιμών από το σετ δοκιμών RealToxicityPrompt και συγκρίνουμε την τοξικότητα των εξόδων του μοντέλου SFT και RLHF. Μέσα από την αξιολόγησή μας, διαπιστώνουμε ότι το μοντέλο RLHF επιτυγχάνει χαμηλότερη τοξικότητα (0.129 κατά μέσο όρο) από το μοντέλο SFT (0.134 κατά μέσο όρο), γεγονός που καταδεικνύει την αποτελεσματικότητα της τεχνικής RLHF στη μείωση της επιβλαβούς παραγωγής.

εκκαθάριση

Μόλις τελειώσετε, θα πρέπει να διαγράψετε τους πόρους cloud που δημιουργήσατε για να αποφύγετε την επιβολή πρόσθετων χρεώσεων. Εάν επιλέξατε να αντικατοπτρίσετε αυτό το πείραμα σε ένα Σημειωματάριο SageMaker, χρειάζεται μόνο να σταματήσετε την παρουσία του σημειωματάριου που χρησιμοποιούσατε. Για περισσότερες πληροφορίες, ανατρέξτε στην τεκμηρίωση του AWS Sagemaker Developer Guide σχετικά με το "Εκκαθάριση".

Συμπέρασμα

Σε αυτήν την ανάρτηση, δείξαμε πώς να εκπαιδεύσετε ένα βασικό μοντέλο, GPT-J-6B, με RLHF στο Amazon SageMaker. Παρέχαμε κώδικα που εξηγεί πώς να τελειοποιήσετε το βασικό μοντέλο με εποπτευόμενη εκπαίδευση, την εκπαίδευση του μοντέλου ανταμοιβής και την εκπαίδευση RL με δεδομένα ανθρώπινης αναφοράς. Δείξαμε ότι το εκπαιδευμένο μοντέλο RLHF προτιμάται από τους σχολιαστές. Τώρα, μπορείτε να δημιουργήσετε ισχυρά μοντέλα προσαρμοσμένα για την εφαρμογή σας.

Εάν χρειάζεστε δεδομένα εκπαίδευσης υψηλής ποιότητας για τα μοντέλα σας, όπως δεδομένα επίδειξης ή δεδομένα προτιμήσεων, Το Amazon SageMaker μπορεί να σας βοηθήσει με την κατάργηση της αδιαφοροποίητης βαριάς ανύψωσης που σχετίζεται με τις εφαρμογές σήμανσης δεδομένων κτιρίων και τη διαχείριση του εργατικού δυναμικού για την επισήμανση. Όταν έχετε τα δεδομένα, χρησιμοποιήστε είτε τη διεπαφή ιστού του SageMaker Studio Notebook είτε το σημειωματάριο που παρέχεται στο αποθετήριο GitHub για να αποκτήσετε το εκπαιδευμένο μοντέλο RLHF.

Σχετικά με τους Συγγραφείς

Weifeng Chen είναι Εφαρμοσμένος Επιστήμονας στην επιστημονική ομάδα AWS Human-in-the-loop. Αναπτύσσει λύσεις επισήμανσης με τη βοήθεια μηχανών για να βοηθήσει τους πελάτες να αποκτήσουν δραστικές επιταχύνσεις στην απόκτηση βασικής αλήθειας που καλύπτουν τον τομέα Computer Vision, Natural Language Processing και Generative AI.

Έρραν Λι είναι ο διευθυντής εφαρμοσμένης επιστήμης στις υπηρεσίες humain-in-the-loop, AWS AI, Amazon. Τα ερευνητικά του ενδιαφέροντα είναι η τρισδιάστατη βαθιά μάθηση και η εκμάθηση όρασης και γλωσσικής αναπαράστασης. Προηγουμένως ήταν ανώτερος επιστήμονας στην Alexa AI, επικεφαλής μηχανικής μάθησης στο Scale AI και επικεφαλής επιστήμονας στο Pony.ai. Πριν από αυτό, ήταν με την ομάδα αντίληψης στο Uber ATG και την ομάδα της πλατφόρμας μηχανικής μάθησης στην Uber που εργαζόταν στη μηχανική μάθηση για αυτόνομη οδήγηση, συστήματα μηχανικής μάθησης και στρατηγικές πρωτοβουλίες AI. Ξεκίνησε την καριέρα του στο Bell Labs και ήταν επίκουρος καθηγητής στο Πανεπιστήμιο Columbia. Δίδαξε μαζί σεμινάρια στα ICML'3 και ICCV'17 και συνδιοργάνωσε πολλά εργαστήρια στα NeurIPS, ICML, CVPR, ICCV σχετικά με τη μηχανική μάθηση για αυτόνομη οδήγηση, την τρισδιάστατη όραση και τη ρομποτική, τα συστήματα μηχανικής μάθησης και την αντίπαλη μηχανική μάθηση. Έχει διδακτορικό στην επιστήμη των υπολογιστών στο Πανεπιστήμιο Cornell. Είναι ACM Fellow και IEEE Fellow.

Koushik Kalyanaraman είναι Μηχανικός Ανάπτυξης Λογισμικού στην επιστημονική ομάδα Human-in-the-loop στο AWS. Στον ελεύθερο χρόνο του, παίζει μπάσκετ και περνά χρόνο με την οικογένειά του.

Xiong Zhou είναι Senior Applied Scientist στο AWS. Είναι επικεφαλής της επιστημονικής ομάδας για τις γεωχωρικές δυνατότητες του Amazon SageMaker. Η τρέχουσα περιοχή έρευνάς του περιλαμβάνει την όραση υπολογιστών και την αποτελεσματική εκπαίδευση μοντέλων. Στον ελεύθερο χρόνο του, του αρέσει να τρέχει, να παίζει μπάσκετ και να περνά χρόνο με την οικογένειά του.

alex Williams είναι εφαρμοσμένος επιστήμονας στο AWS AI όπου εργάζεται σε προβλήματα που σχετίζονται με τη διαδραστική νοημοσύνη μηχανών. Πριν ενταχθεί στην Amazon, ήταν καθηγητής στο Τμήμα Ηλεκτρολόγων Μηχανικών και Επιστήμης Υπολογιστών στο Πανεπιστήμιο του Τενεσί. Επίσης, κατείχε ερευνητικές θέσεις στη Microsoft Research, στη Mozilla Research και στο Πανεπιστήμιο της Οξφόρδης. Είναι κάτοχος διδακτορικού διπλώματος στην Επιστήμη των Υπολογιστών από το Πανεπιστήμιο του Waterloo.

Αμμάr Chinoy είναι ο Γενικός Διευθυντής/Διευθυντής για τις υπηρεσίες AWS Human-In-The-Loop. Στον ελεύθερο χρόνο του, εργάζεται στη μάθηση θετικής ενίσχυσης με τα τρία σκυλιά του: Waffle, Widget και Walker.

• SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
• PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
• PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
• PlatoESG. Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
• PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
• πηγή: https://aws.amazon.com/blogs/machine-learning/improving-your-llms-with-rlhf-on-amazon-sagemaker/