अमेज़ॅन सेजमेकर पर आरएलएचएफ के साथ अपने एलएलएम में सुधार करें | अमेज़न वेब सेवाएँ

ह्यूमन फीडबैक से सुदृढीकरण सीखना (आरएलएचएफ) को बड़े भाषा मॉडल (एलएलएम) को सत्य, हानिरहित और सहायक सामग्री तैयार करने के लिए उद्योग मानक तकनीक के रूप में मान्यता प्राप्त है। यह तकनीक मानवीय प्रतिक्रिया के आधार पर एक "इनाम मॉडल" को प्रशिक्षित करके संचालित होती है और इस मॉडल का उपयोग सुदृढीकरण सीखने (आरएल) के माध्यम से एक एजेंट की नीति को अनुकूलित करने के लिए एक इनाम फ़ंक्शन के रूप में करती है। आरएलएचएफ ओपनएआई के चैटजीपीटी और एंथ्रोपिक के क्लाउड जैसे एलएलएम का उत्पादन करने के लिए आवश्यक साबित हुआ है जो मानवीय उद्देश्यों से जुड़े हैं। वे दिन गए जब आपको अपने कार्यों को हल करने के लिए जीपीटी-3 जैसे बेस मॉडल प्राप्त करने के लिए अप्राकृतिक शीघ्र इंजीनियरिंग की आवश्यकता होती थी।

आरएलएचएफ की एक महत्वपूर्ण चेतावनी यह है कि यह एक जटिल और अक्सर अस्थिर प्रक्रिया है। एक विधि के रूप में, आरएलएचएफ के लिए आवश्यक है कि आपको पहले एक इनाम मॉडल को प्रशिक्षित करना होगा जो मानवीय प्राथमिकताओं को दर्शाता है। फिर, एलएलएम को मूल मॉडल से बहुत दूर जाने के बिना इनाम मॉडल के अनुमानित इनाम को अधिकतम करने के लिए ठीक किया जाना चाहिए। इस पोस्ट में, हम प्रदर्शित करेंगे कि अमेज़ॅन सेजमेकर पर आरएलएचएफ के साथ बेस मॉडल को कैसे ठीक किया जाए। हम आपको यह भी दिखाते हैं कि परिणामी मॉडल के सुधारों को मापने के लिए मानव मूल्यांकन कैसे करें।

.. पूर्वापेक्षाएँ

आरंभ करने से पहले, सुनिश्चित करें कि आप समझते हैं कि निम्नलिखित संसाधनों का उपयोग कैसे करें:

समाधान अवलोकन

कई जेनरेटिव एआई एप्लिकेशन बेस एलएलएम के साथ शुरू किए गए हैं, जैसे जीपीटी-3, जिन्हें भारी मात्रा में टेक्स्ट डेटा पर प्रशिक्षित किया गया था और आम तौर पर जनता के लिए उपलब्ध हैं। बेस एलएलएम, डिफ़ॉल्ट रूप से, इस तरह से पाठ उत्पन्न करने के लिए प्रवृत्त होते हैं जो अप्रत्याशित होता है और कभी-कभी निर्देशों का पालन करने का तरीका न जानने के परिणामस्वरूप हानिकारक होता है। उदाहरण के लिए, संकेत दिया गया, "मेरे माता-पिता को एक ईमेल लिखें जिसमें उन्हें सालगिरह की शुभकामनाएं", एक बेस मॉडल एक प्रतिक्रिया उत्पन्न कर सकता है जो प्रॉम्प्ट के स्वत: पूर्ण होने जैसा दिखता है (उदाहरण के लिए)। "और साथ में कई वर्षों का प्यार") एक स्पष्ट निर्देश के रूप में संकेत का पालन करने के बजाय (उदाहरण के लिए एक लिखित ईमेल)। ऐसा इसलिए होता है क्योंकि मॉडल को अगले टोकन की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है। बेस मॉडल की निर्देश-पालन क्षमता में सुधार करने के लिए, मानव डेटा एनोटेटर्स को विभिन्न संकेतों के लिए प्रतिक्रियाएं लिखने का काम सौंपा गया है। एकत्रित प्रतिक्रियाएं (अक्सर प्रदर्शन डेटा के रूप में संदर्भित) का उपयोग पर्यवेक्षित फाइन-ट्यूनिंग (एसएफटी) नामक प्रक्रिया में किया जाता है। आरएलएचएफ मॉडल के व्यवहार को मानवीय प्राथमिकताओं के साथ और अधिक परिष्कृत और संरेखित करता है। इस ब्लॉग पोस्ट में, हम एनोटेटर्स से विशिष्ट मापदंडों, जैसे कि सहायकता, सच्चाई और हानिरहितता के आधार पर मॉडल आउटपुट को रैंक करने के लिए कहते हैं। परिणामी वरीयता डेटा का उपयोग एक इनाम मॉडल को प्रशिक्षित करने के लिए किया जाता है, जो बदले में पर्यवेक्षित फाइन-ट्यून मॉडल को प्रशिक्षित करने के लिए प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (पीपीओ) नामक एक सुदृढीकरण शिक्षण एल्गोरिदम द्वारा उपयोग किया जाता है। रिवॉर्ड मॉडल और सुदृढीकरण सीखने को मानव-इन-द-लूप फीडबैक के साथ पुनरावृत्त रूप से लागू किया जाता है।

निम्नलिखित चित्र इस वास्तुकला को दर्शाता है।

इस ब्लॉग पोस्ट में, हम बताते हैं कि लोकप्रिय, ओपन-सोर्स के साथ एक प्रयोग करके अमेज़ॅन सेजमेकर पर आरएलएचएफ कैसे किया जा सकता है आरएलएचएफ रेपो ट्र्लक्स. अपने प्रयोग के माध्यम से, हम प्रदर्शित करते हैं कि सार्वजनिक रूप से उपलब्ध का उपयोग करके बड़े भाषा मॉडल की सहायकता या हानिरहितता को बढ़ाने के लिए आरएलएचएफ का उपयोग कैसे किया जा सकता है सहायकता और हानिरहितता (एचएच) डेटासेट एन्थ्रोपिक द्वारा प्रदान किया गया। इस डेटासेट का उपयोग करके, हम अपना प्रयोग करते हैं अमेज़ॅन सेजमेकर स्टूडियो नोटबुक जो एक पर चल रहा है ml.p4d.24xlarge उदाहरण। अंत में, हम एक प्रदान करते हैं ज्यूपिटर नोटबुक हमारे प्रयोगों को दोहराने के लिए।

आवश्यक शर्तें डाउनलोड और इंस्टॉल करने के लिए नोटबुक में निम्नलिखित चरणों को पूरा करें:

git clone https://github.com/CarperAI/trlx.git
cd trlx
pip install torch==2.0.0 --extra-index-url https://download.pytorch.org/whl/cu116 # for cuda
pip install -e .

प्रदर्शन डेटा आयात करें

आरएलएचएफ में पहले चरण में बेस एलएलएम को बेहतर बनाने के लिए प्रदर्शन डेटा एकत्र करना शामिल है। इस ब्लॉग पोस्ट के प्रयोजन के लिए, हम ऊपर बताए अनुसार एचएच डेटासेट में प्रदर्शन डेटा का उपयोग कर रहे हैं। हम प्रदर्शन डेटा को सीधे हगिंग फेस डेटासेट पैकेज से लोड कर सकते हैं:

from datasets import load_dataset
dataset = load_dataset("Dahoas/rm-static")

बेस एलएलएम को बेहतर बनाने का पर्यवेक्षण किया

अगला कदम बेस एलएलएम की पर्यवेक्षित फाइन-ट्यूनिंग करना है। इस ब्लॉग पोस्ट में, हम उस बेस मॉडल का उल्लेख करते हैं जिसे "एसएफटी मॉडल" के रूप में पर्यवेक्षित फाइन-ट्यूनिंग से गुजरना पड़ा है। प्रदर्शन डेटा से सीखने के लिए पर्यवेक्षित फाइन-ट्यूनिंग की आवश्यकता होती है ताकि एलएलएम हमारे वार्तालाप कार्य पर अच्छा प्रदर्शन कर सके और सहायक और हानिरहित होना सीख सके। इस पोस्ट में, हम सार्वजनिक रूप से उपलब्ध का उपयोग करते हैं EleutherAI/gpt-j-6b मॉडल को हगिंग फेस पर होस्ट किया गया। हम Trlx फ्रेमवर्क का भी उपयोग करते हैं जो इस मॉडल को पर्यवेक्षित फाइन-ट्यूनिंग के लिए कोड प्रदान करता है।

प्रशिक्षण शुरू करने के लिए निम्नलिखित आदेश चलाएँ:

cd examples/hh
accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml sft_hh.py

प्राथमिकता डेटा आयात करें

जैसा कि पिछले चित्र में दिखाया गया है, आरएलएचएफ में एक महत्वपूर्ण कदम में वरीयता डेटा प्राप्त करना शामिल है। वरीयता डेटा उदाहरणों का एक संग्रह है जो दर्शाता है कि कैसे एक इंसान सहायकता और हानिरहितता मानदंडों के आधार पर एक मशीन आउटपुट को दूसरे से अधिक पसंद करता है।

निम्न तालिका वरीयता की अवधारणा को दर्शाती है:

अपने इनाम मॉडल को प्रशिक्षित करें

हमारा इनाम मॉडल पर आधारित है GPT-J-6B और पहले बताए गए एचएच डेटासेट पर ठीक-ठाक है। चूँकि इनाम मॉडल का प्रशिक्षण इस पोस्ट का फोकस नहीं है, हम Trlx रेपो में निर्दिष्ट पूर्व-प्रशिक्षित इनाम मॉडल का उपयोग करेंगे। Dahoas/gptj-rm-static. यदि आप अपने स्वयं के इनाम मॉडल को प्रशिक्षित करना चाहते हैं, तो कृपया देखें GitHub पर ऑटोक्रिट लाइब्रेरी.

आरएलएचएफ प्रशिक्षण

अब जब हमने आरएलएचएफ प्रशिक्षण के लिए सभी आवश्यक घटकों (यानी, एक एसएफटी मॉडल और एक इनाम मॉडल) हासिल कर लिया है, तो अब हम आरएलएचएफ का उपयोग करके नीति का अनुकूलन शुरू कर सकते हैं।

ऐसा करने के लिए, हम SFT मॉडल के पथ को संशोधित करते हैं examples/hh/ppo_hh.py:

elif config_name == "6B": ... default_config.model.model_path = PATH_TO_THE_SFT_MODEL_IN_THE_PREVIOUS_STEP ...

फिर हम प्रशिक्षण आदेश चलाते हैं:

cd examples/hh CONFIG_NAME=6B accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml ppo_hh.py

स्क्रिप्ट अपने वर्तमान वजन का उपयोग करके एसएफटी मॉडल शुरू करती है और फिर उन्हें इनाम मॉडल के मार्गदर्शन में अनुकूलित करती है, ताकि परिणामी आरएलएचएफ प्रशिक्षित मॉडल मानव प्राथमिकता के साथ संरेखित हो। निम्नलिखित आरेख आरएलएचएफ प्रशिक्षण की प्रगति के अनुसार मॉडल आउटपुट के इनाम स्कोर दिखाता है। सुदृढीकरण प्रशिक्षण अत्यधिक अस्थिर है, इसलिए वक्र में उतार-चढ़ाव होता है, लेकिन इनाम की समग्र प्रवृत्ति ऊपर की ओर होती है, जिसका अर्थ है कि मॉडल आउटपुट इनाम मॉडल के अनुसार मानव प्राथमिकता के साथ अधिक से अधिक संरेखित हो रहा है। कुल मिलाकर, इनाम 3.42-वें पुनरावृत्ति पर -1e-0 से बढ़कर 9.869-वें पुनरावृत्ति पर -3e-3000 के उच्चतम मूल्य तक पहुंच जाता है।

निम्नलिखित आरेख आरएलएचएफ चलाते समय एक उदाहरण वक्र दिखाता है।

मानव मूल्यांकन

आरएलएचएफ के साथ अपने एसएफटी मॉडल को फाइन-ट्यून करने के बाद, अब हमारा लक्ष्य फाइन-ट्यूनिंग प्रक्रिया के प्रभाव का मूल्यांकन करना है क्योंकि यह सहायक और हानिरहित प्रतिक्रियाएं उत्पन्न करने के हमारे व्यापक लक्ष्य से संबंधित है। इस लक्ष्य के समर्थन में, हम आरएलएचएफ के साथ परिष्कृत मॉडल द्वारा उत्पन्न प्रतिक्रियाओं की तुलना एसएफटी मॉडल द्वारा उत्पन्न प्रतिक्रियाओं से करते हैं। हम एचएच डेटासेट के परीक्षण सेट से प्राप्त 100 संकेतों के साथ प्रयोग करते हैं। हम दो प्रतिक्रियाएं प्राप्त करने के लिए प्रत्येक प्रॉम्प्ट को एसएफटी और फाइन-ट्यून किए गए आरएलएचएफ मॉडल दोनों के माध्यम से प्रोग्रामेटिक रूप से पास करते हैं। अंत में, हम मानव व्याख्याकारों से कथित सहायकता और हानिरहितता के आधार पर पसंदीदा प्रतिक्रिया का चयन करने के लिए कहते हैं।

मानव मूल्यांकन दृष्टिकोण को परिभाषित, लॉन्च और प्रबंधित किया जाता है अमेज़न सेजमेकर ग्राउंड ट्रुथ प्लस लेबलिंग सेवा. सेजमेकर ग्राउंड ट्रुथ प्लस ग्राहकों को मानव-जैसे जेनरेटिव एआई कार्यों को करने के लिए फाउंडेशन मॉडल को बेहतर बनाने के लिए उच्च-गुणवत्ता, बड़े पैमाने पर प्रशिक्षण डेटासेट तैयार करने में सक्षम बनाता है। यह कुशल मनुष्यों को मानवीय प्राथमिकताओं के साथ संरेखित करने के लिए मॉडल आउटपुट की समीक्षा करने की भी अनुमति देता है। इसके अतिरिक्त, यह एप्लिकेशन बिल्डरों को प्रशिक्षण डेटासेट तैयार करते समय अपने उद्योग या कंपनी डेटा का उपयोग करके मॉडल को अनुकूलित करने में सक्षम बनाता है। जैसा कि पिछले ब्लॉग पोस्ट में दिखाया गया है ("अमेज़ॅन सेजमेकर ग्राउंड ट्रुथ प्लस से आपके जेनरेटिव एआई अनुप्रयोगों के लिए उच्च गुणवत्ता वाली मानवीय प्रतिक्रिया”), सेजमेकर ग्राउंड ट्रुथ प्लस ग्राहक की ओर से टर्नकी, पूरी तरह से प्रबंधित सेवा में इन कार्यों को पूरा करने के लिए उच्च गुणवत्ता वाले मानव फीडबैक डेटा उत्पन्न करने के लिए वर्कफ़्लो, लेबलिंग इंटरफेस और एक कुशल कार्यबल प्रदान करता है। हम अपने प्रयोग के मानव मूल्यांकन चरण को सुविधाजनक बनाने के लिए नीचे दिखाए गए यूआई के समान एक कार्य इंटरफ़ेस का उपयोग करते हैं।

हम अपने मॉडल मूल्यांकन प्रयोग को यह निर्धारित करके समाप्त करते हैं कि दोनों मॉडलों - एसएफटी या आरएलएचएफ - में से कौन सी प्रतिक्रियाएँ उत्पन्न हुईं जिन्हें अधिक बार पसंद किया गया था। मूल्यांकन किए जा रहे 84 संकेतों और प्रतिक्रियाओं में से 100 के लिए, हम देखते हैं कि आरएलएचएफ के साथ परिष्कृत मॉडल की प्रतिक्रियाएं कम से कम उतनी ही अच्छी हैं या एसएफटी (आरएलएचएफ-प्रशिक्षित मॉडल) के साथ ठीक किए गए मॉडल द्वारा उत्पन्न प्रतिक्रियाओं की तुलना में अधिक पसंद की जाती हैं। 30 बार अधिक पसंदीदा, 54 बार बराबरी पर)। जैसा कि नीचे दी गई तालिका में दिखाया गया है, मॉडल प्रतिक्रियाओं की गुणात्मक तुलना सहायक साक्ष्य प्रदान करती है जो दर्शाती है कि कैसे आरएलएचएफ मॉडल एसएफटी मॉडल की तुलना में अधिक सहायक और तथ्यात्मक रूप से सही है। सामूहिक रूप से लिया गया, हमारा प्रयोग बताता है कि आरएलएचएफ, वास्तव में, मॉडल की आउटपुट उत्पन्न करने की क्षमता में सुधार करता है जो कि ब्याज के मूल्यों के साथ बेहतर ढंग से संरेखित होता है।

विषाक्तता मूल्यांकन

यह निर्धारित करने के लिए कि आरएलएचएफ मॉडल पीढ़ियों में विषाक्तता को कैसे कम करता है, हम लोकप्रिय पर बेंचमार्क करते हैं RealToxicityPrompt परीक्षण सेट और 0 (विषाक्त नहीं) से 1 (विषाक्त) तक निरंतर पैमाने पर विषाक्तता को मापें। हम RealToxicityPrompt परीक्षण सेट से यादृच्छिक रूप से 1,000 परीक्षण मामलों का चयन करते हैं और SFT और RLHF मॉडल आउटपुट की विषाक्तता की तुलना करते हैं। हमारे मूल्यांकन के माध्यम से, हमने पाया कि आरएलएचएफ मॉडल एसएफटी मॉडल (औसतन 0.129) की तुलना में कम विषाक्तता (औसतन 0.134) प्राप्त करता है, जो आउटपुट हानिकारकता को कम करने में आरएलएचएफ तकनीक की प्रभावशीलता को प्रदर्शित करता है।

क्लीन अप

एक बार जब आप काम पूरा कर लें, तो आपको अतिरिक्त शुल्क से बचने के लिए अपने द्वारा बनाए गए क्लाउड संसाधनों को हटा देना चाहिए। यदि आपने इस प्रयोग को सेजमेकर नोटबुक में प्रतिबिंबित करने का विकल्प चुना है, तो आपको केवल उस नोटबुक इंस्टेंस को रोकना होगा जिसका आप उपयोग कर रहे थे। अधिक जानकारी के लिए, AWS सेजमेकर डेवलपर गाइड के दस्तावेज़ देखें "क्लीन अप".

निष्कर्ष

इस पोस्ट में, हमने दिखाया कि Amazon SageMaker पर RLHF के साथ बेस मॉडल, GPT-J-6B को कैसे प्रशिक्षित किया जाए। हमने कोड प्रदान किया है जिसमें बताया गया है कि पर्यवेक्षित प्रशिक्षण के साथ आधार मॉडल को कैसे ठीक किया जाए, इनाम मॉडल को कैसे प्रशिक्षित किया जाए और मानव संदर्भ डेटा के साथ आरएल प्रशिक्षण कैसे किया जाए। हमने प्रदर्शित किया कि आरएलएचएफ प्रशिक्षित मॉडल एनोटेटर्स द्वारा पसंद किया जाता है। अब, आप अपने एप्लिकेशन के लिए अनुकूलित शक्तिशाली मॉडल बना सकते हैं।

यदि आपको अपने मॉडलों के लिए उच्च गुणवत्ता वाले प्रशिक्षण डेटा की आवश्यकता है, जैसे प्रदर्शन डेटा या वरीयता डेटा, अमेज़न सेजमेकर आपकी मदद कर सकता है डेटा लेबलिंग अनुप्रयोगों के निर्माण और लेबलिंग कार्यबल के प्रबंधन से जुड़े अविभाजित भारी भारोत्तोलन को हटाकर। जब आपके पास डेटा हो, तो अपना आरएलएचएफ प्रशिक्षित मॉडल प्राप्त करने के लिए या तो सेजमेकर स्टूडियो नोटबुक वेब इंटरफ़ेस या गिटहब रिपॉजिटरी में प्रदान की गई नोटबुक का उपयोग करें।

लेखक के बारे में

वेइफ़ेंग चेन AWS ह्यूमन-इन-द-लूप साइंस टीम में एक एप्लाइड साइंटिस्ट हैं। वह ग्राहकों को कंप्यूटर विजन, नेचुरल लैंग्वेज प्रोसेसिंग और जेनरेटिव एआई डोमेन में जमीनी सच्चाई हासिल करने में तेज गति प्राप्त करने में मदद करने के लिए मशीन-सहायता प्राप्त लेबलिंग समाधान विकसित करता है।

एरन ली ह्यूमन-इन-द-लूप सर्विसेज, AWS AI, Amazon में एप्लाइड साइंस मैनेजर हैं। उनकी अनुसंधान रुचियां 3डी गहन शिक्षण, और दृष्टि और भाषा प्रतिनिधित्व सीखना हैं। पहले वह एलेक्सा एआई में एक वरिष्ठ वैज्ञानिक, स्केल एआई में मशीन लर्निंग के प्रमुख और पोनी.एआई में मुख्य वैज्ञानिक थे। इससे पहले, वह उबर एटीजी में धारणा टीम और उबर में मशीन लर्निंग प्लेटफॉर्म टीम के साथ स्वायत्त ड्राइविंग, मशीन लर्निंग सिस्टम और एआई की रणनीतिक पहल के लिए मशीन लर्निंग पर काम कर रहे थे। उन्होंने बेल लैब्स में अपना करियर शुरू किया और कोलंबिया विश्वविद्यालय में सहायक प्रोफेसर थे। उन्होंने ICML'17 और ICCV'19 में सह-ट्यूटोरियल पढ़ाया, और स्वायत्त ड्राइविंग, 3D विज़न और रोबोटिक्स, मशीन लर्निंग सिस्टम और एडवरसैरियल मशीन लर्निंग के लिए मशीन लर्निंग पर NeurIPS, ICML, CVPR, ICCV में कई कार्यशालाओं का सह-आयोजन किया। उन्होंने कॉर्नेल विश्वविद्यालय से कंप्यूटर विज्ञान में पीएचडी की है। वह एसीएम फेलो और आईईईई फेलो हैं।

कौशिक कल्याणरमन AWS में ह्यूमन-इन-द-लूप विज्ञान टीम में एक सॉफ्टवेयर डेवलपमेंट इंजीनियर है। अपने खाली समय में वह बास्केटबॉल खेलते हैं और अपने परिवार के साथ समय बिताते हैं।

ज़िओंग झोउ AWS में वरिष्ठ एप्लाइड वैज्ञानिक हैं। वह अमेज़ॅन सेजमेकर भू-स्थानिक क्षमताओं के लिए विज्ञान टीम का नेतृत्व करते हैं। उनके अनुसंधान के वर्तमान क्षेत्र में कंप्यूटर विज़न और कुशल मॉडल प्रशिक्षण शामिल हैं। अपने खाली समय में, वह दौड़ना, बास्केटबॉल खेलना और अपने परिवार के साथ समय बिताना पसंद करते हैं।

एलेक्स विलियम्स AWS AI में एक व्यावहारिक वैज्ञानिक हैं जहां वह इंटरैक्टिव मशीन इंटेलिजेंस से संबंधित समस्याओं पर काम करते हैं। अमेज़ॅन में शामिल होने से पहले, वह टेनेसी विश्वविद्यालय में इलेक्ट्रिकल इंजीनियरिंग और कंप्यूटर विज्ञान विभाग में प्रोफेसर थे। उन्होंने माइक्रोसॉफ्ट रिसर्च, मोज़िला रिसर्च और ऑक्सफोर्ड विश्वविद्यालय में अनुसंधान पदों पर भी कार्य किया है। उन्होंने वाटरलू विश्वविद्यालय से कंप्यूटर विज्ञान में पीएचडी की उपाधि प्राप्त की है।

अम्माआर चिनॉय AWS ह्यूमन-इन-द-लूप सेवाओं के महाप्रबंधक/निदेशक हैं। अपने खाली समय में, वह अपने तीन कुत्तों: वफ़ल, विजेट और वॉकर के साथ सकारात्मक सुदृढीकरण सीखने पर काम करते हैं।

• एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
• प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
• प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
• प्लेटोईएसजी. कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
• प्लेटोहेल्थ। बायोटेक और क्लिनिकल परीक्षण इंटेलिजेंस। यहां पहुंचें।
• स्रोत: https://aws.amazon.com/blogs/machine-learning/improving-your-llms-with-rlhf-on-amazon-sagemaker/