Δημιουργικές λύσεις τεχνητής νοημοσύνης έχουν τη δυνατότητα να μεταμορφώσουν τις επιχειρήσεις ενισχύοντας την παραγωγικότητα και βελτιώνοντας τις εμπειρίες των πελατών και η χρήση μεγάλων μοντέλων γλώσσας (LLM) με αυτές τις λύσεις έχει γίνει όλο και πιο δημοφιλής. Η οικοδόμηση αποδείξεων της ιδέας είναι σχετικά απλή επειδή είναι αιχμής μοντέλα θεμελίωσης είναι διαθέσιμα από εξειδικευμένους παρόχους μέσω μιας απλής κλήσης API. Ως εκ τούτου, οργανισμοί διαφορετικών μεγεθών και διαφορετικών βιομηχανιών έχουν αρχίσει να επανασχεδιάζουν τα προϊόντα και τις διαδικασίες τους χρησιμοποιώντας γενετική τεχνητή νοημοσύνη.
Παρά τον πλούτο των γενικών γνώσεών τους, οι LLM τελευταίας τεχνολογίας έχουν πρόσβαση μόνο στις πληροφορίες στις οποίες εκπαιδεύτηκαν. Αυτό μπορεί να οδηγήσει σε πραγματικές ανακρίβειες (παραισθήσεις) όταν ζητηθεί από το LLM να δημιουργήσει κείμενο με βάση πληροφορίες που δεν είδε κατά τη διάρκεια της εκπαίδευσής του. Επομένως, είναι σημαντικό να γεφυρώσετε το χάσμα μεταξύ των γενικών γνώσεων του LLM και των ιδιόκτητων δεδομένων σας για να βοηθήσετε το μοντέλο να δημιουργήσει πιο ακριβείς και συμφραζόμενες απαντήσεις, μειώνοντας παράλληλα τον κίνδυνο παραισθήσεων. Η παραδοσιακή μέθοδος μικρορύθμισης, αν και αποτελεσματική, μπορεί να είναι εντατική στους υπολογισμούς, δαπανηρή και απαιτεί τεχνική εμπειρογνωμοσύνη. Μια άλλη επιλογή που πρέπει να εξετάσετε ονομάζεται Ανάκτηση επαυξημένης γενιάς (RAG), το οποίο παρέχει στους LLM πρόσθετες πληροφορίες από μια εξωτερική πηγή γνώσης που μπορούν να ενημερωθούν εύκολα.
Επιπλέον, οι επιχειρήσεις πρέπει να διασφαλίζουν την ασφάλεια των δεδομένων όταν χειρίζονται ιδιόκτητα και ευαίσθητα δεδομένα, όπως προσωπικά δεδομένα ή πνευματική ιδιοκτησία. Αυτό είναι ιδιαίτερα σημαντικό για οργανισμούς που δραστηριοποιούνται σε αυστηρά ρυθμιζόμενες βιομηχανίες, όπως οι χρηματοοικονομικές υπηρεσίες και η υγειονομική περίθαλψη και οι βιοεπιστήμες. Επομένως, είναι σημαντικό να κατανοείτε και να ελέγχετε τη ροή των δεδομένων σας μέσω της γενετικής εφαρμογής AI: Πού βρίσκεται το μοντέλο; Πού γίνεται η επεξεργασία των δεδομένων; Ποιος έχει πρόσβαση στα δεδομένα; Θα χρησιμοποιηθούν τα δεδομένα για την εκπαίδευση μοντέλων, διακινδυνεύοντας τελικά τη διαρροή ευαίσθητων δεδομένων σε δημόσια LLM;
Αυτή η ανάρτηση συζητά πώς οι επιχειρήσεις μπορούν να δημιουργήσουν ακριβείς, διαφανείς και ασφαλείς εφαρμογές παραγωγής τεχνητής νοημοσύνης, διατηρώντας παράλληλα τον πλήρη έλεγχο των ιδιόκτητων δεδομένων. Η προτεινόμενη λύση είναι ένας αγωγός RAG που χρησιμοποιεί μια στοίβα τεχνολογίας εγγενούς τεχνητής νοημοσύνης, τα στοιχεία της οποίας έχουν σχεδιαστεί από την αρχή με την τεχνητή νοημοσύνη στον πυρήνα τους, αντί να προστίθενται δυνατότητες τεχνητής νοημοσύνης ως εκ των υστέρων. Δείχνουμε πώς να δημιουργήσετε μια εφαρμογή RAG από άκρο σε άκρο χρησιμοποιώντας Τα γλωσσικά μοντέλα του Cohere μέσω Θεμέλιο του Αμαζονίου και σε έναν Συνδυάστε τη διανυσματική βάση δεδομένων στο AWS Marketplace. Ο συνοδευτικός πηγαίος κώδικας είναι διαθέσιμος στο σχετικό αποθετήριο GitHub φιλοξενείται από την Weaviate. Αν και η AWS δεν θα είναι υπεύθυνη για τη διατήρηση ή την ενημέρωση του κώδικα στο αποθετήριο του συνεργάτη, ενθαρρύνουμε τους πελάτες να συνδεθούν απευθείας με το Weaviate σχετικά με τυχόν επιθυμητές ενημερώσεις.
Επισκόπηση λύσεων
Το παρακάτω διάγραμμα αρχιτεκτονικής υψηλού επιπέδου απεικονίζει τον προτεινόμενο αγωγό RAG με μια στοίβα τεχνολογίας τεχνητής νοημοσύνης για την κατασκευή ακριβών, διαφανών και ασφαλών λύσεων τεχνητής νοημοσύνης.
Ως βήμα προετοιμασίας για τη ροή εργασίας RAG, μια διανυσματική βάση δεδομένων, η οποία χρησιμεύει ως η εξωτερική πηγή γνώσης, απορροφάται με το πρόσθετο πλαίσιο από τα ιδιόκτητα δεδομένα. Η πραγματική ροή εργασίας RAG ακολουθεί τα τέσσερα βήματα που απεικονίζονται στο διάγραμμα:
- Ο χρήστης εισάγει το ερώτημά του.
- Το ερώτημα χρήστη χρησιμοποιείται για την ανάκτηση σχετικού πρόσθετου περιβάλλοντος από τη διανυσματική βάση δεδομένων. Αυτό γίνεται με τη δημιουργία των διανυσματικών ενσωματώσεων του ερωτήματος χρήστη με ένα μοντέλο ενσωμάτωσης για την εκτέλεση διανυσματικής αναζήτησης για την ανάκτηση του πιο σχετικού περιβάλλοντος από τη βάση δεδομένων.
- Το ανακτηθέν πλαίσιο και το ερώτημα χρήστη χρησιμοποιούνται για την ενίσχυση ενός προτύπου προτροπής. Η προτροπή επαυξημένης ανάκτησης βοηθά το LLM να δημιουργήσει μια πιο σχετική και ακριβή ολοκλήρωση, ελαχιστοποιώντας τις παραισθήσεις.
- Ο χρήστης λαμβάνει μια πιο ακριβή απάντηση με βάση το ερώτημά του.
Η εγγενής στοίβα τεχνολογίας AI που απεικονίζεται στο διάγραμμα αρχιτεκτονικής έχει δύο βασικά στοιχεία: μοντέλα γλώσσας Cohere και μια διανυσματική βάση δεδομένων Weaviate.
Μοντέλα γλώσσας Cohere στο Amazon Bedrock
Η Πλατφόρμα Cohere φέρνει μοντέλα γλώσσας με κορυφαίες επιδόσεις σε επιχειρήσεις και προγραμματιστές μέσω μιας απλής κλήσης API. Υπάρχουν δύο βασικοί τύποι δυνατοτήτων επεξεργασίας γλώσσας που παρέχει η Πλατφόρμα Cohere—δημιουργικές και ενσωματωμένες—και ο καθένας εξυπηρετείται από διαφορετικό τύπο μοντέλου:
- Δημιουργία κειμένου με εντολή – Οι προγραμματιστές μπορούν να έχουν πρόσβαση σε τελικά σημεία με δυνατότητες τεχνητής νοημοσύνης που παράγουν ενέργεια, επιτρέποντας εφαρμογές όπως η συνομιλία, η απάντηση σε ερωτήσεις, η σύνταξη αντιγραφής, η σύνοψη, η εξαγωγή πληροφοριών και πολλά άλλα.
- Αναπαράσταση κειμένου με Ενσωμάτωση – Οι προγραμματιστές μπορούν να έχουν πρόσβαση σε τελικά σημεία που καταγράφουν το σημασιολογικό νόημα του κειμένου, επιτρέποντας εφαρμογές όπως διανυσματικές μηχανές αναζήτησης, ταξινόμηση και ομαδοποίηση κειμένου και πολλά άλλα. Το Cohere Embed διατίθεται σε δύο μορφές, ένα μοντέλο αγγλικής γλώσσας και ένα πολύγλωσσο μοντέλο, τα οποία είναι και τα δύο τώρα διαθέσιμο στο Amazon Bedrock.
Η πλατφόρμα Cohere εξουσιοδοτεί τις επιχειρήσεις να προσαρμόσουν τη γενετική λύση τεχνητής νοημοσύνης τους ιδιωτικά και με ασφάλεια μέσω της ανάπτυξης του Amazon Bedrock. Το Amazon Bedrock είναι μια πλήρως διαχειριζόμενη υπηρεσία cloud που επιτρέπει στις ομάδες ανάπτυξης να δημιουργούν και να κλιμακώνουν γρήγορα εφαρμογές τεχνητής νοημοσύνης. ενώ βοηθά να διατηρείτε τα δεδομένα και τις εφαρμογές σας ασφαλή και ιδιωτικά. Τα δεδομένα σας δεν χρησιμοποιούνται για βελτιώσεις υπηρεσιών, δεν κοινοποιούνται ποτέ σε τρίτους παρόχους μοντέλων και παραμένουν στο Περιοχή όπου γίνεται η επεξεργασία της κλήσης API. Τα δεδομένα είναι πάντα κρυπτογραφημένα κατά τη μεταφορά και την ηρεμία και μπορείτε να κρυπτογραφήσετε τα δεδομένα χρησιμοποιώντας τα δικά σας κλειδιά. Το Amazon Bedrock υποστηρίζει απαιτήσεις ασφαλείας, συμπεριλαμβανομένης της καταλληλότητας του νόμου περί φορητότητας και λογοδοσίας ασφάλισης υγείας των ΗΠΑ (HIPAA) και της συμμόρφωσης με τον Γενικό Κανονισμό Προστασίας Δεδομένων (GDPR). Επιπλέον, μπορείτε να ενσωματώσετε με ασφάλεια και να αναπτύξετε εύκολα τις παραγωγικές σας εφαρμογές AI χρησιμοποιώντας τα εργαλεία AWS με τα οποία είστε ήδη εξοικειωμένοι.
Συνδυάστε τη διανυσματική βάση δεδομένων στο AWS Marketplace
Χαλαρώστε είναι ένα AI-native διανυσματική βάση δεδομένων Αυτό καθιστά εύκολο για τις ομάδες ανάπτυξης να δημιουργούν ασφαλείς και διαφανείς εφαρμογές παραγωγής τεχνητής νοημοσύνης. Το Weaviate χρησιμοποιείται για την αποθήκευση και αναζήτηση τόσο διανυσματικών δεδομένων όσο και αντικειμένων πηγής, γεγονός που απλοποιεί την ανάπτυξη εξαλείφοντας την ανάγκη φιλοξενίας και ενσωμάτωσης ξεχωριστών βάσεων δεδομένων. Το Weaviate προσφέρει απόδοση σημασιολογικής αναζήτησης δευτερολέπτων και μπορεί να επεκταθεί ώστε να χειριστεί δισεκατομμύρια διανύσματα και εκατομμύρια ενοικιαστές. Με μια μοναδικά επεκτάσιμη αρχιτεκτονική, το Weaviate ενσωματώνεται εγγενώς με μοντέλα θεμελίωσης Cohere που αναπτύσσονται στο Amazon Bedrock για να διευκολύνει την εύκολη διανυσματική διανυσματική διαμόρφωση των δεδομένων και να χρησιμοποιήσει τις δυνατότητες δημιουργίας του μέσα από τη βάση δεδομένων.
Η εγγενής διανυσματική βάση δεδομένων Weaviate AI δίνει στους πελάτες την ευελιξία να την αναπτύξουν ως λύση φέρτε το δικό σας σύννεφο (BYOC) ή ως διαχειριζόμενη υπηρεσία. Αυτή η βιτρίνα χρησιμοποιεί το Συνδυάστε το Kubernetes Cluster στο AWS Marketplace, μέρος της προσφοράς BYOC της Weaviate, η οποία επιτρέπει την κλιμακούμενη ανάπτυξη βάσει κοντέινερ εντός του μισθωτή AWS και του VPC με λίγα μόνο κλικ χρησιμοποιώντας ένα AWS CloudFormation πρότυπο. Αυτή η προσέγγιση διασφαλίζει ότι η διανυσματική βάση δεδομένων σας αναπτύσσεται στη συγκεκριμένη Περιοχή σας κοντά στα θεμελιώδη μοντέλα και ιδιόκτητα δεδομένα για την ελαχιστοποίηση του λανθάνοντος χρόνου, την υποστήριξη της εντοπιότητας δεδομένων και την προστασία ευαίσθητων δεδομένων, ενώ αντιμετωπίζονται πιθανές ρυθμιστικές απαιτήσεις, όπως ο GDPR.
Χρησιμοποιήστε επισκόπηση περίπτωσης
Στις επόμενες ενότητες, δείχνουμε πώς να δημιουργήσετε μια λύση RAG χρησιμοποιώντας την εγγενή στοίβα τεχνολογίας AI με τα Cohere, AWS και Weaviate, όπως φαίνεται στην επισκόπηση της λύσης.
Η περίπτωση χρήσης παραδείγματος δημιουργεί στοχευμένες διαφημίσεις για καταχωρίσεις παραμονής διακοπών με βάση το κοινό-στόχο. Ο στόχος είναι να χρησιμοποιήσετε το ερώτημα χρήστη για το κοινό-στόχο (για παράδειγμα, "οικογένεια με μικρά παιδιά") για να ανακτήσετε την πιο σχετική καταχώριση διακοπών (για παράδειγμα, μια λίστα με παιδικές χαρές κοντά) και στη συνέχεια να δημιουργήσετε μια διαφήμιση για το ανακτήθηκε καταχώριση προσαρμοσμένη στο κοινό-στόχο.
Το σύνολο δεδομένων είναι διαθέσιμο από Μέσα στο Airbnb και έχει άδεια βάσει α Creative Commons Attribution 4.0 Διεθνής άδεια. Μπορείτε να βρείτε τον συνοδευτικό κωδικό στο Αποθετήριο GitHub.
Προϋποθέσεις
Για να ακολουθήσετε και να χρησιμοποιήσετε οποιεσδήποτε υπηρεσίες AWS στο παρακάτω σεμινάριο, βεβαιωθείτε ότι έχετε ένα Λογαριασμός AWS.
Ενεργοποιήστε τα στοιχεία της στοίβας τεχνολογίας τεχνητής νοημοσύνης
Αρχικά, πρέπει να ενεργοποιήσετε τα σχετικά στοιχεία που αναφέρονται στην επισκόπηση λύσεων στον λογαριασμό σας AWS. Ολοκληρώστε τα παρακάτω βήματα:
- Στα αριστερά Κονσόλα Amazon Bedrock, επιλέξτε Πρόσβαση μοντέλου στο παράθυρο πλοήγησης.
- Επιλέξτε Διαχείριση πρόσβασης μοντέλου στην πάνω δεξιά γωνία.
- Επιλέξτε τα μοντέλα θεμελίωσης της επιλογής σας και ζητήστε πρόσβαση.
Στη συνέχεια, ρυθμίζετε ένα σύμπλεγμα Weaviate.
- Εγγραφείτε στο Συνδυάστε το Kubernetes Cluster στο AWS Marketplace.
- Εκκινήστε το λογισμικό χρησιμοποιώντας α Πρότυπο CloudFormation σύμφωνα με τη ζώνη διαθεσιμότητας που προτιμάτε.
Το πρότυπο CloudFormation είναι προσυμπληρωμένο με προεπιλεγμένες τιμές.
- Για Όνομα στοίβας, πληκτρολογήστε ένα όνομα στοίβας.
- Για τύπος ελέγχου ταυτότητας, συνιστάται να ενεργοποιήσετε τον έλεγχο ταυτότητας με ρύθμιση
helmauthenticationtype
προς τηνapikey
και ορίζοντας α helmauthenticationapikey. - Για helmauthenticationapikey, εισαγάγετε το κλειδί Weaviate API.
- Για helmchartversion, εισαγάγετε τον αριθμό έκδοσης σας. Πρέπει να είναι τουλάχιστον v.16.8.0. Αναφέρομαι στο GitHub repo για την τελευταία έκδοση.
- Για Helmenabledmodules, βεβαιωθείτε
tex2vec-aws
καιgenerative-aws
υπάρχουν στη λίστα των ενεργοποιημένων λειτουργικών μονάδων στο Weaviate.
Αυτό το πρότυπο διαρκεί περίπου 30 λεπτά για να ολοκληρωθεί.
Συνδεθείτε στο Weaviate
Ολοκληρώστε τα παρακάτω βήματα για να συνδεθείτε στο Weaviate:
- Στο Κονσόλα Amazon SageMaker, μεταβείτε στην επιλογή Υποδείγματα σημειωματάριου στο παράθυρο πλοήγησης μέσω σημειωματάριο > Υποδείγματα σημειωματάριου στα αριστερά.
- Δημιουργήστε ένα νέο παράδειγμα σημειωματάριου.
- Εγκαταστήστε το πακέτο πελάτη Weaviate με τις απαιτούμενες εξαρτήσεις:
- Συνδεθείτε στην παρουσία Weaviate με τον ακόλουθο κώδικα:
- Συνδυάστε τη διεύθυνση URL – Αποκτήστε πρόσβαση στο Weaviate μέσω της διεύθυνσης URL του load balancer. Στο Amazon Elastic Compute Cloud (Amazon EC2), επιλέξτε Ισορροπία φορτίων στο παράθυρο πλοήγησης και βρείτε τον εξισορροπητή φορτίου. Αναζητήστε τη στήλη ονόματος DNS και προσθέστε
http://
μπροστά του. - Weaviate κλειδί API – Αυτό είναι το κλειδί που ορίσατε νωρίτερα στο πρότυπο CloudFormation (
helmauthenticationapikey
). - Κλειδί πρόσβασης AWS και μυστικό κλειδί πρόσβασης – Μπορείτε να ανακτήσετε το κλειδί πρόσβασης και το μυστικό κλειδί πρόσβασης για τον χρήστη σας στο Διαχείριση ταυτότητας και πρόσβασης AWS (IAM) κονσόλα.
Διαμορφώστε τη λειτουργική μονάδα Amazon Bedrock για να ενεργοποιήσετε τα μοντέλα Cohere
Στη συνέχεια, ορίζετε μια συλλογή δεδομένων (class
) που ονομάζεται Listings
για την αποθήκευση των αντικειμένων δεδομένων των καταχωρίσεων, κάτι που είναι ανάλογο με τη δημιουργία πίνακα σε μια σχεσιακή βάση δεδομένων. Σε αυτό το βήμα, διαμορφώνετε τις σχετικές ενότητες για να ενεργοποιήσετε τη χρήση μοντέλων γλώσσας Cohere που φιλοξενούνται στο Amazon Bedrock εγγενώς από τη διανυσματική βάση δεδομένων Weaviate. Ο φορέας ("text2vec-aws
") και την παραγωγική μονάδα ("generative-aws
«) καθορίζονται στον ορισμό συλλογής δεδομένων. Και οι δύο αυτές ενότητες λαμβάνουν τρεις παραμέτρους:
- "υπηρεσία" - Χρήση "
bedrock
" για το Amazon Bedrock (εναλλακτικά, χρησιμοποιήστε "sagemaker
" Για Amazon SageMaker JumpStart) - "Περιοχή" – Εισαγάγετε την περιοχή όπου έχει αναπτυχθεί το μοντέλο σας
- "μοντέλο" – Δώστε το όνομα του μοντέλου θεμελίωσης
Δείτε τον ακόλουθο κώδικα:
Απορρόφηση δεδομένων στη διανυσματική βάση δεδομένων Weaviate
Σε αυτό το βήμα, ορίζετε τη δομή της συλλογής δεδομένων διαμορφώνοντας τις ιδιότητές της. Εκτός από το όνομα και τον τύπο δεδομένων της ιδιότητας, μπορείτε επίσης να ρυθμίσετε εάν θα αποθηκευτεί μόνο το αντικείμενο δεδομένων ή εάν θα αποθηκευτεί μαζί με τις διανυσματικές ενσωματώσεις του. Σε αυτό το παράδειγμα, host_name
και property_type
δεν είναι διανυσματικά:
Εκτελέστε τον ακόλουθο κώδικα για να δημιουργήσετε τη συλλογή στην παρουσία Weaviate:
Τώρα μπορείτε να προσθέσετε αντικείμενα στο Weaviate. Χρησιμοποιείτε μια διαδικασία εισαγωγής παρτίδας για μέγιστη απόδοση. Εκτελέστε τον ακόλουθο κώδικα για να εισαγάγετε δεδομένα. Κατά την εισαγωγή, το Weaviate θα χρησιμοποιήσει τον καθορισμένο φορέα διανυσμάτων για να δημιουργήσει μια ενσωμάτωση διανυσμάτων για κάθε αντικείμενο. Ο ακόλουθος κώδικας φορτώνει αντικείμενα, προετοιμάζει μια διαδικασία δέσμης και προσθέτει αντικείμενα στη συλλογή προορισμού ένα προς ένα:
Ανάκτηση επαυξημένης γενιάς
Μπορείτε να δημιουργήσετε μια διοχέτευση RAG εφαρμόζοντας ένα ερώτημα γενετικής αναζήτησης στην παρουσία σας στο Weaviate. Για αυτό, ορίζετε πρώτα ένα πρότυπο προτροπής με τη μορφή μιας συμβολοσειράς f που μπορεί να λάβει το ερώτημα χρήστη ({target_audience}
) άμεσα και το πρόσθετο πλαίσιο ({{host_name}}
, {{property_type}}
, {{description}}
, να {{neighborhood_overview}}
) από τη διανυσματική βάση δεδομένων κατά το χρόνο εκτέλεσης:
Στη συνέχεια, εκτελείτε ένα γενετικό ερώτημα αναζήτησης. Αυτό προτρέπει το καθορισμένο μοντέλο παραγωγής με μια προτροπή που αποτελείται από το ερώτημα χρήστη καθώς και από τα δεδομένα που ανακτήθηκαν. Το ακόλουθο ερώτημα ανακτά ένα αντικείμενο καταχώρισης (.with_limit(1)
) Από το Listings
συλλογή που μοιάζει περισσότερο με το ερώτημα χρήστη (.with_near_text({"concepts": target_audience})
). Στη συνέχεια, το ερώτημα χρήστη (target_audience
) και τις ανακτημένες ιδιότητες καταχωρίσεων (["description", "neighborhood", "host_name", "property_type"]
) τροφοδοτούνται στο πρότυπο προτροπής. Δείτε τον παρακάτω κώδικα:
Στο παρακάτω παράδειγμα, μπορείτε να δείτε ότι το προηγούμενο κομμάτι κώδικα για target_audience = “Family with small children”
ανακτά μια λίστα από τον κεντρικό υπολογιστή Marre. Το πρότυπο προτροπής συμπληρώνεται με τις λεπτομέρειες καταχώρισης της Marre και το κοινό-στόχο:
Με βάση την προτροπή επαυξημένης ανάκτησης, το μοντέλο εντολών του Cohere δημιουργεί την ακόλουθη στοχευμένη διαφήμιση:
Εναλλακτικές προσαρμογές
Μπορείτε να κάνετε εναλλακτικές προσαρμογές σε διαφορετικά στοιχεία στην προτεινόμενη λύση, όπως οι ακόλουθες:
- Τα μοντέλα γλώσσας του Cohere είναι επίσης διαθέσιμα μέσω Amazon SageMaker JumpStart, το οποίο παρέχει πρόσβαση σε μοντέλα θεμελίωσης αιχμής και επιτρέπει στους προγραμματιστές να αναπτύξουν LLM σε Amazon Sage Maker, μια πλήρως διαχειριζόμενη υπηρεσία που συγκεντρώνει ένα ευρύ σύνολο εργαλείων για να επιτρέψει τη μηχανική εκμάθηση υψηλής απόδοσης και χαμηλού κόστους για κάθε περίπτωση χρήσης. Το Weaviate είναι επίσης ενσωματωμένο με το SageMaker.
- Μια ισχυρή προσθήκη σε αυτή τη λύση είναι η Τελικό σημείο Cohere Rerank, διαθέσιμο μέσω του SageMaker JumpStart. Η ανακατάταξη μπορεί να βελτιώσει τη συνάφεια των αποτελεσμάτων αναζήτησης από λεξιλογική ή σημασιολογική αναζήτηση. Το Rerank λειτουργεί με τον υπολογισμό των βαθμολογιών σημασιολογικής συνάφειας για έγγραφα που ανακτώνται από ένα σύστημα αναζήτησης και ταξινομώντας τα έγγραφα με βάση αυτές τις βαθμολογίες. Η προσθήκη Rerank σε μια εφαρμογή απαιτεί μόνο μία μόνο γραμμή αλλαγής κώδικα.
- Για να καλύψει τις διαφορετικές απαιτήσεις ανάπτυξης διαφορετικών περιβαλλόντων παραγωγής, το Weaviate μπορεί να αναπτυχθεί με διάφορους πρόσθετους τρόπους. Για παράδειγμα, είναι διαθέσιμο ως άμεση λήψη από Συνδυάστε την ιστοσελίδα, το οποίο λειτουργεί Υπηρεσία Amazon Elastic Kubernetes (Amazon EKS) ή τοπικά μέσω Λιμενεργάτης or Kubernetes. Διατίθεται και ως α διαχειριζόμενη υπηρεσία που μπορεί να εκτελεστεί με ασφάλεια σε ένα VPC ή ως δημόσια υπηρεσία cloud που φιλοξενείται στο AWS με δωρεάν δοκιμή 14 ημερών.
- Μπορείτε να σερβίρετε τη λύση σας σε VPC χρησιμοποιώντας Εικονικό ιδιωτικό σύννεφο Amazon (Amazon VPC), το οποίο επιτρέπει στους οργανισμούς να ξεκινούν υπηρεσίες AWS σε ένα λογικά απομονωμένο εικονικό δίκτυο, που μοιάζει με ένα παραδοσιακό δίκτυο αλλά με τα πλεονεκτήματα της κλιμακούμενης υποδομής του AWS. Ανάλογα με το ταξινομημένο επίπεδο ευαισθησίας των δεδομένων, οι οργανισμοί μπορούν επίσης να απενεργοποιήσουν την πρόσβαση στο Διαδίκτυο σε αυτά τα VPC.
εκκαθάριση
Για να αποτρέψετε μη αναμενόμενες χρεώσεις, διαγράψτε όλους τους πόρους που χρησιμοποιήσατε ως μέρος αυτής της ανάρτησης. Εάν ξεκινήσατε τη στοίβα CloudFormation, μπορείτε να τη διαγράψετε μέσω της κονσόλας AWS CloudFormation. Σημειώστε ότι ενδέχεται να υπάρχουν ορισμένοι πόροι AWS, όπως π.χ Κατάστημα Amazon Elastic Block (Amazon EBS) τόμοι και Υπηρεσία διαχείρισης κλειδιών AWS (AWS KMS), τα οποία ενδέχεται να μην διαγραφούν αυτόματα όταν διαγραφεί η στοίβα CloudFormation.
Συμπέρασμα
Αυτή η ανάρτηση συζητούσε πώς οι επιχειρήσεις μπορούν να δημιουργήσουν ακριβείς, διαφανείς και ασφαλείς εφαρμογές παραγωγής τεχνητής νοημοσύνης, ενώ εξακολουθούν να έχουν τον πλήρη έλεγχο των δεδομένων τους. Η προτεινόμενη λύση είναι ένας αγωγός RAG που χρησιμοποιεί μια εγγενή στοίβα τεχνολογίας AI ως συνδυασμό μοντέλων θεμελίωσης Cohere στο Amazon Bedrock και μιας διανυσματικής βάσης δεδομένων Weaviate στο AWS Marketplace. Η προσέγγιση RAG δίνει τη δυνατότητα στις επιχειρήσεις να γεφυρώσουν το χάσμα μεταξύ των γενικών γνώσεων του LLM και των ιδιόκτητων δεδομένων, ελαχιστοποιώντας παράλληλα τις παραισθήσεις. Μια στοίβα τεχνολογίας τεχνητής νοημοσύνης επιτρέπει γρήγορη ανάπτυξη και κλιμακούμενη απόδοση.
Μπορείτε να αρχίσετε να πειραματίζεστε με αποδείξεις ιδέας RAG για τις εφαρμογές τεχνητής νοημοσύνης που είναι έτοιμες για επιχειρήσεις, χρησιμοποιώντας τα βήματα που περιγράφονται σε αυτήν την ανάρτηση. Ο συνοδευτικός πηγαίος κώδικας είναι διαθέσιμος στο σχετικό αποθετήριο GitHub. Ευχαριστούμε που το διαβάσατε. Μη διστάσετε να δώσετε σχόλια ή σχόλια στην ενότητα σχολίων.
Σχετικά με τους συγγραφείς
Τζέιμς Γι είναι Ανώτερος Αρχιτέκτονας Λύσεων Συνεργατών AI/ML στην ομάδα Technology Partners COE Tech στο Amazon Web Services. Είναι παθιασμένος με τη συνεργασία με εταιρικούς πελάτες και συνεργάτες για το σχεδιασμό, την ανάπτυξη και την κλίμακα εφαρμογών AI/ML για την απόκτηση επιχειρηματικής αξίας. Εκτός δουλειάς, του αρέσει να παίζει ποδόσφαιρο, να ταξιδεύει και να περνά χρόνο με την οικογένειά του.
Leonie Monigatti είναι Υπεύθυνος Προγραμματιστή στο Weaviate. Η περιοχή εστίασής της είναι το AI/ML και βοηθά τους προγραμματιστές να μάθουν για το γενετικό AI. Εκτός δουλειάς, μοιράζεται επίσης τις γνώσεις της στην επιστήμη δεδομένων και την ML στο blog της και στο Kaggle.
Meor Amer είναι Developer Advocate στην Cohere, πάροχος τεχνολογίας επεξεργασίας φυσικής γλώσσας αιχμής (NLP). Βοηθά τους προγραμματιστές να δημιουργήσουν εφαρμογές αιχμής με τα Large Language Models (LLM) της Cohere.
Αποφύγετε τον Μάο είναι Senior AI/ML Partner Solutions Architect στην ομάδα Emerging Technologies στο Amazon Web Services. Είναι παθιασμένος με τη συνεργασία με εταιρικούς πελάτες και συνεργάτες για να σχεδιάσει, να αναπτύξει και να κλιμακώσει εφαρμογές AI/ML για να αντλήσει τις επιχειρηματικές τους αξίες. Εκτός δουλειάς, του αρέσει να ψαρεύει, να ταξιδεύει και να παίζει πινγκ-πονγκ.
- SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
- PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
- PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
- PlatoESG. Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
- PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
- πηγή: https://aws.amazon.com/blogs/machine-learning/build-enterprise-ready-generative-ai-solutions-with-cohere-foundation-models-in-amazon-bedrock-and-weaviate-vector-database-on-aws-marketplace/
- :έχει
- :είναι
- :δεν
- :που
- $UP
- 1
- 10
- 100
- 11
- 12
- 13
- 16
- 17
- 19
- 23
- 30
- 32
- 33
- 7
- 8
- 9
- a
- Σχετικα
- πρόσβαση
- Διαχείριση Πρόσβασης
- Σύμφωνα με
- Λογαριασμός
- ευθύνη
- ακριβής
- απέναντι
- Πράξη
- πραγματικός
- προσθέτω
- προστιθέμενη
- προσθήκη
- Επιπλέον
- Πρόσθετος
- Επιπλέον πληροφορίες
- Επιπλέον
- διευθυνσιοδότηση
- Προσθέτει
- ενήλικες
- Διαφήμιση
- συνήγορος
- AI
- AI / ML
- Airbnb
- Όλα
- επιτρέπει
- κατά μήκος
- ήδη
- Επίσης
- εναλλακτική λύση
- Αν και
- πάντοτε
- Amazon
- Amazon EC2
- Amazon Sage Maker
- Amazon υπηρεσίες Web
- Άμστερνταμ
- an
- και
- Άλλος
- απάντηση
- κάθε
- api
- Εφαρμογή
- εφαρμογές
- πλησιάζω
- αρχιτεκτονική
- ΕΙΝΑΙ
- ΠΕΡΙΟΧΗ
- περιοχές
- AS
- κατά μέρος
- At
- αξιοθέατα
- ακροατήριο
- αυξάνω
- επαυξημένης
- Πιστοποίηση
- αυτομάτως
- διαθεσιμότητα
- διαθέσιμος
- μακριά
- AWS
- AWS CloudFormation
- Διαχείριση ταυτότητας και πρόσβασης AWS (IAM)
- AWS Marketplace
- Balancer
- μπαρ
- βασίζονται
- BE
- επειδή
- γίνονται
- άρχισε
- οφέλη
- ΚΑΛΎΤΕΡΟΣ
- μεταξύ
- δισεκατομμύρια
- Αποκλεισμός
- Μπλοκ
- ενίσχυση
- και οι δύο
- ΓΕΦΥΡΑ
- Φέρνει
- ευρύς
- χτίζω
- Κτίριο
- επιχείρηση
- επιχειρήσεις
- αλλά
- by
- καφετέριες
- κλήση
- που ονομάζεται
- CAN
- δυνατότητες
- πιάνω
- περίπτωση
- προμηθεύω
- κεντρικός
- κέντρο
- αλλαγή
- φορτία
- Παιδιά
- επιλογή
- Επιλέξτε
- Πόλη
- τάξη
- ταξινόμηση
- ταξινομούνται
- πελάτης
- Κλεισιμο
- Backup
- συστάδα
- ομαδοποίηση
- κωδικός
- συλλογή
- Στήλη
- συνδυασμός
- Ελάτε
- έρχεται
- σχόλια
- Κοινά
- πλήρης
- ολοκλήρωση
- Συμμόρφωση
- εξαρτήματα
- Αποτελείται
- Υπολογίστε
- χρήση υπολογιστή
- έννοια
- έννοιες
- Διαμόρφωση
- Connect
- Εξετάστε
- πρόξενος
- συμφραζόμενα
- συμφραζόμενα
- έλεγχος
- Βολικός
- βολικά
- ομιλητικός
- copywriting
- πυρήνας
- δημιουργία
- δημιουργία
- κρίσιμος
- πελάτης
- Πελάτες
- προσαρμόσετε
- αιχμής
- ημερομηνία
- την προστασία των δεδομένων
- επιστημονικά δεδομένα
- την ασφάλεια των δεδομένων
- βάση δεδομένων
- βάσεις δεδομένων
- Προεπιλογή
- ορίζεται
- ορίζεται
- καθορίζοντας
- ορισμός
- παραδίδει
- αποδεικνύουν
- εξαρτήσεις
- Σε συνάρτηση
- παρατάσσω
- αναπτυχθεί
- ανάπτυξη
- τάση
- περιγραφή
- Υπηρεσίες
- σχεδιασμένα
- επιθυμητή
- καθέκαστα
- Εργολάβος
- προγραμματιστές
- Ανάπτυξη
- ομάδες ανάπτυξης
- διαφορετικές
- τραπεζαρία
- κατευθύνει
- κατευθείαν
- συζήτηση
- dns
- έγγραφα
- γίνεται
- κατεβάσετε
- κατά την διάρκεια
- κάθε
- Νωρίτερα
- εύκολα
- εβς
- Αποτελεσματικός
- αποδοτικότητα
- αυξημένα
- Αιρετότητα
- εξάλειψη
- embed
- ενσωμάτωση
- σμυριδόπετρα
- αναδυόμενες τεχνολογίες
- εξουσιοδοτεί
- ενεργοποιήσετε
- ενεργοποιημένη
- δίνει τη δυνατότητα
- ενεργοποίηση
- ενθαρρύνει
- κρυπτογραφημένα
- από άκρη σε άκρη
- τελικά σημεία
- Κινητήρες
- Αγγλικά
- εξασφαλίζω
- εξασφαλίζει
- εισάγετε
- Εταιρεία
- επιχειρηματικούς πελάτες
- επιχειρήσεις
- Εισέρχεται
- Ολόκληρος
- περιβάλλοντα
- Αιθέρας (ΕΤΗ)
- τελικά
- παράδειγμα
- ακριβά
- εμπειρία
- Δραστηριοτητες
- εξειδίκευση
- εξωτερικός
- εξαγωγή
- διευκολύνω
- Πραγματικός
- οικείος
- οικογένεια
- FAST
- Χαρακτηριστικά
- Χαρακτηρίζοντας
- Fed
- ανατροφοδότηση
- αισθάνομαι
- λίγοι
- Αρχεία
- οικονομικός
- των χρηματοπιστωτικών υπηρεσιών
- Εύρεση
- Όνομα
- Αλιεία
- Ευελιξία
- Όροφος
- ροή
- Συγκέντρωση
- ακολουθήστε
- Εξής
- εξής
- Για
- μορφή
- μορφές
- Θεμέλιο
- τέσσερα
- Δωρεάν
- δωρεάν δοκιμή
- από
- εμπρός
- πλήρη
- πλήρως
- περαιτέρω
- χάσμα
- GDPR
- General
- γενικά δεδομένα
- Γενικός κανονισμός για την προστασία των δεδομένων
- παράγουν
- δημιουργεί
- παραγωγής
- γενεά
- γενετική
- Παραγωγική τεχνητή νοημοσύνη
- γενετικό μοντέλο
- GitHub
- δίνει
- γκολ
- Έδαφος
- Group
- Ήμισυ
- λαβή
- Χειρισμός
- Έχω
- που έχει
- he
- Επικεφαλίδα
- Υγεία
- ασφάλεια υγείας
- υγειονομική περίθαλψη
- Καρδιά
- βαριά
- βοήθεια
- βοήθεια
- βοηθά
- αυτήν
- υψηλού επιπέδου
- υψηλή απόδοση
- του
- Αρχική
- οικοδεσπότης
- φιλοξενείται
- Πως
- Πώς να
- http
- HTTPS
- IAM
- Ταυτότητα
- διαχείριση ταυτότητας και πρόσβασης
- Διαχείριση ταυτότητας και πρόσβασης (IAM)
- if
- απεικονίζει
- εκτελεστικών
- εισαγωγή
- σημαντικό
- βελτίωση
- βελτιώσεις
- βελτίωση
- in
- Συμπεριλαμβανομένου
- όλο και περισσότερο
- βιομηχανίες
- πληροφορίες
- εξαγωγή πληροφοριών
- Υποδομή
- μέσα
- εγκαθιστώ
- παράδειγμα
- ασφάλιση
- ενσωματώσει
- ενσωματωθεί
- Ενσωματώνει
- διανοούμενος
- πνευματικής ιδιοκτησίας
- International
- Internet
- Πρόσβαση στο Ίντερνετ
- σε
- απομονωμένος
- IT
- ΤΟΥ
- jpg
- μόλις
- Διατήρηση
- τήρηση
- Κλειδί
- πλήκτρα
- παιδιά
- γνώση
- Kubernetes
- Γλώσσα
- large
- Αφάνεια
- αργότερο
- ξεκινήσει
- ξεκίνησε
- οδηγήσει
- Οδηγεί
- διαρροή
- ΜΑΘΑΊΝΩ
- μάθηση
- ελάχιστα
- αριστερά
- Επίπεδο
- Άδεια
- ζωή
- Επιστήμες της Ζωής
- γραμμή
- Λιστα
- λίστα
- Ακίνητα
- ζουν
- φορτίο
- φορτία
- τοπικός
- τοπικά
- που βρίσκεται
- τοποθεσία
- ματιά
- κοιτάζοντας
- χαμηλού κόστους
- μηχανή
- μάθηση μηχανής
- Η διατήρηση
- κάνω
- ΚΑΝΕΙ
- διαχείριση
- διαχειρίζεται
- διαχείριση
- αγορά
- κύριος
- ανώτατο όριο
- Ενδέχεται..
- νόημα
- μέσα
- Μνήμες
- μέθοδος
- εκατομμύρια
- ελαχιστοποίηση
- ελαχιστοποιώντας
- πρακτικά
- ML
- μοντέλο
- μοντέλα
- ενότητα
- ενότητες
- περισσότερο
- πλέον
- πρέπει
- όνομα
- εγγενώς
- Φυσικό
- Φυσική γλώσσα
- Επεξεργασία φυσικής γλώσσας
- Πλοηγηθείτε
- Πλοήγηση
- Ανάγκη
- δίκτυο
- ποτέ
- Νέα
- nlp
- Όχι.
- σημείωση
- σημειωματάριο
- τώρα
- αριθμός
- αντικείμενο
- αντικειμένων
- of
- προσφορά
- προσφορά
- on
- ONE
- αποκλειστικά
- λειτουργίας
- Επιλογή
- or
- οργανώσεις
- ΑΛΛΑ
- δικός μας
- σκιαγραφείται
- εκτός
- επί
- επισκόπηση
- δική
- πακέτο
- καταβλήθηκε
- Πάντα
- παράθυρο
- παράμετροι
- στάθμευση
- μέρος
- ιδιαίτερα
- εταίρος
- Συνεργάτες
- παθιασμένος
- τέλειος
- εκτελέσει
- επίδοση
- προσωπικός
- προσωπικά δεδομένα
- κομμάτι
- αγωγού
- Μέρος
- πλατφόρμες
- Πλάτων
- Πληροφορία δεδομένων Plato
- Πλάτωνα δεδομένα
- παιχνίδι
- Δημοφιλής
- φορητότητα
- Θέση
- δυναμικού
- δύναμη
- ισχυρός
- προηγείται
- προτιμάται
- προετοιμασία
- παρόν
- πρόληψη
- ιδιωτικός
- διαδικασια μας
- επεξεργασία
- Διεργασίες
- μεταποίηση
- παραγωγή
- παραγωγικότητα
- Προϊόντα
- προτρέπει
- αποδείξεις
- ιδιότητες
- περιουσία
- προτείνεται
- ιδιόκτητο
- προστασία
- προστασία
- παρέχουν
- προμηθευτής
- Παρόχους υπηρεσιών
- παρέχει
- δημόσιο
- Δημόσιο σύννεφο
- ερώτηση
- γρήγορα
- κουρέλι
- Κατάταξη
- μάλλον
- RE
- Διάβασε
- Ανάγνωση
- λαμβάνει
- συνιστάται
- μείωση
- παραπέμπω
- σχετικά με
- περιοχή
- ρυθμίζονται
- ρυθμιζόμενες βιομηχανίες
- Ρυθμιστικές Αρχές
- ρυθμιστές
- σχετικά
- συνάφεια
- λείψανα
- Αποθήκη
- ζητήσει
- απαιτείται
- απαιτήσεις
- Απαιτεί
- μοιάζει
- Υποστηρικτικό υλικό
- απάντησης
- απαντήσεις
- υπεύθυνος
- ΠΕΡΙΦΕΡΕΙΑ
- Εστιατόρια
- αποτέλεσμα
- Αποτελέσματα
- δεξιά
- Κίνδυνος
- διακινδυνεύοντας
- Δωμάτιο
- ΣΕΙΡΑ
- τρέξιμο
- τρέχει
- s
- σοφός
- επεκτάσιμη
- Κλίμακα
- Επιστήμη
- ΕΠΙΣΤΗΜΕΣ
- αποτελέσματα
- Αναζήτηση
- Οι μηχανές αναζήτησης
- Μυστικό
- Τμήμα
- τμήματα
- προστατευμένο περιβάλλον
- ασφαλώς
- ασφάλεια
- δείτε
- σημασιολογικός
- αρχαιότερος
- ευαίσθητος
- Ευαισθησία
- ξεχωριστό
- εξυπηρετούν
- σερβίρεται
- εξυπηρετεί
- υπηρεσία
- Υπηρεσίες
- σειρά
- τον καθορισμό
- Shared
- Μερίδια
- αυτή
- Κοντά
- βιτρίνα
- παρόμοιες
- Απλούς
- απλοποιεί
- ενιαίας
- μεγέθη
- small
- Ποδόσφαιρο
- λογισμικό
- λύση
- Λύσεις
- μερικοί
- Πηγή
- πρωτογενής κώδικας
- Χώρος
- ειδικευμένος
- συγκεκριμένες
- καθορίζεται
- Δαπάνες
- σωρός
- Εκκίνηση
- state-of-the-art
- παραμονή
- Βήμα
- Βήματα
- Ακόμη
- κατάστημα
- αποθηκεύονται
- ειλικρινής
- δομή
- τέτοιος
- κατάλληλος
- υποστήριξη
- Υποστηρίζει
- βέβαιος
- σύστημα
- τραπέζι
- επειξειργασμένος από ραπτήν
- Πάρτε
- παίρνει
- στόχος
- στοχευμένες
- ομάδες
- tech
- Τεχνικός
- Τεχνολογίες
- Τεχνολογία
- πρότυπο
- ενοικιαστής
- κείμενο
- Ταξινόμηση κειμένου
- από
- ευχαριστώ
- ότι
- Η
- οι πληροφορίες
- τους
- τότε
- Εκεί.
- επομένως
- Αυτοί
- αυτοί
- τρίτους
- αυτό
- τρία
- Μέσω
- ώρα
- προς την
- μαζι
- εργαλεία
- κορυφή
- παραδοσιακός
- Τρένο
- εκπαιδευμένο
- Εκπαίδευση
- Μεταμορφώστε
- διαμετακόμιση
- διαφανής
- Ταξίδια
- δίκη
- φροντιστήριο
- δύο
- τύπος
- τύποι
- μας
- υπό
- καταλαβαίνω
- Απροσδόκητος
- αξέχαστος
- μοναδικώς
- ενημερώθηκε
- ενημερώσεις
- ενημέρωση
- επάνω
- URL
- Χρήση
- χρήση
- περίπτωση χρήσης
- μεταχειρισμένος
- Χρήστες
- χρησιμοποιεί
- χρησιμοποιώντας
- διακοπές
- αξία
- Αξίες
- διάφορα
- Ve
- εκδοχή
- μέσω
- Πραγματικός
- όγκους
- walk
- Τρόπος..
- τρόπους
- we
- Πλούτος
- ιστός
- διαδικτυακές υπηρεσίες
- καλωσόρισμα
- ΛΟΙΠΌΝ
- ήταν
- πότε
- Ποιό
- ενώ
- Ο ΟΠΟΊΟΣ
- του οποίου
- θα
- με
- εντός
- Εργασία
- ροής εργασίας
- εργαζόμενος
- λειτουργεί
- γράφω
- εσείς
- Σας
- zephyrnet