Co to są osadzanie wektorów? | Definicja z TechTarget

Co to są osadzanie wektorów?

Osadzanie wektorów to reprezentacje numeryczne, które oddają powiązania i znaczenie słów, fraz i innych typów danych. Dzięki osadzeniu wektorów podstawowe cechy lub cechy obiektu są tłumaczone na zwięzłą i uporządkowaną tablicę liczb, pomagając komputerom szybko odzyskiwać informacje. Podobne punkty danych są grupowane bliżej siebie po przełożeniu na punkty w przestrzeni wielowymiarowej.

Stosowany w szerokim zakresie zastosowań, zwłaszcza w przetwarzaniu języka naturalnego (NLP) i uczenie maszynowe (ML), osadzanie wektorów pomaga manipulować i przetwarzać dane na potrzeby takich zadań, jak porównania podobieństw, grupowanie i klasyfikacja. Na przykład, patrząc na dane tekstowe, słowa takie jak jak i kicia przekazują podobne znaczenia pomimo różnic w składzie liter. Skuteczne wyszukiwanie semantyczne opiera się na precyzyjnych reprezentacjach, które odpowiednio oddają to semantyczne podobieństwo między terminami.

[Osadzone treści]

Czy osadzanie i wektory to to samo?

Warunki wektory i osadzenia mogą być używane zamiennie w kontekście osadzania wektorów. Obydwa odnoszą się do liczbowych reprezentacji danych, w których każdy punkt danych jest reprezentowany jako wektor w przestrzeni wielowymiarowej.

Wektor odnosi się do tablicy liczb o określonym wymiarze, podczas gdy osadzanie wektorów wykorzystuje te wektory do reprezentowania punktów danych w ciągłej przestrzeni.

Osadzanie odnosi się do wyrażania danych w postaci wektorów służących do przechwytywania istotnych informacji, powiązań semantycznych, cech kontekstowych lub zorganizowanej reprezentacji danych wyuczonych za pomocą algorytmów szkoleniowych lub modele uczenia maszynowego.

Rodzaje osadzania wektorów

Osadzanie wektorów ma różne formy, a każda z nich ma odrębną funkcję do reprezentowania różnych rodzajów danych. Poniżej przedstawiono kilka typowych typów osadzania wektorów:

• Osadzanie słów. Osadzanie słów to reprezentacje wektorowe poszczególnych słów w ciągłej przestrzeni. Są często używane do przechwytywania powiązań semantycznych między słowami w zadaniach takich jak Analiza nastrojów, tłumaczenie językowe i podobieństwo słów.
• Osadzanie zdań. Reprezentacje wektorowe pełnych zdań nazywane są osadzaniami zdań. Są pomocne przy zadaniach obejmujących analizę nastrojów, kategoryzację tekstu i wyszukiwanie informacji, ponieważ oddają znaczenie i kontekst zdania.
• Osadzanie dokumentów. Osadzone dokumenty to reprezentacje wektorowe całych dokumentów, takich jak artykuły lub raporty. Zwykle używane w zadaniach takich jak podobieństwo dokumentów, grupowanie i systemy rekomendacji, oddają ogólne znaczenie i treść dokumentu.
• Wektory profilu użytkownika. Są to reprezentacje wektorowe preferencji, działań lub cech użytkownika. Są używane segmentacja klientów, spersonalizowane systemy rekomendacji i reklamy ukierunkowane w celu gromadzenia danych specyficznych dla użytkownika.
• Wektory obrazów. Są to reprezentacje wektorowe elementów wizualnych, takich jak obrazy lub klatki wideo. Wykorzystuje się je do zadań takich jak Rozpoznawanie obiektów, wyszukiwanie obrazów i systemy rekomendacji oparte na treści w celu uchwycenia cech wizualnych.
• Wektory produktów. Reprezentujące produkty lub elementy w postaci wektorów, są one wykorzystywane w wyszukiwaniu produktów, klasyfikacji produktów i systemach rekomendacji w celu gromadzenia cech i podobieństw między produktami.
• Wektory profilu użytkownika. Wektory profilu użytkownika reprezentują preferencje, działania lub cechy użytkownika. Wykorzystywane są w segmentacji użytkowników, spersonalizowanych systemach rekomendacji i ukierunkowane reklamy w celu gromadzenia danych specyficznych dla użytkownika.

Jak tworzone są osadzania wektorów?

Osadzanie wektorów jest generowane przy użyciu podejścia ML, które uczy model przekształcania danych w wektory numeryczne. Zwykle głęboko splotowa sieć neuronowa służy do uczenia tego typu modeli. Powstałe osady są często gęste — wszystkie wartości są niezerowe — i wielowymiarowe — do 2,000 wymiarów. Popularne modele, takie jak Word2Vec, GLoVE i BERTI konwertuj słowa, frazy lub akapity na osadzanie wektorów danych tekstowych.

W procesie tym zwykle biorą udział następujące etapy:

1. Zbierz duży zestaw danych. Tworzony jest zestaw danych obejmujący konkretną kategorię danych, dla której przeznaczone jest osadzanie – niezależnie od tego, czy dotyczy to tekstu, czy obrazów.
2. Wstępnie przetwórz dane. W zależności od rodzaju danych, czyszczenia, przygotowania i wstępne przetwarzanie danych polega na eliminacji szumów, zmianie rozmiaru zdjęć, normalizacji tekstu i wykonaniu dodatkowych operacji.
3. Wytrenuj model. Aby zidentyfikować połączenia i wzorce w danych, model jest szkolony przy użyciu zbioru danych. Aby zmniejszyć rozbieżność między wektorem docelowym i przewidywanym, parametry wstępnie wyszkolonego modelu są zmieniane w fazie uczenia.
4. Generuj osadzania wektorów. Po przeszkoleniu model może przekształcić świeże dane w wektory liczbowe, przedstawiając znaczącą i uporządkowaną reprezentację, która skutecznie zawiera informacje semantyczne oryginalnych danych.

Osadzanie wektorów można wykonać dla szerokiego zakresu typów danych, w tym danych szeregów czasowych, tekstu, obrazów, dźwięku, modele trójwymiarowe (3D). i wideo. Ze względu na sposób tworzenia osadów, obiekty o podobnej semantyce będą miały wektory w przestrzeni wektorowej, które będą blisko siebie.

Gdzie są przechowywane osadzenia wektorów?

Osadzenia wektorów są przechowywane w wyspecjalizowanych bazach danych zwanych tzw bazy danych wektorowych. Te bazy danych są wielowymiarowymi matematycznymi reprezentacjami cech danych. W przeciwieństwie do standardowych skalarnych baz danych lub niezależnych indeksów wektorowych, wektorowe bazy danych zapewniają szczególną wydajność przechowywania i wyszukiwania osadzonych wektorów na dużą skalę. Oferują możliwość efektywnego przechowywania i wyszukiwania ogromnych ilości danych na potrzeby funkcji wyszukiwania wektorowego.

Wektorowe bazy danych obejmują kilka kluczowych komponentów, w tym wydajność i tolerancja na awarie. Aby zapewnić odporność wektorowych baz danych na błędy, replikacja i sharding stosowane są techniki. Replikacja to proces tworzenia kopii danych w wielu węzłach, natomiast sharding to proces dzielenia danych na kilka węzłów. Zapewnia to odporność na awarie i nieprzerwaną wydajność nawet w przypadku awarii węzła.

Wektorowe bazy danych są skuteczne w uczeniu maszynowym i sztucznej inteligencji (AI) aplikacji, gdyż specjalizują się w zarządzaniu dane nieustrukturyzowane i częściowo ustrukturyzowane.

Zastosowania osadzania wektorów

Istnieje kilka zastosowań osadzania wektorów w różnych branżach. Typowe zastosowania osadzania wektorów obejmują:

• Systemy rekomendacji. Osadzanie wektorów odgrywa kluczową rolę w systemach rekomendacyjnych gigantów branży, m.in. Netflixa i Amazona. Te osadzania pozwalają organizacjom obliczać podobieństwa między użytkownikami i elementami, tłumacząc preferencje użytkowników i cechy elementów na wektory. Proces ten pomaga w dostarczaniu spersonalizowanych sugestii dostosowanych do indywidualnych gustów użytkowników.
• Wyszukiwarki. Wyszukiwarki szeroko stosuj osadzanie wektorów, aby poprawić skuteczność i wydajność wyszukiwania informacji. Ponieważ osadzanie wektorów wykracza poza dopasowywanie słów kluczowych, pomaga wyszukiwarkom interpretować znaczenie słów i zdań. Nawet jeśli dokładne frazy nie są zgodne, wyszukiwarki nadal mogą znajdować i pobierać dokumenty lub inne informacje istotne kontekstowo, modelując słowa jako wektory w przestrzeni semantycznej.
• Chatboty i systemy odpowiadania na pytania. Pomoc w osadzaniu wektorów chatboty i generatywne systemy odpowiadania na pytania oparte na sztucznej inteligencji w rozumieniu i wytwarzaniu reakcji podobnych do ludzkich. Przechwytując kontekst i znaczenie tekstu, osadzanie pomaga chatbotom odpowiadać na zapytania użytkowników w znaczący i logiczny sposób. Na przykład modele językowe i chatboty AI, w tym GPT-4 i procesory obrazu, takie jak Dall-E2, zyskały ogromną popularność dzięki prowadzeniu rozmów i odpowiedzi przypominających ludzkie.
• Wykrywanie oszustw i wykrywanie wartości odstających. Osadzanie wektorów można wykorzystać do wykrywania anomalii lub oszukańczych działań poprzez ocenę podobieństwa między wektorami. Nietypowe wzorce identyfikuje się poprzez ocenę odległości pomiędzy osadzaniami i ich dokładne określenie wartości odstające.
• Wstępne przetwarzanie danych. Aby się przemienić nieprzetworzone dane do formatu odpowiedniego dla ML i modele głębokiego uczenia się, osadzanie jest wykorzystywane w działaniach wstępnego przetwarzania danych. Na przykład osadzanie słów służy do przedstawiania słów jako wektorów, co ułatwia przetwarzanie i analizę danych tekstowych.
• Nauka jednorazowa i zero-shotowa. Uczenie się „jednorazowe” i „zero-shot” to podejścia do osadzania wektorów, które pomagają modelom uczenia maszynowego przewidywać wyniki nowych zajęć, nawet jeśli dostarczane są z ograniczonymi oznakowanymi danymi. Modele mogą uogólniać i generować prognozy nawet przy niewielkiej liczbie instancji szkoleniowych, korzystając z informacji semantycznych zawartych w osadzaniu.
• Podobieństwo semantyczne i grupowanie. Osadzanie wektorów ułatwia ocenę podobieństwa dwóch obiektów w środowisku wielowymiarowym. Umożliwia to wykonywanie operacji takich jak obliczanie podobieństwa semantycznego, grupowanie i składanie powiązanych rzeczy w oparciu o ich osadzenie.

Jakiego rodzaju rzeczy można osadzić?

Za pomocą osadzania wektorów można reprezentować wiele różnych rodzajów obiektów i typów danych. Typowe typy rzeczy, które można osadzić, obejmują:

Tekst

Słowa, frazy lub dokumenty są reprezentowane jako wektory przy użyciu osadzania tekstu. Zadania NLP — w tym analiza nastrojów, wyszukiwanie semantyczne i tłumaczenie językowe — często korzystają z osadzania.

Universal Sentence Encoder to jeden z najpopularniejszych modeli osadzania typu open source, który może wydajnie kodować pojedyncze zdania i fragmenty całego tekstu.

Obrazy

Osadzanie obrazów przechwytuje i reprezentuje cechy wizualne obrazów jako wektory. Ich przypadki użycia obejmują identyfikację obiektów, klasyfikację obrazów i wyszukiwanie obrazów wstecznych, często nazywane szukaj obrazem.

Osadzanie obrazów może być również wykorzystane w celu umożliwienia wyszukiwania wizualnego. Wyodrębniając osadzenie z obrazów bazy danych, użytkownik może porównać osadzenie obrazu zapytania z osadzeniem zdjęć z bazy danych, aby zlokalizować wizualnie podobne dopasowania. Jest to powszechnie stosowane w e-commerce aplikacje, w których użytkownicy mogą wyszukiwać przedmioty, przesyłając zdjęcia podobnych produktów.

Google Lens to aplikacja do wyszukiwania obrazów, która porównuje zdjęcia z aparatu z wizualnie podobnymi produktami. Można go na przykład wykorzystać do dopasowania produktów internetowych przypominających parę tenisówek lub element garderoby.

Audio

Osadzenia audio to wektorowa reprezentacja sygnałów audio. Osadzanie wektorowe rejestruje właściwości słuchowe, umożliwiając systemom skuteczniejszą interpretację danych audio. Na przykład osadzania dźwięku można wykorzystać do rekomendacji muzyki, klasyfikacji gatunków, wyszukiwania podobieństw audio, rozpoznawania mowy i weryfikacji mówiącego.

Chociaż sztuczna inteligencja jest używana do różnych typów osadzania, sztuczna inteligencja audio poświęcono mniej uwagi niż sztuczna inteligencja tekstowa lub obrazowa. Google zamiana mowy na tekst i OpenAI Whisper to aplikacje do osadzania dźwięku stosowane w organizacjach, takich jak centra obsługi telefonicznej, technologie medyczne, aplikacje ułatwiające dostępność i zamianę mowy na tekst.

Wykresy

W osadzaniu grafów wektory reprezentują węzły i krawędzie wykresu. Oni są wykorzystywane w zadaniach związanych z analizą grafów takie jak przewidywanie linków, rozpoznawanie społeczności i systemy rekomendacji.

Każdy węzeł reprezentuje jednostkę, taką jak osoba, strona internetowa lub produkt, a każda krawędź symbolizuje łącze lub połączenie istniejące między tymi jednostkami. Te osadzania wektorów mogą osiągnąć wszystko, począwszy od polecania znajomych sieci społeczne do wykrywania problemów związanych z cyberbezpieczeństwem.

Dane szeregów czasowych i modele 3D

Osadzanie szeregów czasowych przechwytuje wzorce czasowe w danych sekwencyjnych. Są używane Internet przedmiotów aplikacje, dane finansowe i dane z czujników do działań obejmujących wykrywanie anomalii, prognozowanie szeregów czasowych i identyfikacja wzoru.

Geometryczne aspekty obiektów 3D można również wyrazić jako wektory za pomocą osadzania modelu 3D. Znajdują zastosowanie w zadaniach takich jak rekonstrukcja 3D, wykrywanie obiektów i dopasowywanie form.

Cząsteczki

Osadzenia cząsteczek reprezentują związki chemiczne jako wektory. Wykorzystuje się je w odkrywaniu leków, wyszukiwaniu podobieństw chemicznych i przewidywaniu właściwości molekularnych. Osadzenia te są również wykorzystywane w chemii obliczeniowej i opracowywaniu leków w celu uchwycenia cech strukturalnych i chemicznych cząsteczek.

Co to jest Word2Vec?

Word2Vec to popularna metoda osadzania wektorów słów NLP. Stworzony przez Google, Word2Vec ma na celu reprezentowanie słów jako gęstych wektorów w ciągłej przestrzeni wektorowej. Potrafi rozpoznać kontekst słowa w dokumencie i jest powszechnie używany w zadaniach NLP, takich jak kategoryzacja tekstu, analiza nastrojów i tłumaczenie maszynowe aby pomóc maszynom efektywniej rozumieć i przetwarzać język naturalny.

Word2Vec opiera się na zasadzie, że słowa o podobnym znaczeniu powinny mieć podobne reprezentacje wektorowe, umożliwiając modelowi uchwycenie powiązań semantycznych między słowami.

Word2Vec ma dwie podstawowe architektury, CBOW (ciągły zbiór słów) i Skip-Gram:

• CBOW. Ta architektura przewiduje słowo docelowe na podstawie słów kontekstu. Model otrzymuje kontekst lub otaczające go słowa i ma za zadanie przewidzieć słowo docelowe w środku. Na przykład w zdaniu „Szybki brązowy lis przeskakuje leniwego psa” CBOW wykorzystuje kontekst lub otaczające go słowa, aby przewidzieć lis jako słowo docelowe.
• Pomiń gram. W przeciwieństwie do CBOW, architektura Skip-Gram przewiduje słowa kontekstu na podstawie słowa docelowego. Model otrzymuje słowo docelowe i jest proszony o przewidzenie warunków kontekstu otaczającego. Biorąc powyższe przykładowe zdanie: „Szybki brązowy lis przeskakuje leniwego psa”, skip-gram przyjmie słowo docelowe lis i odkryj słowa kontekstowe, takie jak „The”, „szybki”, „brązowy”, „skacze”, „nad”, „the”, „leniwy” i „pies”.

Wiele przedsiębiorstw zaczyna wdrażać generatywną sztuczną inteligencję, demonstrując jej przełomowy potencjał. Zbadać jak rozwija się generatywna sztuczna inteligencja, w jakim kierunku pójdzie to w przyszłości i jakie wyzwania mogą się pojawić.