Źródło: rawpixel.com
Konwersacyjna sztuczna inteligencja to zastosowanie LLM, które wywołało wiele szumu i uwagi ze względu na jej skalowalność w wielu branżach i przypadkach użycia. Chociaż systemy konwersacyjne istnieją od dziesięcioleci, LLM przyniosły wzrost jakości, który był niezbędny do ich przyjęcia na dużą skalę. W tym artykule użyjemy modelu mentalnego pokazanego na rysunku 1, aby przeanalizować konwersacyjne aplikacje AI (por. Budowanie produktów AI za pomocą holistycznego modelu mentalnego wprowadzenie do modelu mentalnego). Po rozważeniu możliwości rynkowych i wartości biznesowej konwersacyjnych systemów AI, wyjaśnimy dodatkową „maszynę” pod względem danych, dostrajania LLM i projektu konwersacji, który należy skonfigurować, aby rozmowy były nie tylko możliwe, ale także przydatne i przyjemne.
1. Szansa, wartość i ograniczenia
Tradycyjny projekt UX opiera się na wielu sztucznych elementach UX, przesunięciach, dotknięciach i kliknięciach, co wymaga nauki w przypadku każdej nowej aplikacji. Korzystając z konwersacyjnej sztucznej inteligencji, możemy pozbyć się tego zajęcia, zastępując je eleganckim doświadczeniem naturalnie płynącej rozmowy, podczas której możemy zapomnieć o przejściach między różnymi aplikacjami, oknami i urządzeniami. Używamy języka, naszego uniwersalnego i znanego protokołu komunikacji, do interakcji z różnymi wirtualnymi asystentami (VA) i wykonywania naszych zadań.
Konwersacyjne interfejsy użytkownika nie są nowością, która jest na topie. Interaktywne systemy odpowiedzi głosowej (IVR) i chatboty istnieją od lat 1990. XX wieku, a po znaczącym postępie w NLP nastąpiły fale nadziei i rozwój interfejsów głosowych i czatów. Jednak przed epoką LLM większość systemów była wdrażana w paradygmacie symbolicznym, opierając się na regułach, słowach kluczowych i wzorcach konwersacji. Ograniczały się także do określonej, z góry określonej domeny „kompetencji”, a użytkownicy wykraczający poza nią szybko trafiali w ślepy zaułek. Podsumowując, systemy te były pełne potencjalnych punktów awarii i po kilku frustrujących próbach wielu użytkowników nigdy do nich nie wróciło. Poniższy rysunek ilustruje przykładowy dialog. Użytkownik, który chce zamówić bilety na konkretny koncert, cierpliwie przechodzi szczegółowe przesłuchanie, by na koniec dowiedzieć się, że bilety na koncert są wyprzedane.
Jako technologia wspomagająca, LLM mogą przenieść interfejsy konwersacyjne na nowy poziom jakości i satysfakcji użytkownika. Systemy konwersacyjne mogą teraz wyświetlać znacznie szerszą wiedzę o świecie, kompetencje językowe i umiejętności konwersacyjne. Wykorzystując wstępnie wyszkolone modele, można je również opracowywać w znacznie krótszych okresach czasu, ponieważ żmudna praca polegająca na kompilowaniu reguł, słów kluczowych i przepływów dialogów jest obecnie zastępowana wiedzą statystyczną LLM. Przyjrzyjmy się dwóm najważniejszym aplikacjom, w których konwersacyjna sztuczna inteligencja może zapewnić wartość na dużą skalę:
- Obsługa klienta i, bardziej ogólnie, aplikacje, z których korzysta duża liczba użytkowników, którzy często zgłaszają podobne żądania. W tym przypadku firma zapewniająca obsługę klienta ma wyraźną przewagę informacyjną nad użytkownikiem i może ją wykorzystać, aby stworzyć bardziej intuicyjne i przyjemne doświadczenie użytkownika. Rozważmy przypadek zmiany rezerwacji lotu. Dla mnie, który dość często podróżuję, zdarza się to 1–2 razy w roku. W międzyczasie zdarza mi się zapominać o szczegółach procesu, nie mówiąc już o interfejsie użytkownika konkretnej linii lotniczej. Z kolei obsługa klienta linii lotniczej ma prośby o zmianę rezerwacji w centrum swoich operacji. Zamiast eksponować proces zmiany rezerwacji poprzez skomplikowany interfejs graficzny, jego logikę można „ukryć” przed klientami kontaktującymi się z obsługą klienta, a oni mogą wykorzystać język jako naturalny kanał dokonywania zmiany rezerwacji. Oczywiście nadal będzie istniał „długi ogon” mniej znanych próśb. Wyobraźmy sobie na przykład spontaniczną zmianę nastroju, która popycha klienta biznesowego do dodania ukochanego psa jako nadbagażu do zarezerwowanego lotu. Te bardziej indywidualne żądania mogą być przekazywane agentom ludzkim lub realizowane za pośrednictwem wewnętrznego systemu zarządzania wiedzą połączonego z wirtualnym asystentem.
- Zarządzanie wiedzą która opiera się na dużej ilości danych. Dla wielu nowoczesnych firm wewnętrzna wiedza, którą gromadzą przez lata działania, iteracji i uczenia się, jest kluczowym atutem i wyróżnikiem – jeśli jest skutecznie przechowywana, zarządzana i dostępna. Opierając się na bogactwie danych ukrytych w narzędziach do współpracy, wewnętrznych stronach wiki, bazach wiedzy itp., często nie udaje im się przekształcić ich w praktyczną wiedzę. Gdy pracownicy odchodzą, nowi są dołączani, a Ty nigdy nie dokończysz strony dokumentacji, którą zacząłeś trzy miesiące temu, cenna wiedza pada ofiarą entropii. Coraz trudniej jest przebić się przez wewnętrzny labirynt danych i dotrzeć do fragmentów informacji potrzebnych w konkretnej sytuacji biznesowej. Prowadzi to do ogromnej utraty wydajności pracowników wiedzy. Aby rozwiązać ten problem, możemy rozszerzyć LLM o wyszukiwanie semantyczne w wewnętrznych źródłach danych. LLM pozwalają na używanie pytań w języku naturalnym zamiast skomplikowanych zapytań formalnych w celu zadawania pytań w tej bazie danych. Użytkownicy mogą w ten sposób skupić się na swoich potrzebach informacyjnych, a nie na strukturze bazy wiedzy lub składni języka zapytań, takiego jak SQL. Jako systemy tekstowe, systemy te pracują z danymi w bogatej przestrzeni semantycznej, tworząc znaczące połączenia „pod maską”.
Poza tymi głównymi obszarami zastosowań istnieje wiele innych aplikacji, takich jak telezdrowie, asystenci zdrowia psychicznego i chatboty edukacyjne, które mogą usprawnić UX i zapewnić wartość użytkownikom szybciej i bardziej efektywnie.
Jeśli te dogłębne treści edukacyjne są dla Ciebie przydatne, możesz zapisz się na naszą listę dyskusyjną AI zostać powiadomionym, gdy wydamy nowy materiał.
2. Dane
Osoby LLM nie są początkowo przeszkolone do prowadzenia płynnych pogawędek lub bardziej istotnych rozmów. Zamiast tego uczą się generować następujący token na każdym etapie wnioskowania, co ostatecznie skutkuje spójnym tekstem. Ten cel niskiego szczebla różni się od wyzwania, jakie stawia przed sobą ludzka rozmowa. Rozmowa jest niezwykle intuicyjna dla ludzi, ale staje się niezwykle złożona i pełna niuansów, gdy chcesz nauczyć tego maszynę. Przyjrzyjmy się na przykład podstawowemu pojęciu intencji. Kiedy używamy języka, robimy to w konkretnym celu, którym jest nasza intencja komunikacyjna — może to być przekazywanie informacji, utrzymywanie kontaktów towarzyskich lub proszenie kogoś o zrobienie czegoś. O ile pierwsze dwa są raczej proste dla LLM (o ile widzi wymagane informacje w danych), to drugie jest już trudniejsze. LLM musi nie tylko łączyć i strukturyzować powiązane informacje w spójny sposób, ale także nadawać odpowiedni ton emocjonalny w zakresie miękkich kryteriów, takich jak formalność, kreatywność, humor itp. Jest to wyzwanie dla projektowania konwersacji (por. pkt 5), co jest ściśle powiązane z zadaniem tworzenia danych dostrajających.
Dokonanie przejścia od klasycznego generowania języka do rozpoznawania i reagowania na określone intencje komunikacyjne jest ważnym krokiem w kierunku lepszej użyteczności i akceptacji systemów konwersacyjnych. Jeśli chodzi o wszystkie wysiłki dostrajające, zaczyna się to od kompilacji odpowiedniego zbioru danych.
Dane dostrajające powinny być jak najbardziej zbliżone do (przyszłego) rozkładu danych w świecie rzeczywistym. Po pierwsze, powinny to być dane konwersacyjne (dialogowe). Po drugie, jeśli Twój wirtualny asystent będzie specjalizował się w konkretnej domenie, powinieneś spróbować zebrać dane dostrajające, które odzwierciedlają niezbędną wiedzę dziedzinową. Po trzecie, jeśli w Twojej aplikacji występują typowe przepływy i żądania, które będą często się powtarzać, jak w przypadku obsługi klienta, spróbuj włączyć różne ich przykłady do swoich danych szkoleniowych. Poniższa tabela przedstawia przykładowe dane dotyczące dostrajania konwersacji z pliku Zbiór danych rozmów 3K dla ChatBota, który jest swobodnie dostępny na Kaggle:
Ręczne tworzenie danych konwersacyjnych może stać się kosztownym przedsięwzięciem — crowdsourcing i wykorzystanie LLM do generowania danych to dwa sposoby na zwiększenie skali. Po zebraniu danych dotyczących dialogów należy je ocenić i opisać. Pozwala to pokazać modelowi zarówno pozytywne, jak i negatywne przykłady i popchnąć go w kierunku wychwytywania cech „właściwych” rozmów. Ocena może odbywać się na podstawie wyników bezwzględnych lub rankingu różnych opcji pomiędzy sobą. To drugie podejście prowadzi do dokładniejszych danych dostrajających, ponieważ ludzie zwykle lepiej radzą sobie z szeregowaniem wielu opcji niż ocenianiem ich osobno.
Mając już gotowe dane, możesz udoskonalić swój model i wzbogacić go o dodatkowe możliwości. W następnej sekcji przyjrzymy się dostrajaniu, integracji dodatkowych informacji z pamięci i wyszukiwania semantycznego oraz łączeniu agentów z systemem konwersacyjnym, aby umożliwić mu wykonywanie określonych zadań.
3. Montaż systemu konwersacyjnego
Typowy system konwersacyjny składa się z agenta konwersacyjnego, który organizuje i koordynuje komponenty i możliwości systemu, takie jak LLM, pamięć i zewnętrzne źródła danych. Tworzenie konwersacyjnych systemów sztucznej inteligencji jest zadaniem wysoce eksperymentalnym i empirycznym, a Twoi programiści będą w ciągłym ruchu pomiędzy optymalizacją danych, ulepszaniem strategii dostrajania, zabawą z dodatkowymi komponentami i ulepszeniami oraz testowaniem wyników . Nietechniczni członkowie zespołu, w tym menedżerowie produktu i projektanci UX, również będą na bieżąco testować produkt. Bazując na działaniach związanych z odkrywaniem klientów, mają oni doskonałą możliwość przewidywania stylu i treści rozmów przyszłych użytkowników, dlatego powinni aktywnie przekazywać tę wiedzę.
3.1 Nauczanie umiejętności konwersacji w LLM
Do dostrojenia potrzebne są dane dotyczące dostrajania (por. sekcja 2) i wstępnie przeszkolony LLM. LLM wiedzą już dużo o języku i świecie, a naszym wyzwaniem jest nauczenie ich zasad konwersacji. Podczas dostrajania docelowymi wynikami są teksty, a model zostanie zoptymalizowany w celu wygenerowania tekstów możliwie najbardziej podobnych do celów. W przypadku nadzorowanego dostrajania należy najpierw jasno zdefiniować konwersacyjne zadanie sztucznej inteligencji, które ma wykonać model, zebrać dane oraz uruchomić i iterować proces dostrajania.
Wraz z szumem wokół LLM pojawiło się wiele metod dostrajania. Dość tradycyjny przykład dostrajania do rozmowy można znaleźć w opisie modelu LaMDA.[1] LaMDA zostało udoskonalone w dwóch etapach. Po pierwsze, dane dialogowe wykorzystuje się do nauczania umiejętności konwersacyjnych modelu (dostrajanie „generatywne”). Następnie etykiety utworzone przez adnotatorów podczas oceny danych służą do uczenia klasyfikatorów, którzy mogą oceniać wyniki modelu według pożądanych atrybutów, które obejmują rozsądność, specyficzność, ciekawość i bezpieczeństwo („dostrajanie dyskryminacyjne”). Klasyfikatory te są następnie wykorzystywane do kierowania zachowaniem modelu w kierunku tych atrybutów.
Ponadto oparcie na faktach — zdolność oparcia wyników na wiarygodnych informacjach zewnętrznych — jest ważną cechą LLM. Aby zapewnić oparcie w faktach i zminimalizować halucynacje, LaMDA zostało dostrojone za pomocą zbioru danych, który obejmuje wywołania zewnętrznego systemu wyszukiwania informacji, gdy wymagana jest wiedza zewnętrzna. W ten sposób model nauczył się najpierw pobierać informacje faktyczne za każdym razem, gdy użytkownik zadał zapytanie wymagające nowej wiedzy.
Inną popularną techniką dostrajania jest uczenie się przez wzmacnianie na podstawie informacji zwrotnej od ludzi (RLHF) [2]. RLHF „przekierowuje” proces uczenia się LLM z prostego, ale sztucznego zadania przewidywania następnego żetonu w kierunku uczenia się ludzkich preferencji w danej sytuacji komunikacyjnej. Te ludzkie preferencje są bezpośrednio zakodowane w danych szkoleniowych. Podczas procesu dodawania adnotacji użytkownicy otrzymują podpowiedzi i albo zapisują żądaną odpowiedź, albo klasyfikują serię istniejących odpowiedzi. Zachowanie LLM jest następnie optymalizowane w celu odzwierciedlenia ludzkich preferencji.
3.2 Dodawanie danych zewnętrznych i wyszukiwanie semantyczne
Oprócz kompilowania konwersacji w celu dostrojenia modelu możesz chcieć ulepszyć swój system za pomocą specjalistycznych danych, które można wykorzystać podczas konwersacji. Na przykład Twój system może potrzebować dostępu do danych zewnętrznych, takich jak patenty lub artykuły naukowe, lub danych wewnętrznych, takich jak profile klientów lub dokumentacja techniczna. Zwykle odbywa się to poprzez wyszukiwanie semantyczne (znane również jako generowanie wspomagane wyszukiwaniem, RAG)[3]. Dodatkowe dane zapisywane są w bazie danych w formie osadzania semantycznego (por. ten artykuł w celu uzyskania wyjaśnień dotyczących osadzania i dalszych odniesień). Gdy przychodzi żądanie użytkownika, jest ono wstępnie przetwarzane i przekształcane w osadzenie semantyczne. Wyszukiwanie semantyczne identyfikuje następnie dokumenty, które są najbardziej istotne dla żądania i wykorzystuje je jako kontekst podpowiedzi. Integrując dodatkowe dane z wyszukiwaniem semantycznym, możesz ograniczyć halucynacje i zapewnić bardziej przydatne, oparte na faktach odpowiedzi. Dzięki ciągłej aktualizacji bazy danych osadzania możesz także aktualizować wiedzę i reakcje swojego systemu bez ciągłego powtarzania procesu dostrajania.
3.3 Pamięć i świadomość kontekstu
Wyobraź sobie, że idziesz na imprezę i spotykasz Petera, prawnika. Jesteś podekscytowany i zaczynasz prezentować legalnego chatbota, którego obecnie planujesz zbudować. Peter wygląda na zainteresowanego, pochyla się w twoją stronę, uhm i kiwa głową. W pewnym momencie chcesz poznać jego opinię na temat tego, czy chciałby korzystać z Twojej aplikacji. Zamiast informacyjnego stwierdzenia, które zrekompensowałoby Twoją elokwencję, słyszysz: „Uhm… co znowu robiła ta aplikacja?”
Niepisana umowa komunikacyjna między ludźmi zakłada, że słuchamy rozmówców i budujemy własne akty mowy w oparciu o kontekst, który współtworzymy podczas interakcji. W kontekście społecznym pojawienie się tego wspólnego zrozumienia charakteryzuje owocną, wzbogacającą rozmowę. W bardziej przyziemnych sytuacjach, takich jak rezerwacja stolika w restauracji czy zakup biletu na pociąg, jest to absolutna konieczność, aby wykonać zadanie i zapewnić użytkownikowi oczekiwaną wartość. Wymaga to od asystenta znajomości historii bieżącej rozmowy, ale także rozmów przeszłych — na przykład nie powinien on pytać o imię i nazwisko ani inne dane osobowe użytkownika za każdym razem, gdy inicjuje on rozmowę.
Jednym z wyzwań związanych z utrzymaniem świadomości kontekstu jest rozwiązanie koreferencji, tj. zrozumienie, do jakich obiektów odnoszą się zaimki. Ludzie intuicyjnie korzystają z wielu wskazówek kontekstowych podczas interpretacji języka — na przykład możesz poprosić małe dziecko: „Proszę, wyjmij zieloną kulkę z czerwonego pudełka i przynieś mi ją”, a dziecko będzie wiedziało, że masz na myśli piłkę , nie pudełko. Dla wirtualnych asystentów to zadanie może być dość trudne, co ilustruje następujący dialog:
Asystent: Dziękuję, zarezerwuję teraz Twój lot. Czy chcesz również zamówić posiłek na swój lot?
Użytkownik: Uhm… czy mogę później zdecydować, czy tego chcę?
Asystent: Przepraszamy, tego lotu nie można później zmienić ani anulować.
W tym przypadku asystent nie rozpoznaje zaimka it od użytkownika nie odnosi się do lotu, ale do posiłku, co wymaga kolejnej iteracji, aby naprawić to nieporozumienie.
3.4 Dodatkowe poręcze
Od czasu do czasu nawet najlepszy LLM będzie się źle zachowywał i miał halucynacje. W wielu przypadkach halucynacje są zwykłymi problemami z dokładnością – i cóż, musisz zaakceptować fakt, że żadna sztuczna inteligencja nie jest w 100% dokładna. W porównaniu z innymi systemami sztucznej inteligencji „odległość” między użytkownikiem a sztuczną inteligencją jest raczej niewielka między użytkownikiem a sztuczną inteligencją. Zwykły problem z dokładnością może szybko przekształcić się w coś, co będzie postrzegane jako toksyczne, dyskryminujące lub ogólnie szkodliwe. Ponadto, ponieważ LLM nie mają nieodłącznego zrozumienia prywatności, mogą również ujawniać dane wrażliwe, takie jak dane osobowe (PII). Można przeciwdziałać takim zachowaniom, stosując dodatkowe poręcze. Narzędzia takie jak Guardrails AI, Rebuff, NeMo Guardrails i Microsoft Guidance pozwalają zmniejszyć ryzyko w systemie poprzez sformułowanie dodatkowych wymagań dotyczących wyników LLM i zablokowanie niepożądanych wyników.
W konwersacyjnej sztucznej inteligencji możliwych jest wiele architektur. Poniższy schemat pokazuje prosty przykład, w jaki sposób precyzyjnie dostrojony LLM, dane zewnętrzne i pamięć mogą zostać zintegrowane przez agenta konwersacyjnego, który jest również odpowiedzialny za szybką konstrukcję i poręcze.
4. Doświadczenie użytkownika i projekt konwersacyjny
Urok interfejsów konwersacyjnych polega na ich prostocie i jednolitości w różnych aplikacjach. Jeśli przyszłość interfejsów użytkownika polega na tym, że wszystkie aplikacje wyglądają mniej więcej tak samo, czy praca projektanta UX jest skazana na porażkę? Zdecydowanie nie — rozmowa jest sztuką, której należy nauczyć LLM, aby mogła prowadzić rozmowy, które są pomocne, naturalne i wygodne dla użytkowników. Dobry projekt konwersacyjny powstaje, gdy łączymy naszą wiedzę z zakresu psychologii człowieka, lingwistyki i projektowania UX. Poniżej rozważymy najpierw dwie podstawowe możliwości podczas tworzenia systemu konwersacyjnego, a mianowicie to, czy będziesz używać głosu i/lub czatu, a także szerszy kontekst swojego systemu. Następnie przyjrzymy się samym rozmowom i zobaczymy, jak możesz zaprojektować osobowość swojego asystenta, ucząc go angażowania się w pomocne i oparte na współpracy rozmowy.
4.1 Głos a czat
Interfejsy konwersacyjne można wdrożyć za pomocą czatu lub głosu. Krótko mówiąc, głos jest szybszy, a czat pozwala użytkownikom zachować prywatność i korzystać ze wzbogaconej funkcjonalności interfejsu użytkownika. Przyjrzyjmy się bliżej obu opcjom, ponieważ jest to jedna z pierwszych i najważniejszych decyzji, przed którymi staniesz podczas tworzenia aplikacji konwersacyjnej.
Aby wybrać jedną z dwóch alternatyw, zacznij od rozważenia fizycznego ustawienia, w którym będzie używana Twoja aplikacja. Na przykład, dlaczego prawie wszystkie systemy konwersacyjne w samochodach, takie jak te oferowane przez Nuance Communications, opierają się na głosie? Ponieważ ręce kierowcy są już zajęte i nie mogą ciągle przełączać się między kierownicą a klawiaturą. Dotyczy to również innych czynności, takich jak gotowanie, gdzie użytkownicy chcą być na bieżąco podczas korzystania z Twojej aplikacji. Samochody i kuchnie to w większości miejsca prywatne, więc użytkownicy mogą cieszyć się interakcją głosową, nie martwiąc się o prywatność ani o przeszkadzanie innym. Z drugiej strony, jeśli Twoja aplikacja ma być używana w miejscach publicznych, takich jak biuro, biblioteka lub dworzec kolejowy, głos może nie być Twoim pierwszym wyborem.
Po zrozumieniu otoczenia fizycznego rozważ stronę emocjonalną. Głosu można celowo używać do przekazywania tonu głosu, nastroju i osobowości — czy ma to wartość dodaną w Twoim kontekście? Jeśli tworzysz aplikację do celów rekreacyjnych, głos może zwiększyć zabawę, podczas gdy asystent ds. zdrowia psychicznego może uwzględnić więcej empatii i pozwolić potencjalnie zmartwionemu użytkownikowi na większy wyraz. Z drugiej strony, jeśli Twoja aplikacja będzie pomagać użytkownikom w sytuacjach zawodowych, takich jak handel lub obsługa klienta, bardziej anonimowa interakcja oparta na tekście może pomóc w podjęciu bardziej obiektywnych decyzji i oszczędzić Ci kłopotów z projektowaniem nadmiernie emocjonalnych doświadczeń.
W następnym kroku pomyśl o funkcjonalności. Interfejs tekstowy pozwala wzbogacić rozmowy o inne media, takie jak obrazy i graficzne elementy interfejsu użytkownika, takie jak przyciski. Przykładowo w asystencie e-commerce aplikacja sugerująca produkty poprzez zamieszczanie zdjęć i uporządkowanych opisów będzie znacznie bardziej przyjazna dla użytkownika niż ta, która opisuje produkty głosowo i potencjalnie udostępnia ich identyfikatory.
Na koniec porozmawiajmy o dodatkowych wyzwaniach związanych z projektowaniem i rozwojem związanych z tworzeniem interfejsu głosowego:
- Istnieje dodatkowy etap rozpoznawania mowy, który ma miejsce, zanim dane wejściowe użytkownika będą mogły zostać przetworzone za pomocą LLM i przetwarzania języka naturalnego (NLP).
- Głos jest bardziej osobistym i emocjonalnym środkiem komunikacji — dlatego wymagania dotyczące zaprojektowania spójnej, odpowiedniej i przyjemnej osoby stojącej za wirtualnym asystentem są wyższe i trzeba będzie wziąć pod uwagę dodatkowe czynniki „projektowania głosu”, takie jak barwa , stres, ton i szybkość mówienia.
- Użytkownicy oczekują, że rozmowa głosowa będzie przebiegać z taką samą szybkością, jak rozmowa między ludźmi. Aby zapewnić naturalną interakcję za pomocą głosu, potrzebujesz znacznie krótszego opóźnienia niż w przypadku czatu. W rozmowach międzyludzkich typowa przerwa między turami wynosi 200 milisekund — ta szybka reakcja jest możliwa, ponieważ konstruowanie naszych tur zaczynamy słuchając mowy naszego partnera. Twój asystent głosowy będzie musiał odpowiadać temu stopniowi płynności interakcji. Z kolei w przypadku chatbotów rywalizujesz z przedziałami czasu wynoszącymi sekundy, a niektórzy programiści wprowadzają nawet dodatkowe opóźnienie, aby rozmowa przypominała pogawędkę pisaną między ludźmi.
- Komunikacja głosowa to linearne i jednorazowe przedsięwzięcie — jeśli użytkownik nie zrozumiał tego, co powiedziałeś, czeka Cię żmudna i podatna na błędy pętla wyjaśniająca. Dlatego Twoje tury muszą być tak zwięzłe, jasne i pouczające, jak to tylko możliwe.
Jeśli wybierzesz rozwiązanie głosowe, upewnij się, że nie tylko dobrze rozumiesz zalety w porównaniu z czatem, ale także masz umiejętności i zasoby, aby sprostać tym dodatkowym wyzwaniom.
4.2 Gdzie będzie mieszkać Twoja konwersacyjna sztuczna inteligencja?
Rozważmy teraz szerszy kontekst, w którym można zintegrować konwersacyjną sztuczną inteligencję. Każdy z nas zna chatboty na stronach firmowych — te widżety po prawej stronie ekranu, które pojawiają się, gdy otwieramy witrynę firmy. Osobiście najczęściej moją intuicyjną reakcją jest szukanie przycisku Zamknij. Dlaczego? Po pierwszych próbach „rozmowy” z tymi botami dowiedziałem się, że nie są one w stanie spełnić bardziej szczegółowych wymagań informacyjnych i ostatecznie muszę jeszcze przeszukać witrynę. Morał z tej historii? Nie twórz chatbota dlatego, że jest fajny i modny — raczej twórz go, ponieważ masz pewność, że może stworzyć dodatkową wartość dla Twoich użytkowników.
Oprócz kontrowersyjnego widżetu na firmowej stronie internetowej istnieje kilka ekscytujących kontekstów umożliwiających integrację bardziej ogólnych chatbotów, które stały się możliwe w przypadku LLM:
- Drugi piloci: Ci asystenci prowadzą i doradzają przez określone procesy i zadania, takie jak GitHub CoPilot do programowania. Zwykle drugi pilot jest „powiązany” z konkretną aplikacją (lub małym zestawem powiązanych aplikacji).
- Syntetyczni ludzie (także cyfrowi ludzie): Te stworzenia „emulują” prawdziwych ludzi w cyfrowym świecie. Wyglądają, zachowują się i mówią jak ludzie, dlatego też potrzebują bogatych umiejętności konwersacyjnych. Syntetyczni ludzie są często wykorzystywani w aplikacjach immersyjnych, takich jak gry oraz rzeczywistość rozszerzona i wirtualna.
- Cyfrowe bliźniaki: Cyfrowe bliźniaki to cyfrowe „kopie” rzeczywistych procesów i obiektów, takich jak fabryki, samochody czy silniki. Służą do symulacji, analizy i optymalizacji projektu i zachowania rzeczywistego obiektu. Interakcje w języku naturalnym z cyfrowymi bliźniakami umożliwiają płynniejszy i bardziej wszechstronny dostęp do danych i modeli.
- Bazy danych: Obecnie dostępne są dane na dowolny temat, niezależnie od tego, czy są to rekomendacje inwestycyjne, fragmenty kodu czy materiały edukacyjne. Często trudno jest znaleźć bardzo konkretne dane, których użytkownicy potrzebują w konkretnej sytuacji. Graficzne interfejsy baz danych są albo zbyt drobnoziarniste, albo pokryte niekończącymi się widżetami wyszukiwania i filtrowania. Wszechstronne języki zapytań, takie jak SQL i GraphQL, są dostępne tylko dla użytkowników posiadających odpowiednie umiejętności. Rozwiązania konwersacyjne pozwalają użytkownikom odpytywać dane w języku naturalnym, natomiast LLM przetwarzający żądania automatycznie konwertuje je na odpowiedni język zapytań (por. ten artykuł dla wyjaśnienia Text2SQL).
4.3 Odciskanie osobowości na asystencie
Jako ludzie jesteśmy zaprogramowani na antropomorfizację, tj. nadawanie dodatkowych ludzkich cech, gdy widzimy coś, co niejasno przypomina człowieka. Język jest jedną z najbardziej unikalnych i fascynujących zdolności ludzkości, a produkty konwersacyjne będą automatycznie kojarzone z ludźmi. Ludzie będą wyobrażać sobie osobę za ekranem lub urządzeniem — dobrą praktyką jest nie pozostawianie tej konkretnej osoby przypadkowi wyobraźni użytkowników, ale raczej nadanie jej spójnej osobowości, zgodnej z Twoim produktem i marką. Proces ten nazywa się „projektowaniem osobowości”.
Pierwszym krokiem w projektowaniu persony jest zrozumienie cech charakteru, jakie chcesz, aby Twoja persona prezentowała. W idealnym przypadku robi się to już na poziomie danych uczących — na przykład, korzystając z RLHF, możesz poprosić adnotatorów o uszeregowanie danych według takich cech, jak przydatność, uprzejmość, zabawa itp., aby skierować model w stronę pożądane cechy. Cechy te można dopasować do atrybutów Twojej marki, aby stworzyć spójny wizerunek, który stale promuje Twoją markę poprzez doświadczenie produktu.
Oprócz ogólnej charakterystyki powinieneś także pomyśleć o tym, jak Twój wirtualny asystent poradzi sobie w konkretnych sytuacjach wykraczających poza „szczęśliwą ścieżkę”. Na przykład, jak będzie reagować na żądania użytkowników wykraczające poza jego zakres, odpowiadać na pytania dotyczące siebie i radzić sobie z obraźliwym lub wulgarnym językiem?
Ważne jest, aby opracować jasne wewnętrzne wytyczne dotyczące Twojej osoby, z których mogą korzystać adnotatorzy danych i projektanci konwersacji. Umożliwi to zaprojektowanie Twojej osobowości w celowy sposób i utrzymanie jej spójności w całym zespole i na przestrzeni czasu, ponieważ Twoja aplikacja będzie poddawana wielu iteracjom i udoskonaleniom.
4.4 Prowadzenie rozmów pomocnych w realizacji „zasady współpracy”
Czy miałeś kiedyś wrażenie, że rozmawiasz z ceglaną ścianą, podczas gdy w rzeczywistości rozmawiałeś z człowiekiem? Czasami okazuje się, że nasi rozmówcy po prostu nie są zainteresowani doprowadzeniem rozmowy do sukcesu. Na szczęście w większości przypadków wszystko idzie gładko i ludzie intuicyjnie będą kierować się „zasadą współpracy”, którą wprowadził filozof języka Paul Grice. Zgodnie z tą zasadą ludzie, którzy skutecznie się ze sobą komunikują, kierują się czterema maksymami, a mianowicie ilością, jakością, trafnością i sposobem.
Maksyma ilości
Maksyma ilości wymaga, aby mówca miał charakter informacyjny i aby jego wkład był tak informacyjny, jak to konieczne. Ze strony wirtualnego asystenta oznacza to także aktywne popychanie rozmowy do przodu. Rozważmy na przykład ten fragment aplikacji modowej do handlu elektronicznego:
Asystent: Jakiego rodzaju elementów garderoby szukasz?
Użytkownik: Poszukuję sukienki w kolorze pomarańczowym.
Asystent: Nie: Przepraszamy, w tej chwili nie mamy pomarańczowych sukienek.
Zrób: Niestety, nie mamy sukienek w kolorze pomarańczowym, ale mamy tę wspaniałą i bardzo wygodną sukienkę w kolorze żółtym: …
Użytkownik ma nadzieję opuścić aplikację z odpowiednim elementem. Przerywanie rozmowy z powodu braku przedmiotów pasujących do dokładnego opisu przekreśla szansę na sukces. Jeśli jednak Twoja aplikacja wyświetla sugestie dotyczące alternatywnych elementów, będzie to bardziej pomocne i pozostawi opcję pomyślnej interakcji otwartą.
Szczególnie w interakcjach głosowych ważne jest, aby znaleźć właściwą równowagę pomiędzy dostarczeniem użytkownikowi wszystkich informacji, których może potrzebować do osiągnięcia sukcesu, a jednocześnie nie przytłaczać go niepotrzebnymi informacjami, które mogłyby zakłócić interakcję.
Maksym jakości
Maksyma jakości wymaga, aby mówcy byli prawdomówni i nie mówili rzeczy, które według nich są fałszywe lub na co nie mają wystarczających dowodów. Wiąże się to z dużą dozą subiektywizmu i osobistych przekonań – dlatego tej maksymy nie można bezpośrednio przenieść na LLM. Jak widzieliśmy, osoby LLM mają tendencję do halucynacji, a ryzyko to jest szczególnie wysokie, gdy rozmowa schodzi na mniej znane terytoria. Aby uniknąć wprowadzających w błąd wypowiedzi i sprowadzić rozmowę na właściwe tory, można zastosować dodatkowe poręcze.
Maksymalne znaczenie
Maksyma trafności nakazuje nam być… cóż, istotnymi. Warunkiem wstępnym jest zrozumienie prawdziwych intencji użytkownika przez wirtualnego asystenta. Oto przykład asystenta linii lotniczych, który narusza tę zasadę:
Użytkownik: Jutro rano potrzebuję lotu z Berlina do Zurychu.
Asystent: OK, znalazłem następujące loty z Berlina do Zurychu na jutro rano. Lot BZ36294 wylatuje z Berlina o 6.30:8 i przylatuje do Zurychu o 96294:8. Lot BZ9.30 wylatuje z Berlina o 96294:8 i przylatuje o 9.30:95614. Lot BZ11 wylatuje z Berlina o 12.30:11.45 i przylatuje do Zurychu o 3:XNUMX. Lot BZXNUMX wylatuje z Berlina o XNUMX:XNUMX i przylatuje do Zurychu o XNUMX:XNUMX. Istnieje również możliwość lotu łączonego, w takim przypadku wylecisz z Berlina o XNUMX:XNUMX i przybędziesz do Zurychu o XNUMX:XNUMX.
Użytkownik: Przepraszam… czy mógłbyś to powtórzyć jeszcze raz?
Asystent przytłacza użytkownika szczegółowymi informacjami, które mogą nie być istotne. Dzieląc to i wskazując użytkownikowi, jak ograniczyć przestrzeń wyszukiwania, dialog staje się znacznie łatwiejszy do przetrawienia:
Użytkownik: Jutro rano potrzebuję lotu z Berlina do Zurychu.
Asystent: OK, znalazłem loty odlatujące o 6.30:8, 11 i XNUMX:XNUMX. O której godzinie chcesz wyjechać?
Użytkownik: Muszę być w Zurychu przed 9:XNUMX.
Asystent: OK, więc możesz polecieć samolotem BZ36294. Wyjeżdża o 6.30:8 i przylatuje o XNUMX:XNUMX. Mam kupić ci bilet?
Użytkownik: Tak, dziękuję.
Maksyma sposobu
Wreszcie maksyma manier głosi, że nasze akty mowy powinny być jasne, zwięzłe i uporządkowane, unikając dwuznaczności i niejasności wypowiedzi. Twój wirtualny asystent powinien unikać żargonu technicznego i wewnętrznego, a preferować proste, powszechnie zrozumiałe sformułowania.
Chociaż zasady Grice'a obowiązują w przypadku wszystkich rozmów niezależnie od konkretnej dziedziny, LLM nie przeszkoleni specjalnie do prowadzenia rozmów często ich nie spełniają. Dlatego też podczas kompilowania danych szkoleniowych ważne jest, aby mieć wystarczającą liczbę próbek dialogów, które umożliwią modelowi nauczenie się tych zasad.
Dziedzina projektowania konwersacyjnego rozwija się dość szybko. Niezależnie od tego, czy budujesz już produkty AI, czy myślisz o swojej ścieżce kariery w AI, zachęcam Cię do głębszego zgłębienia tego tematu (por. doskonałe wprowadzenia w [5] i [6]). W miarę jak sztuczna inteligencja staje się towarem, dobry projekt w połączeniu ze strategią dotyczącą danych, którą można obronić, staną się dwoma ważnymi wyróżnikami produktów AI.
Podsumowanie
Podsumujmy najważniejsze wnioski z artykułu. Dodatkowo na rysunku 5 przedstawiono „ściągawkę” z głównymi punktami, którą można pobrać jako odniesienie.
- LLM ulepszają konwersacyjną sztuczną inteligencję: modele wielkojęzykowe (LLM) znacznie poprawiły jakość i skalowalność konwersacyjnych aplikacji AI w różnych branżach i przypadkach użycia.
- Konwersacyjna sztuczna inteligencja może wnieść wiele wartości do aplikacji, które mają wiele podobnych żądań użytkowników (np. obsługa klienta) lub które wymagają dostępu do dużej ilości nieustrukturyzowanych danych (np. zarządzanie wiedzą).
- Dane: Dostosowanie LLM do zadań konwersacyjnych wymaga wysokiej jakości danych konwersacyjnych, które ściśle odzwierciedlają interakcje w świecie rzeczywistym. Dane generowane przez crowdsourcing i LLM mogą być cennymi zasobami do skalowania gromadzenia danych.
- Składanie systemu: opracowywanie konwersacyjnych systemów sztucznej inteligencji to iteracyjny i eksperymentalny proces obejmujący ciągłą optymalizację danych, dostrajanie strategii i integrację komponentów.
- Nauczanie umiejętności konwersacyjnych w LLM: Dostrajanie LLM obejmuje szkolenie ich w zakresie rozpoznawania i reagowania na określone intencje i sytuacje komunikacyjne.
- Dodawanie danych zewnętrznych za pomocą wyszukiwania semantycznego: Integracja zewnętrznych i wewnętrznych źródeł danych za pomocą wyszukiwania semantycznego poprawia reakcje sztucznej inteligencji, zapewniając informacje bardziej istotne kontekstowo.
- Pamięć i świadomość kontekstu: Skuteczne systemy konwersacyjne muszą utrzymywać świadomość kontekstu, w tym śledzić historię bieżącej rozmowy i przeszłych interakcji, aby zapewnić znaczące i spójne odpowiedzi.
- Ustawianie poręczy: aby zapewnić odpowiedzialne zachowanie, konwersacyjne systemy sztucznej inteligencji powinny wykorzystywać poręcze, aby zapobiegać niedokładnościom, halucynacjom i naruszeniom prywatności.
- Projektowanie person: Zaprojektowanie spójnej osobowości dla asystenta konwersacyjnego jest niezbędne do stworzenia spójnego i markowego doświadczenia użytkownika. Charakterystyka persony powinna być zgodna z atrybutami Twojego produktu i marki.
- Głos a czat: wybór między interfejsem głosowym a czatem zależy od takich czynników, jak otoczenie fizyczne, kontekst emocjonalny, funkcjonalność i wyzwania projektowe. Weź pod uwagę te czynniki, decydując się na interfejs konwersacyjnej sztucznej inteligencji.
- Integracja w różnych kontekstach: konwersacyjną sztuczną inteligencję można zintegrować w różnych kontekstach, w tym z drugimi pilotami, syntetycznymi ludźmi, cyfrowymi bliźniakami i bazami danych, każdy z konkretnymi przypadkami użycia i wymaganiami.
- Przestrzeganie zasady współpracy: przestrzeganie zasad ilości, jakości, trafności i sposobu prowadzenia rozmów może sprawić, że interakcje z konwersacyjną sztuczną inteligencją będą bardziej pomocne i przyjazne dla użytkownika.
Referencje
[1] Heng-Tze Chen i in. 2022. LaMDA: w kierunku bezpiecznych, uziemionych i wysokiej jakości modeli dialogów do wszystkiego.
[2] OpenAI. 2022. CzatGPT: Optymalizacja modeli językowych dla dialogu. Pobrano 13 stycznia 2022 r.
[3] Patrick Lewis i in. 2020. Generowanie rozszerzone o odzyskiwanie dla zadań NLP wymagających dużej wiedzy.
[4] Paweł Grice. 1989. Studia nad drogą słów.
[5] Cathy Perła. 2016. Projektowanie głosowych interfejsów użytkownika.
[6] Michael Cohen i in. 2004. Projekt głosowego interfejsu użytkownika.
Uwaga: wszystkie zdjęcia są autorstwa autora, chyba że zaznaczono inaczej.
Ten artykuł został pierwotnie opublikowany w W kierunku nauki o danych i ponownie opublikowane w TOPBOTS za zgodą autora.
Podoba ci się ten artykuł? Zarejestruj się, aby otrzymywać więcej aktualizacji badań AI.
Damy Ci znać, gdy wydamy więcej artykułów podsumowujących takich jak ten.
Związane z
- Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
- PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
- PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
- PlatonESG. Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
- Platon Zdrowie. Inteligencja w zakresie biotechnologii i badań klinicznych. Dostęp tutaj.
- Źródło: https://www.topbots.com/redefining-conversational-ai-with-large-language-models/
- :ma
- :Jest
- :nie
- :Gdzie
- $W GÓRĘ
- 1
- 10
- 11
- 110
- 12
- 125
- 13
- 14
- 17
- 200
- 2016
- 2020
- 2022
- 30
- 32
- 35%
- 41
- 65
- 7
- 70
- 8
- 9
- a
- zdolności
- zdolność
- O nas
- bezwzględny
- Akceptuj
- akceptacja
- dostęp
- dostęp
- dostępny
- pomieścić
- wykonać
- Stosownie
- Konto
- Gromadź BTC
- precyzja
- dokładny
- w poprzek
- działać
- aktywnie
- zajęcia
- działalność
- Dzieje Apostolskie
- faktycznie
- Dodaj
- dodanie
- Dodatkowy
- Dodatkowe informacje
- do tego
- adres
- Przyjęcie
- zaliczki
- Korzyść
- Zalety
- doradzać
- Po
- ponownie
- przed
- Agent
- agentów
- temu
- AI
- ai badania
- Systemy SI
- linia lotnicza
- AL
- wyrównać
- wyrównany
- Wszystkie kategorie
- dopuszczać
- pozwala
- prawie
- wzdłuż
- już
- również
- alternatywny
- alternatywy
- am
- Dwuznaczność
- wśród
- an
- w czasie rzeczywistym sprawiają,
- i
- Anonimowy
- Inne
- przewidywać
- każdy
- Aplikacja
- zjawić się
- Zastosowanie
- aplikacje
- dotyczy
- podejście
- właściwy
- mobilne i webowe
- SĄ
- obszary
- na około
- Przybywa
- Sztuka
- artykuł
- towary
- sztuczny
- AS
- zapytać
- pytanie
- oszacować
- oceniać
- oszacowanie
- kapitał
- pomagać
- Asystent
- asystenci
- powiązany
- At
- Próby
- Uwaga
- atrybuty
- zwiększać
- zwiększona
- autor
- automatycznie
- dostępny
- uniknąć
- unikając
- świadomość
- z dala
- z powrotem
- z powrotem w grze
- Bilans
- piłka
- baza
- na podstawie
- podstawowy
- BE
- bo
- stają się
- staje się
- być
- zanim
- za
- jest
- wiara
- uwierzyć
- umiłowani
- korzyści
- Berlin
- BEST
- Najlepsze praktyki
- Ulepsz Swój
- pomiędzy
- Poza
- stronniczość
- Bit
- bloking
- książka
- obie
- boty
- Pudełko
- marka
- markowe
- branding
- naruszenia
- Przełamując
- przynieść
- szerszy
- przyniósł
- budować
- Zbuduj chatbota
- Budowanie
- wybudowany
- biznes
- zajęty
- ale
- przycisk
- guziki
- kupować
- Zakup
- by
- nazywa
- Połączenia
- oprawa ołowiana witrażu
- CAN
- anulowany
- nie może
- możliwości
- Kariera
- samochody
- walizka
- Etui
- Cathy
- Centrum
- wyzwanie
- wyzwania
- wyzwanie
- szansa
- zmieniony
- Kanał
- charakter
- Charakterystyka
- charakteryzuje
- chatbot
- nasze chatboty
- ChatGPT
- chen
- dziecko
- wybór
- wybory
- Wybierając
- jasny
- wyraźnie
- Zamknij
- dokładnie
- Odzież
- Chmura
- kod
- Cohen
- ZGODNY
- spoisty
- współpraca
- kolekcja
- połączyć
- jak
- byliśmy spójni, od początku
- wygodny
- towar
- komunikować
- Komunikacja
- Komunikacja
- Firmy
- sukcesy firma
- w porównaniu
- rywalizować
- kompleks
- składnik
- składniki
- koncert
- zwięzły
- Prowadzenie
- połączony
- Podłączanie
- połączenia
- Rozważać
- wobec
- zgodny
- stały
- stale
- budowy
- Budowa
- skontaktuj się
- zawartość
- kontekst
- konteksty
- kontekstowy
- bez przerwy
- umowa
- kontrast
- przyczynić się
- przyczyniając
- wkład
- kontrowersyjny
- Rozmowa
- konwersacyjny
- konwersacyjna sztuczna inteligencja
- Interfejsy konwersacyjne
- rozmowy
- gotowanie
- Chłodny
- współpraca
- spółdzielnia
- rdzeń
- Odpowiedni
- mógłby
- Para
- kurs
- pokryty
- Stwórz
- Tworzenie
- kreatywność
- Stworzenia
- wiarygodny
- Kryteria
- Crowdsourcing
- Aktualny
- Obecnie
- krzywa
- klient
- Obsługa klienta
- Obsługa klienta
- Klientów
- dane
- strategia danych
- Baza danych
- Bazy danych
- martwy
- sprawa
- lat
- zdecydować
- Decydowanie
- Decyzje
- głębiej
- określić
- Zdecydowanie
- Stopień
- opóźnienie
- zależy
- opis
- Wnętrze
- projektant
- projektanci
- projektowanie
- życzenia
- szczegółowe
- detale
- rozwijać
- rozwinięty
- deweloperzy
- rozwijanie
- oprogramowania
- urządzenie
- urządzenia
- Dialog
- Dialog
- różne
- różnicujący
- trudny
- KOPAĆ
- Digest
- cyfrowy
- Cyfrowe bliźniaki
- cyfrowy świat
- bezpośrednio
- odkrycie
- Wyświetlacz
- 分配
- nurkować
- do
- dokumentacja
- dokumenty
- robi
- Pies
- robi
- domena
- zrobić
- nie
- Skazany
- pobieranie
- kierowca
- z powodu
- podczas
- e
- e-commerce
- E i T
- każdy
- łatwiej
- edukacyjny
- Efektywne
- efektywność
- wydajny
- bądź
- Elementy
- osadzanie
- wyłonił
- powstanie
- wyłania się
- Empatia
- pracowników
- upoważniać
- umożliwiając
- zachęcać
- zakończenia
- starania
- Nieskończony
- zobowiązany
- silniki
- wzmacniać
- ulepszenia
- Poprawia
- przyjemny
- dość
- wzbogacać
- Wzbogacony
- wzbogacanie
- zapewnić
- Enterprise
- szczególnie
- niezbędny
- itp
- oceny
- Parzyste
- ostatecznie
- EVER
- dowód
- dokładnie
- przykład
- przykłady
- doskonała
- Z wyjątkiem
- nadmiar
- podniecony
- ekscytujący
- wykonać
- Przede wszystkim system został opracowany
- oczekiwać
- spodziewany
- drogi
- doświadczenie
- eksperymentalny
- Wyjaśniać
- wyjaśnienie
- wyrażenie
- zewnętrzny
- Twarz
- czynnik
- fabryki
- Czynniki
- Faktyczny
- FAIL
- nie
- Brak
- Spada
- fałszywy
- znajomy
- fascynujący
- Moda
- szybciej
- informacja zwrotna
- czuć
- Postać
- filtrować
- sfinalizować
- Znajdź
- i terminów, a
- dopasować
- Fix
- lot
- Loty
- pływ
- Płynący
- Przepływy
- Skupiać
- obserwuj
- następnie
- następujący
- W razie zamówieenia projektu
- Nasz formularz
- formalny
- formułowanie
- na szczęście
- Naprzód
- znaleziono
- cztery
- częsty
- często
- od
- z przodu
- frustrujące
- Spełnić
- zabawa
- Funkcjonalność
- fundamentalny
- dalej
- przyszłość
- gier
- szczelina
- zbierać
- Ogólne
- ogólnie
- Generować
- generacja
- otrzymać
- GitHub
- dany
- Go
- Goes
- będzie
- dobry
- wykresql
- wspaniały
- Zielony
- Ziemia
- poradnictwo
- poprowadzi
- wytyczne
- miał
- siła robocza
- zdarzyć
- dzieje
- Ciężko
- szkodliwy
- Have
- he
- Zdrowie
- słyszeć
- pomoc
- pomocny
- jej
- tutaj
- Ukryty
- Wysoki
- wysokiej jakości
- wyższy
- wysoko
- jego
- historia
- Dobranie (Hit)
- holistyczne
- nadzieję
- ma nadzieję,
- HOT
- W jaki sposób
- Jednak
- HTML
- http
- HTTPS
- olbrzymi
- człowiek
- Ludzie
- Humor
- Szum
- i
- idealnie
- identyfikatory
- identyfikuje
- if
- ilustruje
- obraz
- zdjęcia
- wyobraźnia
- obraz
- wciągające
- realizowane
- ważny
- ulepszony
- poprawy
- in
- informacje
- zawierać
- Włącznie z
- włączać
- Zwiększać
- niewiarygodnie
- niezależnie
- indywidualny
- przemysłowa
- zadać
- Informacja
- informacyjny
- nieodłączny
- początkowy
- zainicjować
- Wejścia
- zamiast
- integrować
- zintegrowany
- Integracja
- integracja
- zamiar
- celowo
- interakcji
- wzajemne oddziaływanie
- Interakcje
- interaktywne
- Interaktywne systemy odpowiedzi głosowej
- zainteresowany
- Interfejs
- interfejsy
- wewnętrzny
- splecione
- najnowszych
- przedstawiać
- wprowadzono
- Wprowadzenie
- wstępy
- intuicyjny
- inwestycja
- rekomendacje inwestycyjne
- zaangażowany
- dotyczy
- z udziałem
- izolacja
- problem
- problemy
- IT
- szt
- iteracja
- iteracje
- JEGO
- samo
- IVR
- styczeń
- żargon
- Praca
- połączenie
- jpg
- właśnie
- Trzymać
- Klawisz
- słowa kluczowe
- Zabija
- Uprzejmy
- Wiedzieć
- wiedza
- Zarządzanie wiedzą
- znany
- Etykiety
- labirynt
- Brak
- język
- Języki
- duży
- na dużą skalę
- większe
- Utajenie
- później
- prawnik
- prowadzący
- Wyprowadzenia
- UCZYĆ SIĘ
- dowiedziałem
- nauka
- Pozostawiać
- pozostawiając
- Dziedzictwo
- Regulamin
- LEND
- mniej
- niech
- poziom
- poziomy
- Dźwignia
- dźwignia
- lewarowanie
- Chwytak
- Biblioteka
- leży
- lubić
- LIMIT
- Ograniczony
- językoznawstwo
- Słuchanie
- relacja na żywo
- logika
- długo
- Popatrz
- poszukuje
- WYGLĄD
- straty
- Partia
- dużo
- maszyna
- zrobiony
- pocztowy
- Główny
- utrzymać
- utrzymanie
- poważny
- robić
- WYKONUJE
- Dokonywanie
- zarządzane
- i konserwacjami
- System zarządzania
- Zarządzający
- sposób
- wiele
- rynek
- możliwości rynkowe
- Mecz
- dopasowane
- materiał
- materiały
- Maksymalna szerokość
- Maksyma
- me
- oznaczać
- wymowny
- znaczy
- Media
- średni
- Spotkanie
- Użytkownicy
- Pamięć
- psychika
- Zdrowie psychiczne
- metody
- Michał
- Microsoft
- może
- milisekund
- zaminowany
- zwodniczy
- nieporozumienie
- model
- modele
- Nowoczesne technologie
- moment
- miesięcy
- nastrój
- morał
- jeszcze
- bardziej wydajny
- rano
- większość
- przeważnie
- przeniesienie
- dużo
- wielokrotność
- wielość
- musi
- my
- sam
- Nazwa
- mianowicie
- Naturalny
- Język naturalny
- Przetwarzanie języka naturalnego
- niezbędny
- konieczność
- Potrzebować
- potrzebne
- wymagania
- ujemny
- nigdy
- Nowości
- nowa aplikacja
- Następny
- nlp
- Nie
- nietechniczne
- żaden
- normalnie
- zauważyć
- Pojęcie
- już dziś
- niuans
- numer
- liczny
- Łupina od orzecha
- przedmiot
- cel
- obiekty
- of
- poza
- oferta
- oferowany
- Oferty
- Biurowe
- często
- on
- pewnego razu
- ONE
- tylko
- koncepcja
- OpenAI
- operacyjny
- operacje
- Opinia
- Szanse
- Okazja
- optymalizacja
- Optymalizacja
- zoptymalizowane
- optymalizacji
- Option
- Opcje
- or
- Orange
- zamówienie
- pierwotnie
- Inne
- Pozostałe
- Inaczej
- ludzkiej,
- na zewnątrz
- Wyjścia
- zewnętrzne
- koniec
- przesadnie
- przytłaczający
- własny
- strona
- Papiery
- paradygmat
- wzmacniacz
- przyjęcie
- minęło
- Przeszłość
- Patenty
- ścieżka
- cierpliwie
- Patrick
- wzory
- Paweł
- Ludzie
- dla
- spostrzegany
- wykonać
- pozwolenie
- osoba
- osobisty
- osobowość
- Osobiście
- Piotr
- fizyczny
- wybierać
- Zdjęcia
- pii
- pitching
- Miejsce
- Równina
- planowanie
- plato
- Analiza danych Platona
- PlatoDane
- gra
- punkt
- zwrotnica
- biedny
- muzyka pop
- Popularny
- position
- pozytywny
- możliwość
- możliwy
- potencjał
- potencjalnie
- praktyka
- praktyki
- przepowiednia
- preferencje
- przedstawione
- zapobiec
- zasada
- Zasady
- prywatność
- prywatny
- kontynuować
- wygląda tak
- obrobiony
- procesów
- przetwarzanie
- Wytworzony
- Produkt
- Produkty
- profesjonalny
- profile
- Programowanie
- Przewiduje
- wybitny
- promuje
- protokół
- zapewniać
- zapewnia
- że
- Psychologia
- publiczny
- opublikowany
- cel
- Naciskać
- wypycha
- jakość
- ilość
- zapytania
- pytania
- szybko
- rankingu
- Ranking
- raczej
- reakcja
- gotowy
- real
- Prawdziwy świat
- Rzeczywistość
- uznanie
- rozpoznać
- rozpoznawanie
- zalecenia
- powtarzające się
- Czerwony
- Przedefiniowanie
- zmniejszyć
- odnosić się
- odniesienie
- referencje
- , o którym mowa
- odnosi
- odzwierciedlić
- odzwierciedla
- uczenie się wzmacniania
- związane z
- zwolnić
- mających znaczenie
- opierając się
- pozostawać
- powtarzać
- otrzymuje
- odpowiadać
- zażądać
- wywołań
- wymagany
- wymagania
- Wymaga
- Badania naukowe
- przypomina
- Rozkład
- Zasoby
- Odpowiadać
- odpowiadanie
- odpowiedź
- Odpowiedzi
- odpowiedzialny
- restauracja
- wynikły
- Efekt
- ujawniać
- Bogaty
- prawo
- Ryzyko
- Zasada
- reguły
- run
- "bezpiecznym"
- Bezpieczeństwo
- Powiedział
- taki sam
- klientów
- zapisywane
- powiedzieć
- Skalowalność
- Skala
- skalowaniem
- naukowy
- zakres
- wyniki
- Ekran
- Szukaj
- druga
- sekund
- Sekcja
- widzieć
- widziany
- wrażliwy
- Serie
- usługa
- zestaw
- ustawienie
- w panelu ustawień
- kilka
- powinien
- pokazać
- pokazane
- Targi
- bok
- znak
- znacznie
- podobny
- Prosty
- prostota
- ponieważ
- Siedzący
- sytuacja
- sytuacje
- umiejętności
- mały
- gładsze
- skrawek
- So
- Obserwuj Nas
- uspołecznić
- Miękki
- sprzedany
- rozwiązanie
- Rozwiązania
- kilka
- Ktoś
- coś
- czasami
- Wkrótce
- Źródła
- Typ przestrzeni
- rozpiętości
- mówić
- Głośnik
- Głośniki
- Mówiąc
- wyspecjalizowanym
- specyficzny
- swoiście
- specyficzność
- przemówienie
- Rozpoznawanie mowy
- prędkość
- SQL
- początek
- rozpoczęty
- rozpocznie
- Zestawienie sprzedaży
- oświadczenia
- Zjednoczone
- stacja
- statystyczny
- pobyt
- sterować
- sterowniczy
- kierownica
- Ewolucja krok po kroku
- Cel
- Nadal
- zatrzymanie
- przechowywany
- Historia
- bezpośredni
- strategie
- Strategia
- opływowy
- stres
- Struktura
- zbudowany
- badania naukowe
- styl
- znaczny
- sukces
- udany
- Z powodzeniem
- taki
- Wskazuje
- odpowiedni
- apartament
- streszczać
- PODSUMOWANIE
- wsparcie
- pewnie
- Huśtawka
- Przełącznik
- symboliczny
- składnia
- syntetyczny
- system
- systemy
- stół
- Brać
- Takeaways
- Mówić
- rozmawiać
- Opukanie
- cel
- cele
- Zadanie
- zadania
- nauczony
- Nauczanie
- zespół
- Członkowie Zespołu
- Techniczny
- technika
- Technologia
- telezdrowie
- REGULAMIN
- terytoria
- Testowanie
- XNUMX
- niż
- dzięki
- że
- Połączenia
- Przyszłość
- Informacje
- świat
- ich
- Im
- sami
- następnie
- Tam.
- Te
- one
- rzeczy
- myśleć
- Myślący
- Trzeci
- to
- tych
- trzy
- Przez
- A zatem
- bilet
- bilety
- czas
- czasy
- do
- razem
- żeton
- jutro
- TON
- także
- narzędzia
- TOPBOTY
- aktualny
- w kierunku
- w kierunku
- śledzić
- Śledzenie
- Handel
- tradycyjny
- Pociąg
- przeszkolony
- Trening
- Przekształcać
- przekształcony
- przejście
- przejścia
- przekazać
- rozsierdzony
- prawdziwy
- próbować
- SKRĘCAĆ
- Obrócenie
- włącza
- Bliźnięta
- drugiej
- typowy
- ui
- przechodzi
- zrozumieć
- zrozumiały
- zrozumienie
- wyjątkowy
- uniwersalny
- uniwersalnie
- nowomodny
- Nowości
- aktualizowanie
- us
- użyteczność
- posługiwać się
- używany
- Użytkownik
- Doświadczenie użytkownika
- Interfejs użytkownika
- projekt interfejsu użytkownika
- łatwy w obsłudze
- Użytkownicy
- zastosowania
- za pomocą
- ux
- UX projekt
- projektant ux
- projektanci ux
- ważny
- Cenny
- wartość
- różnorodność
- różnorodny
- wszechstronny
- Przeciw
- początku.
- przez
- Ofiara
- Wirtualny
- Wirtualny asystent
- Wirtualna rzeczywistość
- Głos
- Voice Assistant
- vs
- wulgarny
- W3
- Ściana
- chcieć
- chce
- była
- fale
- Droga..
- sposoby
- we
- Bogactwo
- Strona internetowa
- strony internetowe
- DOBRZE
- były
- Co
- Co to jest
- Koło
- jeśli chodzi o komunikację i motywację
- ilekroć
- czy
- który
- Podczas
- KIM
- dlaczego
- będzie
- okna
- w
- bez
- słowa
- Praca
- pracowników
- świat
- martwiąc
- by
- napisać
- rok
- lat
- z żółtymi
- ty
- młody
- Twój
- zefirnet
- Zurych