джерело: rawpixel.com
Розмовний штучний інтелект – це програма LLM, яка викликала багато шуму та уваги завдяки своїй масштабованості в багатьох галузях і сценаріях використання. Незважаючи на те, що розмовні системи існують десятиліттями, LLMs принесли якісний поштовх, необхідний для їх широкомасштабного впровадження. У цій статті ми будемо використовувати розумову модель, показану на малюнку 1, щоб розібрати розмовні додатки ШІ (див. Створення продуктів ШІ з цілісною ментальною моделлю для ознайомлення з ментальною моделлю). Розглянувши ринкові можливості та бізнес-цінність розмовних систем штучного інтелекту, ми пояснимо додаткову «машину» з точки зору даних, тонкого налаштування LLM і розмовного дизайну, які необхідно налаштувати, щоб зробити розмови не тільки можливими, але й корисними. і приємно.
1. Можливості, цінності та обмеження
Традиційний UX-дизайн побудований навколо безлічі штучних елементів UX, рухів, торкань і клацань, що потребує навчання для кожної нової програми. Використовуючи розмовний штучний інтелект, ми можемо позбавитися від цієї зайнятості, замінивши її елегантним досвідом природної розмови, під час якої ми можемо забути про переходи між різними програмами, вікнами та пристроями. Ми використовуємо мову, наш універсальний і знайомий протокол для спілкування, щоб взаємодіяти з різними віртуальними помічниками (VA) і виконувати наші завдання.
Розмовні інтерфейси користувача не є новинкою. Інтерактивні системи голосового відповіді (IVR) і чат-боти існують з 1990-х років, і за основними досягненнями в НЛП уважно послідували хвилі надії та розвитку інтерфейсів голосу та чату. Однак до часу LLM більшість систем були реалізовані в символічній парадигмі, спираючись на правила, ключові слова та розмовні шаблони. Вони також були обмежені певним, заздалегідь визначеним доменом «компетенції», і користувачі, які виходили за межі цього, незабаром потрапляли в глухий кут. Загалом, ці системи були видобуті з потенційними точками збою, і після кількох невдалих спроб багато користувачів так і не повернулися до них. Наступний малюнок ілюструє приклад діалогу. Користувач, який бажає замовити квитки на певний концерт, терпляче проходить детальний процес опитування, щоб у кінці з’ясувати, що концерт аншлаг.
Як передова технологія LLM може вивести розмовні інтерфейси на новий рівень якості та задоволення користувачів. Розмовні системи тепер можуть відображати набагато ширші знання світу, лінгвістичну компетенцію та розмовні здібності. Використовуючи попередньо підготовлені моделі, їх також можна розробити за набагато коротший проміжок часу, оскільки виснажлива робота зі складання правил, ключових слів і діалогових потоків тепер замінена статистичними знаннями LLM. Давайте розглянемо два видатних додатки, де розмовний штучний інтелект може забезпечити масштабну цінність:
- Підтримка клієнтів і, загалом, програми, які використовуються великою кількістю користувачів, які часто роблять подібні запити. Тут компанія, що надає підтримку клієнтів, має явну інформаційну перевагу над користувачем і може використовувати це для створення більш інтуїтивно зрозумілого та приємного досвіду користувача. Розглянемо випадок перебронювання рейсу. Для мене, я досить часто літаю, це буває 1–2 рази на рік. У проміжках я забуваю деталі процесу, не кажучи вже про інтерфейс користувача конкретної авіакомпанії. Навпаки, служба підтримки клієнтів авіакомпанії має запити на перебронювання на передньому плані та в центрі своїх операцій. Замість того, щоб показувати процес повторного бронювання через складний графічний інтерфейс, його логіку можна «приховати» від клієнтів, які звертаються до служби підтримки, і вони можуть використовувати мову як природний канал для повторного бронювання. Звичайно, все одно залишиться «довгий хвіст» менш звичних запитів. Наприклад, уявіть спонтанну зміну настрою, яка спонукає бізнес-клієнта додати свого улюбленого собаку як надлишковий багаж на заброньований рейс. Ці більш індивідуальні запити можна передати агентам-людинам або охопити через внутрішню систему управління знаннями, підключену до віртуального помічника.
- Управління знаннями яка ґрунтується на великій кількості даних. Для багатьох сучасних компаній внутрішні знання, які вони накопичують роками роботи, ітерації та навчання, є основним активом і відмінною рисою — якщо вони зберігаються, керуються та мають доступ до них ефективним способом. Сидячи на великій кількості даних, прихованих у інструментах для співпраці, внутрішніх вікі-сайтах, базах знань тощо, вони часто не можуть перетворити їх у практичні знання. Коли працівники звільняються, з’являються нові працівники, і ви так і не завершите сторінку документації, яку розпочали три місяці тому, цінні знання стають жертвою ентропії. Стає все важче знайти шлях через внутрішній лабіринт даних і отримати в руки ті фрагменти інформації, які потрібні в конкретній бізнес-ситуації. Це призводить до величезних втрат ефективності інтелектуальних працівників. Щоб вирішити цю проблему, ми можемо доповнити LLM семантичним пошуком у внутрішніх джерелах даних. LLM дозволяють використовувати запитання природною мовою замість складних формальних запитів, щоб ставити запитання до цієї бази даних. Таким чином користувачі можуть зосередитися на своїх інформаційних потребах, а не на структурі бази знань чи синтаксисі мови запитів, такої як SQL. Будучи текстовими, ці системи працюють з даними в багатому семантичному просторі, створюючи значущі зв’язки «під капотом».
Окрім цих основних сфер застосування, існує безліч інших програм, таких як телемедицина, асистенти психічного здоров’я та освітні чат-боти, які можуть швидше та ефективніше оптимізувати UX і приносити користь своїм користувачам.
Якщо цей поглиблений навчальний контент стане для вас корисним, ви можете підпишіться на наш список розсилки досліджень ШІ щоб отримати попередження, коли ми випускаємо новий матеріал.
2. Дані
LLM спочатку не навчені брати участь у вільній невеликій розмові чи більш змістовних розмовах. Навпаки, вони вчаться генерувати наступний токен на кожному кроці логічного висновку, що зрештою призводить до зв’язного тексту. Ця мета низького рівня відрізняється від виклику людської розмови. Розмова неймовірно інтуїтивно зрозуміла для людей, але вона стає неймовірно складною та нюансованою, коли ви хочете навчити машину робити це. Для прикладу розглянемо фундаментальне поняття намірів. Коли ми використовуємо мову, ми робимо це з певною метою, яка є нашим комунікативним наміром — це може бути передача інформації, спілкування або попросити когось щось зробити. У той час як перші два досить прості для LLM (якщо він бачив необхідну інформацію в даних), останній вже більш складний. LLM потрібно не тільки об’єднати та структурувати пов’язану інформацію у послідовний спосіб, але й встановити правильний емоційний тон з точки зору м’яких критеріїв, таких як формальність, креативність, гумор тощо. Це виклик для розмовного дизайну (пор. розділ 5), який тісно переплітається із завданням створення даних тонкого налаштування.
Здійснення переходу від створення класичної мови до розпізнавання та реагування на конкретні комунікативні наміри є важливим кроком до кращого використання та сприйняття розмовних систем. Що стосується всіх спроб тонкого налаштування, це починається зі складання відповідного набору даних.
Дані тонкого налаштування повинні бути якомога ближче до (майбутнього) реального розподілу даних. По-перше, це повинні бути розмовні (діалогічні) дані. По-друге, якщо ваш віртуальний помічник буде спеціалізуватися на певній області, вам слід спробувати зібрати дані для точного налаштування, які відображають необхідні знання області. По-третє, якщо є типові потоки та запити, які часто повторюватимуться у вашій програмі, як у випадку з підтримкою клієнтів, спробуйте включити їх різноманітні приклади у свої навчальні дані. У наведеній нижче таблиці показано зразок даних тонкого налаштування розмови з Набір даних 3K Conversations для ChatBot, який є у вільному доступі на Kaggle:
Створення розмовних даних вручну може стати дорогим заходом — краудсорсинг і використання LLM, які допоможуть вам генерувати дані, є двома способами розширення. Після того як дані діалогу зібрано, розмови потрібно оцінити та примітити. Це дає змогу показувати як позитивні, так і негативні приклади вашій моделі та підштовхувати її до вибору характеристик «правильних» розмов. Оцінка може відбуватися або за допомогою абсолютних балів, або за ранжуванням різних варіантів між собою. Останній підхід веде до більш точного точного налаштування даних, оскільки люди зазвичай краще ранжують кілька варіантів, ніж оцінюють їх ізольовано.
Маючи свої дані, ви готові до точного налаштування моделі та збагачення її додатковими можливостями. У наступному розділі ми розглянемо тонке налаштування, інтеграцію додаткової інформації з пам’яті та семантичного пошуку, а також підключення агентів до вашої розмовної системи, щоб надати їй можливість виконувати певні завдання.
3. Складання розмовної системи
Типова розмовна система побудована з розмовним агентом, який керує та координує компоненти та можливості системи, такі як LLM, пам’ять і зовнішні джерела даних. Розробка розмовних систем штучного інтелекту є дуже експериментальним і емпіричним завданням, і ваші розробники будуть постійно рухатися вперед і назад між оптимізацією ваших даних, удосконаленням стратегії тонкого налаштування, використанням додаткових компонентів і вдосконалень і тестуванням результатів. . Нетехнічні члени команди, включаючи менеджерів із продуктів і UX-дизайнерів, також постійно тестуватимуть продукт. Грунтуючись на їхній діяльності з виявлення клієнтів, вони мають чудову позицію, щоб передбачити стиль і зміст розмови майбутніх користувачів і повинні активно ділитися цими знаннями.
3.1 Навчання навичкам розмови для вашого LLM
Для точного налаштування вам потрібні ваші дані для точного налаштування (див. розділ 2) і попередньо підготовлений LLM. LLM вже знають багато про мову та світ, і наше завдання полягає в тому, щоб навчити їх принципам розмови. Під час тонкого налаштування цільовими виходами є тексти, а модель буде оптимізовано для створення текстів, максимально схожих на цільові. Для контрольованого тонкого налаштування вам спочатку потрібно чітко визначити розмовне завдання ШІ, яке ви хочете виконати моделлю, зібрати дані та запустити та повторити процес тонкого налаштування.
У зв’язку з ажіотажем навколо LLM з’явилися різноманітні методи тонкого налаштування. Для досить традиційного прикладу тонкого налаштування для розмови ви можете звернутися до опису моделі LaMDA.[1] LaMDA було налаштовано у два етапи. По-перше, дані діалогу використовуються для навчання моделі розмовним навичкам («генеративна» тонка настройка). Потім мітки, створені анотаторами під час оцінки даних, використовуються для навчання класифікаторів, які можуть оцінювати результати моделі за бажаними атрибутами, які включають чутливість, специфічність, цікавість і безпеку («дискримінаційне» тонке налаштування). Потім ці класифікатори використовуються для спрямування поведінки моделі щодо цих атрибутів.
Крім того, важливою характеристикою LLM є фактична обґрунтованість — здатність базувати свої результати на достовірній зовнішній інформації. Щоб забезпечити фактичну обґрунтованість і мінімізувати галюцинації, LaMDA було налаштовано за допомогою набору даних, який передбачає звернення до зовнішньої системи пошуку інформації щоразу, коли потрібні зовнішні знання. Таким чином, модель навчилася спочатку отримувати фактичну інформацію щоразу, коли користувач робив запит, який вимагав нових знань.
Ще одна популярна техніка тонкого налаштування – підкріплююче навчання зі зворотного зв’язку людини (RLHF) [2]. RLHF «перенаправляє» процес навчання LLM із простого, але штучного завдання передбачення наступного токена на вивчення людських уподобань у певній комунікативній ситуації. Ці переваги людини безпосередньо закодовані в даних навчання. Під час процесу анотації люди отримують підказки та або пишуть бажану відповідь, або ранжують серію наявних відповідей. Поведінка LLM потім оптимізується відповідно до переваг людини.
3.2 Додавання зовнішніх даних і семантичний пошук
Крім компіляції розмов для точного налаштування моделі, ви можете покращити свою систему спеціальними даними, які можна використовувати під час розмови. Наприклад, вашій системі може знадобитися доступ до зовнішніх даних, таких як патенти чи наукові статті, або внутрішніх даних, таких як профілі клієнтів або ваша технічна документація. Зазвичай це робиться за допомогою семантичного пошуку (також відомого як пошуково-доповнена генерація, або RAG)[3]. Додаткові дані зберігаються в базі даних у вигляді семантичних вкладень (див. цю статтю для пояснення вбудовування та подальших посилань). Коли надходить запит користувача, він попередньо обробляється та перетворюється на семантичне вбудовування. Потім семантичний пошук визначає документи, які найбільше відповідають запиту, і використовує їх як контекст для підказки. Інтегруючи додаткові дані з семантичним пошуком, ви можете зменшити галюцинації та надати більш корисні, фактично обґрунтовані відповіді. Постійно оновлюючи базу даних вбудовування, ви також можете підтримувати знання та відповіді вашої системи в актуальному стані без постійного повторного запуску процесу тонкого налаштування.
3.3 Пам'ять і усвідомлення контексту
Уявіть, що ви йдете на вечірку і зустрічаєте Пітера, юриста. Ви захоплюєтеся і починаєте пропонувати легальний чат-бот, який зараз плануєте створити. Пітер виглядає зацікавленим, нахиляється до вас, хм і киває. У якийсь момент вам потрібна його думка щодо того, чи хоче він використовувати вашу програму. Замість інформативного твердження, яке б компенсувало ваше красномовство, ви чуєте: «Гм… що знову робив цей додаток?»
Неписаний договір спілкування між людьми передбачає, що ми слухаємо наших співрозмовників і будуємо власні мовленнєві дії на контексті, який ми спільно створюємо під час взаємодії. У соціальних умовах поява цього спільного розуміння характеризує плідну, збагачувальну розмову. У більш приземлених ситуаціях, як-от бронювання столика в ресторані чи купівля квитка на поїзд, це абсолютно необхідно для виконання завдання та забезпечення очікуваної цінності для користувача. Для цього ваш помічник повинен знати історію поточної розмови, а також історії минулих розмов — наприклад, він не повинен запитувати ім’я та інші особисті дані користувача знову і знову, коли він починає розмову.
Однією з проблем підтримки усвідомлення контексту є визначення кореференції, тобто розуміння того, на які об’єкти посилаються займенники. Люди інтуїтивно використовують багато контекстних підказок, коли вони інтерпретують мову — наприклад, ви можете попросити маленьку дитину: «Будь ласка, дістань зелену кульку з червоної коробки та принеси її мені», і дитина зрозуміє, що ви маєте на увазі м’яч , а не коробка. Для віртуальних помічників це завдання може бути досить складним, як показано в такому діалозі:
Помічник: Дякую, я зараз забронюю ваш рейс. Бажаєте також замовити їжу на рейс?
Користувач: Гм… чи можу я пізніше вирішити, чи хочу я це?
Помічник: На жаль, цей рейс не можна змінити або скасувати пізніше.
Тут помічник не розпізнає займенник it від користувача стосується не польоту, а їжі, тому потрібна ще одна ітерація, щоб виправити це непорозуміння.
3.4 Додаткові огорожі
Час від часу навіть найкращий магістр права буде погано поводитися та галюцинувати. У багатьох випадках галюцинації — це звичайна проблема точності — і, добре, ви повинні визнати, що жоден ШІ не є 100% точним. У порівнянні з іншими системами штучного інтелекту «відстань» між користувачем і штучним інтелектом досить мала. Звичайна проблема точності може швидко перетворитися на щось, що сприймається як токсичне, дискримінаційне або взагалі шкідливе. Крім того, оскільки LLM не мають внутрішнього розуміння конфіденційності, вони також можуть розкривати конфіденційні дані, такі як інформація, що ідентифікує особу (PII). Ви можете боротися з такою поведінкою, використовуючи додаткові огорожі. Такі інструменти, як Guardrails AI, Rebuff, NeMo Guardrails і Microsoft Guidance, дозволяють зменшити ризики вашої системи, сформулювавши додаткові вимоги до виходів LLM і блокуючи небажані виходи.
У розмовному ШІ можливі кілька архітектур. Наступна схема показує простий приклад того, як точно налаштований LLM, зовнішні дані та пам’ять можуть бути інтегровані розмовним агентом, який також відповідає за швидку конструкцію та огорожу.
4. Користувацький досвід і розмовний дизайн
Чарівність розмовних інтерфейсів полягає в їх простоті та одноманітності для різних програм. Якщо майбутнє користувальницьких інтерфейсів полягає в тому, що всі програми виглядатимуть більш-менш однаково, чи приречена робота UX-дизайнера? Однозначно ні — розмова — це мистецтво, якому потрібно навчити вашого магістра, щоб він міг вести корисні, природні та зручні розмови для ваших користувачів. Хороший розмовний дизайн з’являється, коли ми об’єднуємо наші знання з людської психології, лінгвістики та дизайну UX. Далі ми спочатку розглянемо два основні варіанти під час побудови розмовної системи, а саме, чи будете ви використовувати голос і/або чат, а також ширший контекст вашої системи. Потім ми розглянемо самі розмови та побачимо, як ви можете сформувати особистість свого помічника, навчивши його брати участь у корисних і спільних розмовах.
4.1 Голос проти чату
Розмовні інтерфейси можна реалізувати за допомогою чату або голосу. У двох словах, голос працює швидше, а чат дозволяє користувачам залишатися приватними та користуватися розширеними функціями інтерфейсу користувача. Давайте трохи глибше заглибимося в два варіанти, оскільки це одне з перших і найважливіших рішень, з якими вам доведеться зіткнутися під час створення розмовної програми.
Щоб вибрати між двома альтернативами, почніть із фізичного середовища, у якому використовуватиметься ваша програма. Наприклад, чому майже всі розмовні системи в автомобілях, наприклад ті, що пропонує Nuance Communications, засновані на голосі? Тому що руки водія вже зайняті і він не може постійно перемикатися між кермом і клавіатурою. Це також стосується інших видів діяльності, як-от приготування їжі, коли користувачі хочуть залишатися в потоці своїх дій під час використання вашого додатка. Автомобілі та кухні здебільшого є приватними, тому користувачі можуть відчути радість голосової взаємодії, не турбуючись про конфіденційність або про те, щоб турбувати інших. Навпаки, якщо ваш додаток використовуватиметься в публічному місці, наприклад в офісі, бібліотеці чи на вокзалі, голос може бути не вашим першим вибором.
Зрозумівши фізичну обстановку, подумайте про емоційну сторону. Голос можна використовувати навмисно для передачі тону, настрою та особистості — це додає цінності у вашому контексті? Якщо ви створюєте свою програму для дозвілля, голос може збільшити фактор задоволення, тоді як помічник для психічного здоров’я може вмістити більше співчуття та надати потенційно проблемному користувачеві ширший діапазон вираження. Навпаки, якщо ваша програма допомагатиме користувачам у професійній обстановці, як-от торгівля чи обслуговування клієнтів, більш анонімна текстова взаємодія може сприяти прийняттю об’єктивніших рішень і позбавить вас від клопоту надто емоційного досвіду.
Наступним кроком подумайте про функціональність. Текстовий інтерфейс дозволяє збагачувати бесіди іншими засобами масової інформації, наприклад зображеннями та графічними елементами інтерфейсу користувача, такими як кнопки. Наприклад, у помічнику електронної комерції програма, яка пропонує продукти, публікуючи їхні зображення та структуровані описи, буде набагато зручнішою для користувача, ніж та, яка описує продукти за допомогою голосу та потенційно надає їхні ідентифікатори.
Нарешті, давайте поговоримо про додаткові проблеми проектування та розробки створення голосового інтерфейсу користувача:
- Існує додатковий етап розпізнавання мовлення, який відбувається перед тим, як введені користувачем дані можуть бути оброблені за допомогою LLM і обробки природної мови (NLP).
- Голос є більш особистим та емоційним засобом спілкування, отже, вимоги до розробки послідовної, відповідної та приємної персони за вашим віртуальним помічником є вищими, і вам потрібно буде брати до уваги додаткові фактори «голосового дизайну», такі як тембр , наголос, тон і швидкість розмови.
- Користувачі очікують, що ваша голосова розмова відбуватиметься з тією ж швидкістю, що й людська розмова. Щоб запропонувати природну взаємодію за допомогою голосу, вам потрібна набагато коротша затримка, ніж для чату. У людських розмовах типовий проміжок між чергами становить 200 мілісекунд — така швидка відповідь можлива, оскільки ми починаємо будувати черги, слухаючи мову партнера. Ваш голосовий помічник має відповідати цьому ступеню плавності взаємодії. Навпаки, для чат-ботів ви конкуруєте з часовими проміжками в секунди, а деякі розробники навіть вводять додаткову затримку, щоб розмова виглядала як надрукований чат між людьми.
- Спілкування за допомогою голосу — це лінійне, одноразове підприємство — якщо ваш користувач не зрозумів, що ви сказали, вас чекає виснажливий, схильний до помилок цикл уточнення. Тому ваші звернення мають бути максимально лаконічними, чіткими та інформативними.
Якщо ви обираєте голосове рішення, переконайтеся, що ви не тільки чітко розумієте переваги порівняно з чатом, але також маєте навички та ресурси для вирішення цих додаткових проблем.
4.2 Де живе ваш розмовний ШІ?
Тепер давайте розглянемо ширший контекст, у який можна інтегрувати розмовний ШІ. Усі ми знайомі з чат-ботами на веб-сайтах компаній — тими віджетами праворуч на екрані, які з’являються, коли ми відкриваємо веб-сайт компанії. Особисто я найчастіше інтуїтивно шукаю кнопку «Закрити». Чому так? Під час перших спроб «поспілкуватися» з цими ботами я зрозумів, що вони не можуть задовольнити більш конкретних інформаційних вимог, і зрештою мені все одно потрібно прочесати веб-сайт. Мораль історії? Не створюйте чат-бота, тому що це круто й модно — радше створіть його, оскільки ви впевнені, що він може створити додаткову цінність для ваших користувачів.
Окрім суперечливого віджета на веб-сайті компанії, є кілька захоплюючих контекстів для інтеграції тих більш загальних чат-ботів, які стали можливими з LLM:
- Другі пілоти: ці помічники направляють і консультують вас щодо конкретних процесів і завдань, як-от GitHub CoPilot для програмування. Зазвичай другі пілоти «прив’язані» до певної програми (або невеликого набору пов’язаних програм).
- Синтетичні люди (також цифрові люди): ці істоти «імітують» справжніх людей у цифровому світі. Вони виглядають, поводяться та розмовляють як люди, тому також потребують розвинутих розмовних здібностей. Синтетичні люди часто використовуються в імерсивних програмах, таких як ігри, доповнена та віртуальна реальність.
- Цифрові близнюки: Цифрові близнюки — це цифрові «копії» процесів і об’єктів реального світу, таких як фабрики, автомобілі чи двигуни. Вони використовуються для моделювання, аналізу та оптимізації конструкції та поведінки реального об’єкта. Взаємодія природної мови з цифровими двійниками забезпечує більш плавний і універсальний доступ до даних і моделей.
- Бази даних: сьогодні доступні дані на будь-яку тему, будь то інвестиційні рекомендації, фрагменти коду чи навчальні матеріали. Часто важко знайти дуже конкретні дані, які потрібні користувачам у конкретній ситуації. Графічні інтерфейси баз даних або занадто грубі, або вкриті нескінченними пошуковими та фільтруючими віджетами. Універсальні мови запитів, такі як SQL і GraphQL, доступні лише користувачам із відповідними навичками. Розмовні рішення дозволяють користувачам запитувати дані природною мовою, тоді як LLM, який обробляє запити, автоматично перетворює їх на відповідну мову запитів (див. цю статтю для пояснення Text2SQL).
4.3 Додавання індивідуальності вашому помічнику
Як люди, ми налаштовані на антропоморфізацію, тобто надавати додаткові людські риси, коли бачимо щось, що віддалено нагадує людину. Мова є однією з найбільш унікальних і захоплюючих здібностей людства, і розмовні продукти автоматично асоціюються з людьми. Люди уявлятимуть собі людину за екраном або пристроєм — і це хороша практика — не залишати цю конкретну особу на волю уяви ваших користувачів, а радше надати їй постійну індивідуальність, яка відповідає вашому продукту та бренду. Цей процес називається «дизайн особистості».
Першим кроком у розробці персонажа є розуміння рис характеру, які ви хотіли б відобразити у своїй персоні. В ідеалі це вже зроблено на рівні навчальних даних — наприклад, під час використання RLHF ви можете попросити своїх анотаторів ранжувати дані за такими ознаками, як послужливість, ввічливість, веселість тощо, щоб схилити модель до бажані характеристики. Ці характеристики можна поєднати з атрибутами вашого бренду, щоб створити узгоджений імідж, який постійно просуває ваш бренд за допомогою продукту.
Крім загальних характеристик, ви також повинні подумати про те, як ваш віртуальний помічник справлятиметься з конкретними ситуаціями за межами «щасливого шляху». Наприклад, як він відповідатиме на запити користувачів, які виходять за межі його компетенції, відповідати на запитання про себе та боротися з образливою чи вульгарною лексикою?
Важливо розробити чіткі внутрішні вказівки щодо вашої персони, які можуть використовувати анотатори даних і дизайнери розмов. Це дозволить вам цілеспрямовано розробити свою персону та підтримувати її узгодженою для вашої команди та з часом, оскільки ваша програма піддається численним ітераціям і вдосконаленням.
4.4 Зробіть розмови корисними за допомогою «принципу співпраці»
Чи було у вас коли-небудь враження, що ви розмовляєте з цегляною стіною, коли ви насправді розмовляєте з людиною? Іноді ми виявляємо, що наші співрозмовники просто не зацікавлені в тому, щоб розмова була успішною. На щастя, у більшості випадків усе простіше, і люди інтуїтивно дотримуються «принципу співпраці», який запровадив філософ мови Пол Грайс. Згідно з цим принципом, люди, які успішно спілкуються один з одним, дотримуються чотирьох максим, а саме кількості, якості, актуальності та способу.
Максима кількості
Максима кількості вимагає від доповідача бути інформативним і робити свій внесок настільки інформативним, наскільки це потрібно. З боку віртуального помічника це також означає активне просування розмови вперед. Наприклад, розглянемо цей фрагмент із модної програми електронної комерції:
Помічник: Які предмети одягу ви шукаєте?
Користувач: Шукаю сукню оранжевого кольору.
Помічник: Не: Вибачте, на даний момент у нас немає помаранчевих суконь.
Do: Вибачте, у нас немає помаранчевих суконь, але у нас є ця чудова і дуже зручна сукня жовтого: …
Користувач сподівається залишити вашу програму з відповідним елементом. Припинення розмови через те, що у вас немає предметів, які б відповідали точному опису, вбиває ймовірність успіху. Однак, якщо ваша програма пропонує альтернативні елементи, вона буде більш корисною та залишатиме відкритим варіант успішної взаємодії.
Особливо під час голосової взаємодії важливо знайти правильний баланс між наданням усієї інформації, яка може знадобитися користувачеві для успіху, і не перевантажувати його непотрібною інформацією, яка може затьмарити взаємодію.
Максима якості
Максима якості вимагає від ораторів бути правдивими і не говорити те, що вони вважають неправдою або для чого їм бракує відповідних доказів. Тут задіяно багато суб’єктивності та особистих переконань — тому цю сентенцію не можна прямо спроектувати на магістра. Як ми бачили, LLM схильні до галюцинацій, і цей ризик особливо високий, коли розмова переходить на менш знайомі території. Можна використовувати додаткові огорожі, щоб уникнути оманливих заяв і повернути розмову в русло.
Максим актуальності
Максима релевантності вимагає від нас бути — ну, релевантними. Як передумова, віртуальний помічник повинен розуміти справжні наміри користувача. Ось приклад помічника авіакомпанії, який порушує це правило:
Користувач: Мені потрібен рейс з Берліна до Цюріха завтра вранці.
Помічник: Добре, я знайшов наступні рейси з Берліна до Цюріха на завтра вранці. Рейс BZ36294 відправляється з Берліна о 6.30:8 ранку та прибуває в Цюріх о 96294 ранку. Рейс BZ8 відправляється з Берліна о 9.30:96294 і прибуває о 8:9.30. Рейс BZ95614 відправляється з Берліна о 11:12.30 і прибуває в Цюріх о 11.45:3. Рейс BZXNUMX відправляється з Берліна об XNUMX:XNUMX і прибуває в Цюріх о XNUMX:XNUMX. Існує також можливість перельоту з пересадкою, у цьому випадку ви вилетите з Берліна об XNUMX:XNUMX і прибудете до Цюріха о XNUMX:XNUMX.
Користувач: Вибачте… Ви могли б повторити це ще раз?
Помічник переповнює користувача детальною інформацією, яка може бути неактуальною. Якщо розбити це та скеровувати користувача до обмеження простору пошуку, діалог стає набагато легшим для засвоєння:
Користувач: Мені потрібен рейс з Берліна до Цюріха завтра вранці.
Помічник: Добре, я знайшов рейси, які відправляються о 6.30:8, 11 та XNUMX ранку. О котрій годині ви б хотіли піти?
Користувач: Мені потрібно бути в Цюріху до 9 ранку.
Помічник: Добре, ви можете сісти на рейс BZ36294. Відправляється о 6.30 і прибуває о 8 ранку. Мені купити квиток для вас?
Користувач: Так дякую.
Максим манери
Нарешті, максима поведінки стверджує, що наші мовленнєві дії мають бути ясними, лаконічними та впорядкованими, уникаючи двозначності та неясності висловлювання. Ваш віртуальний помічник повинен уникати технічного або внутрішнього жаргону та віддавати перевагу простим, загальнозрозумілим формулюванням.
У той час як принципи Грайса дійсні для всіх розмов незалежно від конкретної сфери, магістри права, які не навчені спеціально для розмов, часто не виконують їх. Таким чином, під час компіляції ваших навчальних даних важливо мати достатньо діалогових зразків, які дозволять вашій моделі засвоїти ці принципи.
Сфера розмовного дизайну розвивається досить швидко. Незалежно від того, чи ви вже створюєте продукти штучного інтелекту, чи думаєте про свою кар’єру в галузі штучного інтелекту, я закликаю вас глибше заглибитися в цю тему (див. чудові вступи в [5] і [6]). Оскільки штучний інтелект перетворюється на товар, хороший дизайн разом із надійною стратегією даних стануть двома важливими відмінностями продуктів штучного інтелекту.
Підсумки
Давайте підсумуємо основні висновки зі статті. Крім того, малюнок 5 пропонує «шпаргалку» з основними моментами, які ви можете завантажити як довідник.
- LLM покращує розмовний ШІ: великі мовні моделі (LLM) значно покращили якість і масштабованість розмовних додатків ШІ в різних галузях і варіантах використання.
- Розмовний штучний інтелект може значно підвищити цінність додатків із великою кількістю схожих запитів користувачів (наприклад, обслуговування клієнтів) або яким потрібен доступ до великої кількості неструктурованих даних (наприклад, керування знаннями).
- Дані: для точного налаштування LLM для розмовних завдань потрібні високоякісні розмовні дані, які точно відображають реальні взаємодії. Краудсорсинг і дані, створені LLM, можуть бути цінними ресурсами для масштабування збору даних.
- Об’єднання системи: розробка розмовних систем штучного інтелекту – це ітеративний і експериментальний процес, який передбачає постійну оптимізацію даних, стратегії тонкого налаштування та інтеграцію компонентів.
- Навчання навичок розмови для LLM: Тонка настройка LLM включає в себе навчання їх розпізнавати та реагувати на конкретні комунікативні наміри та ситуації.
- Додавання зовнішніх даних за допомогою семантичного пошуку: інтеграція зовнішніх і внутрішніх джерел даних за допомогою семантичного пошуку покращує відповіді ШІ, надаючи більш контекстно релевантну інформацію.
- Пам’ять і усвідомлення контексту: ефективні розмовні системи повинні підтримувати усвідомлення контексту, включаючи відстеження історії поточної розмови та минулих взаємодій, щоб надавати значущі та узгоджені відповіді.
- Встановлення огорож: щоб забезпечити відповідальну поведінку, розмовні системи ШІ повинні використовувати огорожі, щоб запобігти неточностям, галюцинаціям і порушенням конфіденційності.
- Дизайн персонажа: розробка узгодженого персонажа для вашого розмовного помічника має важливе значення для створення цілісної та фірмової взаємодії з користувачем. Характеристики особистості повинні відповідати атрибутам вашого продукту та бренду.
- Голос проти чату: вибір між голосовим інтерфейсом і інтерфейсом чату залежить від таких факторів, як фізичне налаштування, емоційний контекст, функціональність і проблеми з дизайном. Враховуйте ці фактори, вибираючи інтерфейс для розмовного ШІ.
- Інтеграція в різних контекстах: Розмовний ШІ можна інтегрувати в різні контексти, включаючи других пілотів, синтетичних людей, цифрових близнюків і бази даних, кожен з яких має особливі випадки використання та вимоги.
- Дотримання принципу співпраці: дотримання принципів кількості, якості, відповідності та способу розмови може зробити взаємодію з розмовним ШІ більш корисною та зручнішою.
посилання
[1] Heng-Tze Chen та ін. 2022 рік. LaMDA: на шляху до безпечних, обґрунтованих і високоякісних діалогових моделей для всього.
[2] OpenAI. 2022. ChatGPT: Оптимізація мовних моделей для діалогу. Отримано 13 січня 2022.
[3] Патрік Льюїс та ін. 2020 рік. Генерація з доповненим пошуком для наукоємних завдань НЛП.
[4] Пол Грайс. 1989. Дослідження шляхом слова.
[5] Кеті Перл. 2016. Проектування голосових інтерфейсів користувача.
[6] Майкл Коен та ін. 2004. Дизайн голосового інтерфейсу користувача.
Примітка: усі зображення належать автору, якщо не зазначено інше.
Ця стаття була спочатку опублікована на Назустріч науці про дані та повторно опубліковано в TOPBOTS з дозволу автора.
Вам подобається ця стаття? Підпишіться на отримання нових оновлень щодо досліджень ШІ.
Ми повідомимо вас, коли випустимо більше таких підсумкових статей, як ця.
споріднений
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
- PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
- ПлатонЕСГ. вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
- PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
- джерело: https://www.topbots.com/redefining-conversational-ai-with-large-language-models/
- : має
- :є
- : ні
- :де
- $UP
- 1
- 10
- 11
- 110
- 12
- 125
- 13
- 14
- 17
- 200
- 2016
- 2020
- 2022
- 30
- 32
- 35%
- 41
- 65
- 7
- 70
- 8
- 9
- a
- здібності
- здатність
- МЕНЮ
- абсолют
- Прийняти
- прийняття
- доступ
- доступний
- доступною
- розмістити
- виконувати
- За
- рахунки
- Накопичуватися
- точність
- точний
- через
- Діяти
- активно
- діяльності
- діяльність
- акти
- насправді
- додавати
- додати
- Додатковий
- Додаткова інформація
- Додатково
- адреса
- Прийняття
- аванси
- Перевага
- Переваги
- радити
- після
- знову
- проти
- Агент
- агенти
- назад
- AI
- ai дослідження
- Системи ШІ
- авіакомпанія
- AL
- вирівнювати
- вирівняні
- ВСІ
- дозволяти
- дозволяє
- майже
- по
- вже
- Також
- альтернатива
- альтернативи
- am
- Неоднозначність
- серед
- an
- аналізувати
- та
- анонімний
- Інший
- передбачити
- будь-який
- додаток
- з'являтися
- додаток
- застосування
- застосовується
- підхід
- відповідний
- додатка
- ЕСТЬ
- області
- навколо
- Прибуває
- Art
- стаття
- статті
- штучний
- AS
- запитати
- запитувач
- оцінити
- оцінюється
- оцінка
- активи
- допомогу
- Помічник
- помічники
- асоційований
- At
- Спроби
- увагу
- Атрибути
- збільшення
- збільшено
- автор
- автоматично
- доступний
- уникнути
- уникає
- обізнаність
- геть
- назад
- повернутися на правильний шлях
- Balance
- м'яч
- база
- заснований
- основний
- BE
- оскільки
- ставати
- стає
- було
- перед тим
- за
- буття
- віра
- Вірити
- улюблений
- користь
- Берлін
- КРАЩЕ
- передового досвіду
- Краще
- між
- За
- зміщення
- Біт
- блокування
- книга
- обидва
- боти
- Box
- марка
- фірмова
- брендинг
- порушення
- Розрив
- приносити
- ширше
- приніс
- будувати
- Створіть чат-бота
- Створюємо
- побудований
- бізнес
- зайнятий
- але
- button
- Кнопки
- купити
- Купівля
- by
- званий
- Виклики
- прийшов
- CAN
- скасовано
- не може
- можливості
- кар'єра
- автомобілів
- випадок
- випадків
- cathy
- Центр
- виклик
- проблеми
- складні
- шанс
- змінилися
- Канал
- характер
- характеристика
- характеризує
- Chatbot
- chatbots
- ChatGPT
- Чень
- дитина
- вибір
- вибір
- Вибираючи
- ясно
- очевидно
- близько
- тісно
- одяг
- хмара
- код
- Cohen
- КОГЕРЕНТНИЙ
- згуртований
- співробітництво
- збір
- об'єднувати
- Приходити
- приходить
- зручний
- товар
- спілкуватися
- Комунікація
- зв'язку
- Компанії
- компанія
- порівняний
- конкурувати
- комплекс
- компонент
- Компоненти
- концерт
- лаконічний
- Проводити
- підключений
- З'єднувальний
- Зв'язки
- Вважати
- беручи до уваги
- послідовний
- постійна
- постійно
- будівництво
- будівництво
- контакт
- зміст
- контекст
- контексти
- контекстуальний
- постійно
- контракт
- контрастність
- сприяти
- внесок
- внесок
- спірний
- Розмова
- діалоговий
- розмовний ШІ
- Розмовні інтерфейси
- розмови
- приготування
- Прохолодно
- співробітництво
- кооперативний
- Core
- Відповідний
- може
- Пара
- курс
- покритий
- створювати
- створення
- креативність
- істот
- достовірний
- Критерії
- Краудсорсинг
- Поточний
- В даний час
- крива
- клієнт
- Контакти
- підтримка клієнтів
- Клієнти
- дані
- стратегія даних
- Database
- базами даних
- мертвий
- угода
- десятиліття
- вирішувати
- Вирішивши
- рішення
- глибше
- визначати
- безумовно
- Ступінь
- затримка
- залежить
- description
- дизайн
- Дизайнерка
- Дизайнери
- проектування
- бажаний
- докладно
- деталі
- розвивати
- розвиненою
- розробників
- розвивається
- розробка
- пристрій
- прилади
- Діалог
- Діалог
- різний
- диференціатор
- важкий
- DIG
- Digest
- цифровий
- Цифрові близнюки
- цифровий світ
- безпосередньо
- відкриття
- дисплей
- розподіл
- занурення
- do
- документація
- документація
- робить
- Пес
- справи
- домен
- зроблений
- Не знаю
- Приречений
- скачати
- водій
- два
- під час
- e
- e-commerce
- E&T
- кожен
- легше
- освітній
- Ефективний
- ефективність
- ефективний
- або
- елементи
- вбудовування
- з'явився
- поява
- виникає
- Співпереживання
- співробітників
- уповноважувати
- дозволяє
- заохочувати
- кінець
- зусиль
- Нескінченний
- займатися
- Двигуни
- підвищувати
- Удосконалення
- Підсилює
- приємний
- досить
- збагачувати
- Збагачений
- збагачення
- забезпечувати
- підприємство
- особливо
- істотний
- і т.д.
- оцінки
- Навіть
- врешті-решт
- НІКОЛИ
- докази
- точно
- приклад
- Приклади
- відмінно
- Крім
- надлишок
- збуджений
- захоплюючий
- виконувати
- існуючий
- очікувати
- очікуваний
- дорогий
- досвід
- експериментальний
- Пояснювати
- пояснення
- вираз
- зовнішній
- Face
- фактор
- заводи
- фактори
- Фактичні
- FAIL
- зазнає невдачі
- Провал
- Фолс
- false
- знайомий
- захоплюючий
- мода
- швидше
- зворотний зв'язок
- почувати
- Рисунок
- фільтрувати
- завершити
- знайти
- Перший
- відповідати
- виправляти
- політ
- Авіаквитки
- потік
- Тече
- Потоки
- Сфокусувати
- стежити
- потім
- після
- для
- форма
- формальний
- формулювання
- На щастя
- Вперед
- знайдений
- чотири
- частий
- часто
- від
- перед
- розчарування
- Виконати
- веселощі
- функціональність
- фундаментальний
- далі
- майбутнє
- азартні ігри
- розрив
- збирати
- Загальне
- в цілому
- породжувати
- покоління
- отримати
- GitHub
- даний
- Go
- йде
- буде
- добре
- GraphQL
- великий
- зелений
- Земля
- керівництво
- керівництво
- керівні вказівки
- було
- Руки
- траплятися
- відбувається
- Жорсткий
- шкідливий
- Мати
- he
- здоров'я
- чути
- допомога
- корисний
- її
- тут
- прихований
- Високий
- високоякісний
- вище
- дуже
- його
- історія
- хіт
- цілісний
- надія
- сподівається,
- ГАРЯЧА
- Як
- Однак
- HTML
- HTTP
- HTTPS
- величезний
- людина
- Людей
- Гумор
- обман
- i
- в ідеалі
- ідентифікатори
- ідентифікує
- if
- ілюструє
- зображення
- зображень
- уява
- картина
- занурення
- реалізовані
- важливо
- поліпшений
- поліпшення
- in
- поглиблений
- включати
- У тому числі
- включати
- Augmenter
- неймовірно
- самостійно
- індивідуальний
- промисловості
- завдавати
- інформація
- інформативний
- притаманне
- початковий
- ініціювати
- витрати
- замість
- інтегрувати
- інтегрований
- Інтеграція
- інтеграція
- намір
- навмисно
- взаємодіяти
- взаємодія
- Взаємодії
- інтерактивний
- Інтерактивні системи голосового відповіді
- зацікавлений
- інтерфейс
- Інтерфейси
- внутрішній
- переплетені
- в
- вводити
- введені
- Вступ
- введення
- інтуїтивний
- інвестиції
- інвестиційні рекомендації
- залучений
- включає в себе
- за участю
- ізоляція
- питання
- питання
- IT
- пунктів
- ітерація
- ітерації
- ЙОГО
- сам
- IVR
- січня
- жаргон
- робота
- спільна
- JPG
- просто
- тримати
- ключ
- ключові слова
- Вбиває
- Дитина
- Знати
- знання
- Управління знаннями
- відомий
- етикетки
- лабіринт
- відсутність
- мова
- мови
- великий
- масштабний
- більше
- Затримка
- пізніше
- юрист
- провідний
- Веде за собою
- УЧИТЬСЯ
- вчений
- вивчення
- Залишати
- догляд
- Legacy
- легальний
- LEND
- менше
- дозволяти
- рівень
- рівні
- Важіль
- левередж
- використання
- Льюїс
- бібліотека
- лежить
- як
- МЕЖА
- обмеженою
- лінгвістика
- Прослуховування
- жити
- логіка
- Довго
- подивитися
- шукати
- ВИГЛЯДИ
- втрати
- серія
- багато
- машина
- made
- розсилки
- головний
- підтримувати
- збереження
- основний
- зробити
- РОБОТИ
- Робить
- вдалося
- управління
- система управління
- Менеджери
- манера
- багато
- ринок
- ринкові можливості
- матч
- відповідає
- матеріал
- Матеріали
- макс-ширина
- Сентенція
- me
- значити
- значущим
- засоби
- Медіа
- середа
- засідання
- члени
- пам'ять
- психічний
- Психічне здоров'я
- методика
- Майкл
- Microsoft
- може бути
- мілісекунд
- видобувається
- вводить в оману
- непорозуміння
- модель
- Моделі
- сучасний
- момент
- місяців
- настрою
- моральний
- більше
- більш ефективний
- ранок
- найбільш
- в основному
- переміщення
- багато
- множинний
- безліч
- повинен
- my
- себе
- ім'я
- а саме
- Природний
- Природна мова
- Обробка природних мов
- необхідно
- необхідності
- Необхідність
- необхідний
- потреби
- негативний
- ніколи
- Нові
- новий додаток
- наступний
- nlp
- немає
- нетехнічні
- ніхто
- нормально
- зазначив,
- поняття
- зараз
- Nuance
- номер
- численний
- Короткий огляд
- об'єкт
- мета
- об'єкти
- of
- від
- пропонувати
- запропонований
- Пропозиції
- Office
- часто
- on
- один раз
- ONE
- тільки
- відкрити
- OpenAI
- операційний
- операції
- Думка
- Можливості
- Можливість
- оптимізація
- Оптимізувати
- оптимізований
- оптимізуючий
- варіант
- Опції
- or
- помаранчевий
- порядок
- спочатку
- Інше
- інші
- інакше
- наші
- з
- виходи
- поза
- над
- надмірно
- пригнічує
- власний
- сторінка
- документи
- парадигма
- партнери
- партія
- Пройшов
- Минуле
- Патенти
- шлях
- терпляче
- Патрік
- моделі
- Пол
- Люди
- для
- сприймається
- виконувати
- дозвіл
- людина
- персонал
- Особистість
- Особисто
- Пітер
- фізичний
- вибирати
- фотографії
- пій
- пітчінг
- місце
- одноколірний
- планування
- plato
- Інформація про дані Платона
- PlatoData
- ігри
- точка
- точок
- бідні
- поп
- популярний
- положення
- позитивний
- можливість
- це можливо
- потенціал
- потенційно
- практика
- практики
- прогноз
- переваги
- представлений
- запобігати
- принцип
- Принципи
- недоторканність приватного життя
- приватний
- продовжити
- процес
- оброблена
- процеси
- обробка
- Вироблений
- Product
- Продукти
- професійний
- Профілі
- Програмування
- прогнозовані
- видатний
- сприяє
- протокол
- забезпечувати
- забезпечує
- забезпечення
- Психологія
- громадськість
- опублікований
- мета
- Штовхати
- штовхає
- якість
- кількість
- запити
- питань
- швидко
- ранжувати
- Ранжування
- швидше
- реакція
- готовий
- реальний
- Реальний світ
- Реальність
- визнання
- визнавати
- визнаючи
- рекомендації
- повторювані
- червоний
- Перевизначення
- зменшити
- послатися
- посилання
- посилання
- називають
- відноситься
- відображати
- Відображає
- навчання
- пов'язаний
- звільнити
- актуальність
- доречний
- покладаючись
- залишатися
- повторювати
- замінити
- відповісти
- запросити
- запитів
- вимагається
- Вимога
- Вимагається
- дослідження
- походить
- дозвіл
- ресурси
- Реагувати
- відповідаючи
- відповідь
- відповіді
- відповідальний
- ресторан
- в результаті
- результати
- показувати
- Багаті
- право
- Risk
- Правило
- Правила
- прогін
- сейф
- Безпека
- Зазначений
- то ж
- задоволення
- зберігаються
- say
- масштабованість
- шкала
- Масштабування
- науковий
- сфера
- безліч
- Екран
- Пошук
- другий
- seconds
- розділ
- побачити
- бачив
- чутливий
- Серія
- обслуговування
- комплект
- установка
- налаштування
- кілька
- Повинен
- Показувати
- показаний
- Шоу
- сторона
- підпис
- істотно
- аналогічний
- простий
- простота
- з
- Сидячий
- ситуація
- ситуацій
- навички
- невеликий
- більш гладкий
- уривок
- So
- соціальна
- спілкуватися
- М'який
- проданий
- рішення
- Рішення
- деякі
- Хтось
- що в сім'ї щось
- іноді
- Скоро
- Джерела
- Простір
- прольоти
- говорити
- Гучномовець
- динаміки
- розмова
- спеціалізований
- конкретний
- конкретно
- специфічність
- мова
- Розпізнавання мови
- швидкість
- SQL
- старт
- почалася
- починається
- Заява
- заяви
- Штати
- станція
- статистичний
- залишатися
- управляти
- рульове управління
- кермо
- Крок
- заходи
- Як і раніше
- зупинка
- зберігати
- Історія
- просто
- стратегії
- Стратегія
- раціоналізувати
- стрес
- структура
- структурований
- Дослідження
- стиль
- істотний
- успіх
- успішний
- Успішно
- такі
- Запропонує
- підходящий
- набір
- підсумовувати
- РЕЗЮМЕ
- підтримка
- Переконайтеся
- Гойдалки
- перемикач
- символічний
- синтаксис
- синтетичний
- система
- Systems
- таблиця
- Приймати
- Takeaways
- балаканина
- говорити
- Мітчики
- Мета
- цілі
- Завдання
- завдання
- навчав
- Навчання
- команда
- Члени команди
- технічний
- техніка
- Технологія
- телегенез
- terms
- території
- Тестування
- текст
- ніж
- Дякую
- Що
- Команда
- Майбутнє
- інформація
- світ
- їх
- Їх
- самі
- потім
- Там.
- Ці
- вони
- речі
- думати
- Мислення
- третій
- це
- ті
- три
- через
- Таким чином
- квиток
- квитки
- час
- times
- до
- разом
- знак
- завтра
- TONE
- занадто
- інструменти
- ТОПБОТИ
- тема
- до
- до
- трек
- Відстеження
- торгові площі
- традиційний
- поїзд
- навчений
- Навчання
- Перетворення
- перетворений
- перехід
- переходи
- передавати
- спрацьовує
- правда
- намагатися
- ПЕРЕГЛЯД
- Поворот
- повороти
- близнюки
- два
- типовий
- ui
- зазнає
- розуміти
- зрозуміло
- розуміння
- створеного
- Universal
- універсально
- відповідний сучасним вимогам
- Updates
- оновлення
- us
- юзабіліті
- використання
- використовуваний
- користувач
- User Experience
- Інтерфейс користувача
- дизайн інтерфейсу користувача
- зручно
- користувачі
- використовує
- використання
- ux
- Дизайн UX
- ux дизайнер
- ux дизайнери
- дійсний
- Цінний
- значення
- різноманітність
- різний
- різнобічний
- Проти
- дуже
- через
- Жертва
- Віртуальний
- віртуальний помічник
- Віртуальна реальність
- Голос
- Голосовий помічник
- vs
- вульгарний
- W3
- Стіна
- хотіти
- хоче
- було
- хвилі
- шлях..
- способи
- we
- Багатство
- веб-сайт
- веб-сайти
- ДОБРЕ
- були
- Що
- Що таке
- Колесо
- коли
- коли б ні
- Чи
- який
- в той час як
- ВООЗ
- чому
- волі
- windows
- з
- без
- слова
- Work
- робочі
- світ
- турбуватися
- б
- запис
- рік
- років
- жовтий
- ви
- молодий
- вашу
- зефірнет
- Цюріх