Amazon Q Faces Challenges: Hallucinations And Data Leaks

Перевидано Платоном

читають: 0

Генеративний помічник Amazon, Amazon Q, знаходиться під пильною увагою. Звіти вказують на галюцинації та витік даних, викликаючи дебати щодо готовності до корпоративного використання.

Що стосується зростання, експерти наголошують на важливості ретельного тестування, потенційних нормативних актах і ролі Amazon у подоланні цих викликів.

Виникають галюцинації та проблеми з конфіденційністю

Про це свідчать витоки документів, про які повідомляє The Platformer Amazon Q бореться з неточностями, включаючи галюцинації та витік даних. Дослідження підкреслюють неточність великих мовних моделей (LLM) при підключенні до корпоративних баз даних. Аналітики, які відстежують галузь, припускають, що ці проблеми роблять Amazon Q непридатним для прийняття рішень у корпоративному середовищі.

Парік Джайн, генеральний директор EIIRTrend & Pareekh Consulting, вказує на обмеження, заявляючи: «Якщо присутні галюцинації, ви не можете використовувати їх для прийняття рішень у корпоративному середовищі». У той час як Amazon позиціонує Q як робочого компаньйона для мільйонів, аналітики сумніваються в його готовності до широкого корпоративного використання.

Проблеми тестування та важливість внутрішніх випробувань

Щоб вирішити ці проблеми, експерти наголошують на необхідності ретельного внутрішнього тестування перед тим, як генеративний ШІ помічник готовий до комерційного випуску. Джейн наголошує на важливості оцінки даних і алгоритмів для точного визначення першопричини неточностей.

«Я думаю, що спочатку їм потрібно провести більше тестів із внутрішніми співробітниками», — додав Джейн. «Вони мають побачити, чи це проблема з даними чи алгоритмом». Amazon Q використовує 17-річний досвід роботи з даними та розробкою AWS, підкреслюючи ставки Amazon у швидко розвивається штучному інтелекті.

Навчання та кроки до вдосконалення

Хоча галюцинації створюють проблеми, Шарат Срінівасамурті, заступник віце-президента IDC, висвітлює кроки для покращення використання генеративного ШІ. Срінівасамурті пропонує навчальні моделі на високоякісних даних, оперативне розширення, постійне налагодження даних, що стосуються конкретної організації, і включення перевірки людиною на наявність підозрілих відповідей.

«Навчання моделей роботі з даними кращої якості, постійне вдосконалення моделей на даних і політиках, що стосуються організації або галузі, а також посилення перевірки персоналом на випадок підозрілої відповіді – це деякі кроки, які необхідно зробити, щоб найкращим чином використовувати цю нову технологію», — каже Срінівасамурті.

Регуляторні проблеми та заклик до відповідального ШІ

Звіти Галюцинації спонукають до дискусій про необхідність регулювання, але Санчіт Вір Гогія, головний аналітик і генеральний директор Greyhound Research, застерігає від потенційної контрпродуктивності. Gogia припускає, що надто суворі правила можуть перешкоджати обміну та використанню даних, вказуючи на успіх GPT OpenAI як на приклад переваг менш регульованої галузі.

Джайн повторює це почуття, наголошуючи на важливості саморегуляції. «Нормативні норми можуть існувати, але основна увага зосереджена на саморегуляції», — пояснює Джейн. «Наголос слід робити на відповідальному штучному інтелекті, де клієнтам можна пояснити логіку замість створення систем «чорних ящиків».

Оскільки Amazon входить у простір генеративного штучного інтелекту, усі погляди спрямовані на вирішення цих проблем технологічного гіганта, особливо враховуючи його пізній вихід порівняно з такими лідерами галузі, як Microsoft і Google. Джайн зазначає, що AWS є відстаючим, що підвищує очікування та прискіпливість щодо таких технологій, як чат-боти.