Amazon Q fait face à des défis : hallucinations et fuites de données

Republié par Platon

Suiveurs: 0

L'assistant d'IA générative d'Amazon, Amazon Q, est sous surveillance. Les rapports font état d'hallucinations et de fuites de données, suscitant des débats sur son aptitude à être utilisée en entreprise..

Alors que les inquiétudes augmentent, les experts soulignent l’importance de tests approfondis, des réglementations potentielles et du rôle d’Amazon pour relever ces défis.

Des hallucinations et des problèmes de confidentialité émergent

Des documents divulgués rapportés par The Platformer révèlent que Amazon Q est aux prises avec des inexactitudes, notamment des hallucinations et des fuites de données. Les études mettent en évidence l'inexactitude des grands modèles de langage (LLM) lorsqu'ils sont connectés aux bases de données d'entreprise. Les analystes qui suivent le secteur suggèrent que ces problèmes rendent Amazon Q inadapté à la prise de décision dans un environnement d'entreprise.

Pareekh Jain, PDG d'EIIRTrend & Pareekh Consulting, souligne les limites en déclarant : « Si des hallucinations sont présentes, vous ne pouvez pas les utiliser pour prendre des décisions dans un environnement d'entreprise. » Alors qu'Amazon positionne Q comme un compagnon de travail pour des millions de personnes, les analystes s'interrogent sur sa préparation à une utilisation généralisée en entreprise.

Défis des tests et importance des essais internes

Pour résoudre ces problèmes, les experts soulignent la nécessité de procéder à des tests internes approfondis avant IA générative L'assistant est prêt pour la sortie commerciale. Jain souligne l'importance de l'évaluation des données et des algorithmes pour identifier la cause profonde des inexactitudes.

"Je pense qu'ils doivent d'abord faire davantage de tests avec les employés internes", a ajouté Jain. "Ils doivent voir si le problème vient des données ou de l'algorithme." Amazon Q s'appuie sur 17 années de compétence en matière de données et de développement d'AWS, soulignant les enjeux pour Amazon dans le paysage de l'IA en évolution rapide.

Formation et démarches d’amélioration

Alors que les hallucinations posent des défis, Sharath Srinivasamurthy, vice-président associé chez IDC, met en évidence les étapes visant à améliorer l'utilisation de l'IA générative. Srinivasamurthy suggère des modèles de formation sur des données de meilleure qualité, une augmentation rapide, un ajustement continu des données spécifiques à l'organisation et l'intégration de contrôles humains pour les réponses suspectes.

« Former les modèles sur des données de meilleure qualité, affiner continuellement les modèles sur les données et politiques spécifiques à l'organisation ou au secteur, et augmenter une couche de contrôle humain au cas où la réponse serait suspecte sont quelques-unes des étapes qui doivent être prises pour tirer le meilleur parti de cette technologie émergente », déclare Srinivasamurthy.

Préoccupations réglementaires et appel à une IA responsable

Rapports d'hallucinations suscitent des discussions sur la nécessité d'une réglementation, mais Sanchit Vir Gogia, analyste en chef et PDG de Greyhound Research, met en garde contre une potentielle contre-productivité. Gogia suggère qu'une réglementation trop stricte pourrait entraver l'échange et l'utilisation des données, citant le succès du GPT d'OpenAI comme exemple des avantages d'une industrie moins réglementée.

Jain fait écho à ce sentiment, soulignant l'importance de l'autorégulation. « Des réglementations peuvent exister, mais l’accent est principalement mis sur l’autorégulation », explique Jain. « L'accent devrait être mis sur une IA responsable, dont la logique peut être expliquée aux clients au lieu de créer des systèmes de type « boîte noire ».

Alors qu'Amazon entre dans l'espace de l'IA générative, tous les regards sont tournés vers le géant de la technologie pour relever ces défis, en particulier compte tenu de son entrée tardive par rapport aux leaders du secteur comme Microsoft et Google. Jain note qu'AWS est à la traîne, augmentant les attentes et la surveillance des technologies telles que les chatbots.