Amazon Q 面临挑战:幻觉和数据泄露

Amazon Q 面临挑战:幻觉和数据泄露

源节点: 2994031

亚马逊的生成式人工智能助手 Amazon Q 正在接受审查。 报告显示幻觉和数据泄露,引发了关于其是否适合企业使用的争论.

随着担忧的增加,专家们强调了彻底测试、潜在法规的重要性以及亚马逊在应对这些挑战中的作用。

出现幻觉和隐私问题

The Platformer 报道的泄露文件显示 亚马逊Q 正在努力解决错误,包括幻觉和数据泄露。 这些研究强调了大型语言模型 (LLM) 在连接到企业数据库时的不准确性。 跟踪该行业的分析师表示,这些问题使得 Amazon Q 不适合在企业环境中进行决策。

EIRTrend & Pareekh Consulting 首席执行官 Parekh Jain 指出了其局限性,并表示:“如果存在幻觉,你就无法在企业环境中利用它们进行决策。” 尽管亚马逊将 Q 定位为数百万人的工作伴侣,但分析师质疑其是否已做好广泛企业使用的准备。

测试挑战和内部试验的重要性

为了解决这些问题,专家强调在发布之前需要进行广泛的内部测试 生成式人工智能 Assistant 已准备好商业发布。 Jain 强调评估数据和算法以查明不准确的根本原因的重要性。

“我认为他们需要首先对内部员工进行更多测试,”贾恩补充道。 “他们必须看看这是数据还是算法的问题。” Amazon Q 利用 AWS 17 年的数据和开发能力,强调了亚马逊在快速发展的人工智能领域所面临的风险。

培训和改进步骤

虽然幻觉带来了挑战,但 IDC 副总裁 Sharath Srinivasamurthy 强调了改善生成式人工智能使用的步骤。 Srinivasamurthy 建议使用更高质量的数据训练模型,及时增强数据,对特定组织的数据进行持续微调,并结合人工检查可疑响应。

“根据更高质量的数据训练模型,根据组织或特定行业的数据和政策持续微调模型,以及在响应可疑的情况下增强人工检查层,这些是需要采取的一些步骤充分利用这项新兴技术。”Srinivasamurthy 说道。

监管问题和负责任的人工智能的呼吁

业务报告 幻觉的出现引发了关于监管必要性的讨论,但灰狗研究公司首席分析师兼首席执行官桑奇特·维尔·戈吉亚 (Sanchit Vir Gogia) 警告称,可能会适得其反。 Gogia 认为,过于严格的监管可能会阻碍数据的交换和利用,并以 OpenAI 的 GPT 的成功为例,说明了监管较少的行业的好处。

Jain 呼应了这一观点,强调了自我监管的重要性。 “监管可能存在,但重点主要在于自我监管,”贾恩解释道。 “重点应该放在负责任的人工智能上,可以向客户解释逻辑,而不是创建‘黑匣子’系统。”

随着亚马逊进入生成人工智能领域,所有人的目光都集中在这家科技巨头应对这些挑战上,特别是考虑到与微软和谷歌等行业领导者相比,它进入较晚。 Jain 指出,AWS 是一个落后者,这提高了人们对聊天机器人等技术的期望和审查。

时间戳记:

更多来自 元新闻