OpenAI 的聊天软件 ChatGPT,如果公开发布,在沃顿商学院的运营管理考试中将获得 B 和 B- 之间的分数,并且将接近或超过通过美国医学执照考试 (USMLE) 所需的分数。
虽然这可能更多地说明了测试材料的静态、以文档为中心的性质,而不是软件的智力实力,但它仍然是教育工作者以及生活在自动化时代的几乎所有人都关心和感兴趣的问题。
学术界一直担心辅助系统像 ChatGPT 和 GitHub 的 副驾驶 (基于名为 Codex 的 OpenAI 模型)将要求教师重新评估他们的教学和考试评分方式,因为基于机器学习的辅助技术已经变得如此强大。
在教育环境中,人工智能建议正变得司空见惯:《斯坦福日报》刚刚 报道,“大量学生已经在期末考试中使用过 ChatGPT。” 根据对 17 名受访者的匿名调查,估计有 4,497% 的学生表示他们曾使用 ChatGPT 协助完成秋季学期的作业和考试,其中 5% 的学生表示他们直接从 ChatGPT 提交了材料,几乎没有或没有编辑——这大概是违反荣誉守则
另外,宾夕法尼亚大学沃顿商学院教授 Christian Terwiesch 和一群主要隶属于 Ansible Health 的医学研究人员决定将 ChatGPT, 可以说 不道德的自动顾问和 事实受到质疑 专家系统,来测试。
Terwiesch 和 Ansible Health 的研究人员都明确表示 ChatGPT 存在局限性并且会出错。 总的来说,他们给它打了中等分,但他们明确表示,他们希望人工智能辅助系统能在教学和其他领域找到一席之地。
毕竟,该模型已经在无数人造作品上接受过训练,因此它能够从所有吸入的知识和事实中猜测出一个问题的满意答案并不令人意外。
“首先,它在基本运营管理和流程分析问题(包括那些基于案例研究的问题)方面做得非常出色,”Terwiesch 在 他的论文. “不仅答案正确,而且解释非常出色。”
也就是说,他观察到 ChatGPT 会犯简单的数学错误,并且会在高级过程分析问题上失手。 然而,AI 模型会响应人们关于如何改进的提示——当人类专家给出提示时,它可以成功地自我纠正。
人工指导也成为恶意输入的来源,如 微软的 Tay 聊天机器人 并通过 后续研究.
医生,医生
写下“ChatGPT 在 USMLE 上的表现:使用大型语言模型进行 AI 辅助医学教育的潜力”包括作为共同作者的“ChatGPT”。
“ChatGPT 为这份手稿的几个部分的写作做出了贡献,”生物学作者在他们的论文中说。
作者的其他组织隶属关系包括:马萨诸塞州总医院、哈佛医学院,位于马萨诸塞州波士顿; 布朗大学沃伦阿尔珀特医学院,罗得岛州普罗维登斯; UWorld, LLC 的医学教育部,这是一家位于德克萨斯州达拉斯的健康电子学习公司。
作者——Tiffany Kung、Morgan Cheatham、ChatGPT、Arielle Medenilla、Czarina Sillos、Lorie De Leon、Camille Elepaño、Maria Madriaga、Rimel Aggabao、Giezel Diaz-Candido、James Maningo 和 Victor Tseng——得出了与沃顿商学院 Terwiesch 相似的结论. 具体来说,他们发现 ChatGPT 在 USMLE 考试中的表现尚可——高于约 60% 的可变通过阈值——如果给出不确定答案的好处。 他们预计大型语言模型 (LLM) 将在医学教育和临床决策制定中发挥越来越大的作用。
“ChatGPT 产生的准确度适中,接近通过 USMLE 的表现,”作者在他们的论文中说。 “考试项目首先被编码为带有可变导入提示的开放式问题。 这种输入格式模拟了一种自由的自然用户查询模式。 在审查/包含不确定回答的情况下,USMLE 步骤 1、2CK 和 3 的 ChatGPT 准确性分别为 68.0%/42.9%、58.3%/51.4% 和 62.4%/55.7%。”
将 ChatGPT 的性能描述为“接近通过”是一种慷慨的措辞方式,尤其是在人工智能因不确定的答案而受到赞扬的情况下。 到达医生办公室并看到标有 D 级的文凭可能会引起患者的更多关注。
但研究人员坚持认为,ChatGPT 做对的事情与公认的答案非常吻合,而且人工智能模型有了显着改进,几个月前的成功率仅为 36.7% 左右。
有趣的是,他们观察到 ChatGPT 比 PubMedGPT 表现更好,PubMedGPT 是一种完全基于生物医学数据的 LLM,其管理的准确性仅为 50.8%(基于未发表的数据)。
“我们推测,特定领域的培训可能在 PubMedGPT 模型中产生了更大的矛盾心理,因为它从正在进行的学术讨论中吸收了真实世界的文本,这些文本在其语言中往往是不确定的、矛盾的、高度保守的或不置可否的,”作者说.
从本质上讲,ChatGPT 培训中使用的科学性较低、自以为是的材料(如面向患者的疾病解释手册)似乎使 ChatGPT 更加自以为是。
“随着人工智能变得越来越熟练,它很快就会变得无处不在,从而改变所有医疗保健部门的临床医学,”作者总结道,并补充说,与 AnsibleHealth 相关的临床医生一直在他们的工作流程中使用 ChatGPT,并报告说时间减少了 33%需要完成文档和间接患者护理任务。
这或许可以解释微软的决定 向 OpenAI 注入数十亿美元 用于其未来的软件。
ChatGPT 在教育环境中的实用性——尽管它经常是错误的——在一个 博客文章 周日,战略研究教授、Alperovich 网络安全研究所创始人托马斯·里德 (Thomas Rid) 发表了这篇文章。
Rid 描述了最近由 Juan Andres Guerrero-Saade 教授的为期五天的恶意软件分析和逆向工程课程。
“五天后,我不再怀疑:这件事将改变高等教育,”里德说。 “我是学生之一。 我对机器学习能够实时为我们做的事情感到震惊。 我说这话是作为一个已经变硬的人 怀疑论者 人工智能炒作多年。 请注意,我没有说“可能”转换。 它将改变高等教育。”
格雷罗-萨德,在 一个Twitter线程,承认 ChatGPT 出了问题,但坚称该工具帮助学生提出了更好的答案。 他建议它的功能就像每个学生的个人助教。
“围绕人工智能(或对完美输出的过高期望)的恐惧笼罩了人们对这个法学硕士惊人效用的认识:作为一个助手,能够快速合并信息(正确或错误)与更敏锐的智能(用户)一起工作, ” 他写道:.
Rid 认为,虽然需要解决对人工智能作为教育剽窃和作弊机制的担忧,但更重要的对话必须与人工智能工具如何改善教育成果有关。 ®
- SEO 支持的内容和 PR 分发。 今天得到放大。
- 柏拉图区块链。 Web3 元宇宙智能。 知识放大。 访问这里。
- Sumber: https://go.theregister.com/feed/www.theregister.com/2023/01/24/chatgpt_exam_study/
- 1
- 7
- 9
- a
- 对,能力--
- Able
- 关于
- 以上
- 学者
- 实现
- 横过
- 高级
- 广告
- 忠告
- 顾问
- 附属
- 背景
- 后
- AI
- 所有类型
- 已经
- 惊人
- Amazon
- 其中
- 分析
- 和
- 匿名
- 回答
- 答案
- 的途径
- 接近
- 主张
- 围绕
- 抵达
- 人造的
- 人工智能
- 协助
- 助理
- 相关
- 作者
- 自动化
- 自动化和干细胞工程
- 基于
- 基本包
- 因为
- 成为
- 成为
- 成为
- 作为
- 得益
- 更好
- 之间
- 十亿美元
- 生物医学
- 位
- 波士顿
- 布朗大学
- 商业
- 商学院
- 被称为
- 能力
- 关心
- 案件
- 客户案例
- ChatGPT
- 作弊
- 清除
- 临床资料
- 临床医生
- 密切
- 云端技术
- 合著者
- 码
- 如何
- 完成
- 关心
- 关注
- 总结
- 结论
- 保守的
- 贡献
- 谈话
- 课程
- 创建
- 信用
- 网络安全
- 每天
- 达拉斯
- data
- 一年中的
- 决定
- 决定
- 决策
- 证明
- 问题类型
- 尽管
- DID
- 直接
- 副总经理
- 疾病
- 文件
- 怀疑
- 电子学习
- 每
- 此前
- 教育
- 教育的
- 教育工作者
- 工程师
- 估计
- 醚(ETH)
- 每个人
- 考试
- 超过
- 优秀
- 期望
- 期望
- 技术专家
- 介绍
- 解释
- 极端
- 秋季
- 最后
- 找到最适合您的地方
- 公司
- (名字)
- 格式
- 发现
- 创办人
- 自由的
- 止
- 功能
- 未来
- 其他咨询
- 慷慨
- 得到
- GitHub上
- 特定
- 经验
- 更大的
- 团队
- 成长
- 哈佛
- 有
- 健康管理
- 医疗保健
- 帮助
- 更高
- 高等教育
- 高度
- 提示
- 医院
- 创新中心
- How To
- 但是
- HTTPS
- 人
- 炒作
- 重要
- 改善
- 改善
- in
- 其他
- 包括
- 包括
- 包含
- 日益
- 信息
- 输入
- 研究所
- 知识分子
- 房源搜索
- 兴趣
- 岛
- IT
- 项目
- 本身
- 工作
- 知识
- 语言
- 大
- 学习
- 许可证
- 容易
- 限制
- 小
- 活的
- 有限责任公司
- 不再
- 机
- 机器学习
- 制成
- 保持
- 制作
- 制作
- 恶意软件
- 管理
- 颠覆性技术
- 许多
- 标记
- 质量
- 美国马萨诸塞州
- 材料
- 数学
- 问题
- 机制
- 医生
- 医学研究
- 药物
- 微软
- 可能
- 错误
- 模型
- 模型
- 个月
- 更多
- 摩根
- 自然
- 自然
- 需求
- 打印车票
- 数
- 办公
- 一
- 正在进行
- OpenAI
- 运营
- 自以为是
- 组织
- 其他名称
- 最划算
- 纸类
- 尤其
- 通过
- 病人
- 病人护理
- 患者
- 模式
- 宾夕法尼亚
- 员工
- 百分
- 性能
- 也许
- 个人
- 医生
- 件
- 地方
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 播放
- 英寸
- 潜力
- 过程
- 教授
- 英勇
- 出版
- 放
- 季
- 题
- 有疑问吗?
- 很快
- 率
- 真实
- 真实的世界
- 实时的
- 最近
- 承认
- 相关性
- 报道
- 要求
- 必须
- 研究
- 研究小组
- 研究人员
- 响应
- 反转
- 摆脱
- 角色
- 说
- 学校
- 部分
- 行业
- 看到
- 设置
- 设置
- 几个
- 类似
- 简易
- So
- 软件
- 不久
- 来源
- 特别是
- 斯坦福
- 州/领地
- 步骤
- 善用
- 学生
- 学生
- 研究
- 提交
- 成功
- 顺利
- 提示
- 系统
- 产品
- 会谈
- 任务
- 教师
- 教诲
- 专业技术
- test
- 测试
- 德州
- 世界
- 其
- 事
- 事
- 门槛
- 通过
- 蒂芙尼
- 次
- 至
- 工具
- 工具
- 熟练
- 产品培训
- 改造
- 转型
- 普及
- 意外
- 大学
- 宾夕法尼亚大学
- us
- 用户
- 效用
- 违反
- 养兔场
- 沃顿
- 什么是
- 这
- 而
- WHO
- 将
- 工作
- 工作流程
- 世界
- 将
- 写作
- 错误
- 年
- 产量
- 和风网