ChatGPT ไม่สามารถผ่านการทดสอบระบบทางเดินอาหารของสหรัฐอเมริกาได้

ChatGPT ไม่สามารถผ่านการทดสอบระบบทางเดินอาหารของสหรัฐอเมริกาได้

ประทับเวลา: 24 พฤษภาคม 2023 3:29 น
โหนดต้นทาง: 2682739

ChatGPT ไม่ผ่านการทดสอบของ American College of Gastroenterology และไม่สามารถสร้างข้อมูลทางการแพทย์ที่ถูกต้องสำหรับผู้ป่วยได้ แพทย์เตือน

A study led by physicians at the Feinstein Institutes for Medical Research tested both variants of ChatGPT – powered by OpenAI's older GPT-3.5 model and the latest GPT-4 system. The academic team copy and pasted the multiple choice questions taken from the 2021 and 2022 American College of Gastroenterology (ACG) Self-Assessment Tests into the bot, and analyzed the software's responses.

สิ่งที่น่าสนใจคือเวอร์ชันขั้นสูงน้อยกว่าที่ใช้ GPT-3.5 ตอบคำถามได้ถูกต้อง 65.1 เปอร์เซ็นต์ของคำถาม 455 ข้อ ในขณะที่ GPT-4 ที่มีประสิทธิภาพมากกว่าทำคะแนนได้ 62.4 เปอร์เซ็นต์ สิ่งที่เกิดขึ้นนั้นยากที่จะอธิบายได้ เนื่องจาก OpenAI มีความลับเกี่ยวกับวิธีที่มันฝึกโมเดลของมัน โฆษกของบริษัทบอกเราว่าอย่างน้อยทั้งสองรุ่นได้รับการฝึกอบรมเกี่ยวกับข้อมูลล่าสุดในเดือนกันยายน 2021

ไม่ว่าในกรณีใด ผลลัพธ์ก็ไม่ดีพอที่จะถึงเกณฑ์ 70 เปอร์เซ็นต์เพื่อผ่านการสอบ

Arvind Trindade รองศาสตราจารย์ของ The Feinstein Institutes for Medical Research และผู้เขียนอาวุโสของการศึกษา การตีพิมพ์ ใน วารสารระบบทางเดินอาหารอเมริกันบอก ลงทะเบียน.

"Although the score is not far away from passing or obtaining a 70 percent, I would argue that for medical advice or medical education, the score should be over 95."

"I don't think a patient would be comfortable with a doctor that only knows 70 percent of his or her medical field. If we demand this high standard for our doctors, we should demand this high standard from medical chatbots," he added.

American College of Gastroenterology ฝึกอบรมแพทย์และการทดสอบของวิทยาลัยนี้ใช้เป็นแบบฝึกหัดสำหรับการสอบอย่างเป็นทางการ ในการเป็นแพทย์ระบบทางเดินอาหารที่ผ่านการรับรองจากคณะกรรมการ แพทย์จำเป็นต้องผ่านการตรวจจาก American Board of Internal Medicine Gastroenterology นั่นต้องใช้ความรู้และการศึกษา - ไม่ใช่แค่ความรู้สึก

ChatGPT generates responses by predicting the next word in a given sentence. AI learns common patterns in its training data to figure out what word should go next, and is partially effective at recalling information. Although the technology has improved rapidly, it's not perfect and is often prone to hallucinating false facts – especially if it's being quizzed on niche subjects that may not be present in its training data.

"ChatGPT's basic function is to predict the next word in a string of text to produce an expected response based on available information, regardless of whether such a response is factually correct or not. It does not have any intrinsic understanding of a topic or issue," the paper explains.

Trindade told us that it's possible that the gastroenterology-related information on webpages used to train the software is not accurate, and that the best resources like medical journals or databases should be used. 

อย่างไรก็ตาม ทรัพยากรเหล่านี้ไม่พร้อมใช้งานและสามารถล็อกไว้หลังเพย์วอลล์ได้ ในกรณีดังกล่าว ChatGPT อาจไม่ได้รับความรู้จากผู้เชี่ยวชาญอย่างเพียงพอ

"The results are only applicable to ChatGPT – other chatbots need to be validated. The crux of the issue is where these chatbots are obtaining the information. In its current form ChatGPT should not be used for medical advice or medical education," Trindade concluded. ®

ประทับเวลา:

เพิ่มเติมจาก ลงทะเบียน