Thought Propagation: An Analogical Approach To Complex Reasoning With Large Language Models - KDnuggets

เผยแพร่ซ้ำโดยเพลโต

ผู้ติดตาม: 0

การเผยแพร่ความคิด: แนวทางเชิงเปรียบเทียบในการให้เหตุผลที่ซับซ้อนด้วยแบบจำลองภาษาขนาดใหญ่

ประเด็นที่สำคัญ

การขยายพันธุ์ทางความคิด (TP) เป็นวิธีการใหม่ที่ช่วยเพิ่มความสามารถในการให้เหตุผลที่ซับซ้อนของโมเดลภาษาขนาดใหญ่ (LLM)
TP ใช้ประโยชน์จากปัญหาที่คล้ายคลึงกันและวิธีแก้ปัญหาเพื่อปรับปรุงการใช้เหตุผล แทนที่จะสร้างเหตุผลของ LLM ตั้งแต่เริ่มต้น
การทดลองในงานต่างๆ แสดงให้เห็นว่า TP มีประสิทธิภาพเหนือกว่าวิธีพื้นฐานอย่างมาก โดยมีการปรับปรุงตั้งแต่ 12% ถึง 15%

ขั้นแรก TP จะแจ้งให้ LLM เสนอและแก้ไขปัญหาชุดหนึ่งที่เกี่ยวข้องกับอินพุต จากนั้น TP จะนำผลลัพธ์ของปัญหาที่คล้ายกันกลับมาใช้ใหม่เพื่อให้ได้วิธีแก้ปัญหาใหม่โดยตรง หรือจัดทำแผนงานที่ต้องใช้ความรู้จำนวนมากสำหรับการดำเนินการเพื่อแก้ไขวิธีแก้ปัญหาเบื้องต้นที่ได้รับตั้งแต่เริ่มต้น

ความเก่งกาจและพลังในการคำนวณของ Large Language Models (LLM) นั้นไม่อาจปฏิเสธได้ แต่ก็ไม่ได้ไร้ขีดจำกัด หนึ่งในความท้าทายที่สำคัญและสม่ำเสมอที่สุดสำหรับ LLM คือแนวทางทั่วไปในการแก้ปัญหา ซึ่งประกอบด้วยการให้เหตุผลจากหลักการแรกๆ สำหรับงานใหม่ทุกงานที่ต้องเผชิญ นี่เป็นปัญหา เนื่องจากช่วยให้สามารถปรับตัวได้ในระดับสูง แต่ยังเพิ่มโอกาสที่จะเกิดข้อผิดพลาด โดยเฉพาะอย่างยิ่งในงานที่ต้องใช้เหตุผลหลายขั้นตอน

ความท้าทายของ "การใช้เหตุผลตั้งแต่เริ่มต้น" เด่นชัดเป็นพิเศษในงานที่ซับซ้อนซึ่งต้องใช้ตรรกะและการอนุมานหลายขั้นตอน ตัวอย่างเช่น หาก LLM ถูกขอให้ค้นหาเส้นทางที่สั้นที่สุดในเครือข่ายของจุดที่เชื่อมต่อถึงกัน โดยทั่วไปแล้วจะไม่ใช้ประโยชน์จากความรู้เดิมหรือปัญหาที่คล้ายคลึงกันในการค้นหาวิธีแก้ไข แต่จะพยายามแก้ไขปัญหาแบบแยกส่วน ซึ่งอาจนำไปสู่ผลลัพธ์ที่ต่ำกว่ามาตรฐานหรือแม้แต่ข้อผิดพลาดโดยสิ้นเชิงได้ เข้า การเผยแพร่ความคิด (TP) วิธีการที่ออกแบบมาเพื่อเพิ่มความสามารถในการให้เหตุผลของ LLM TP มุ่งหวังที่จะเอาชนะข้อจำกัดโดยธรรมชาติของ LLM โดยปล่อยให้พวกเขาดึงเอาปัญหาที่คล้ายคลึงกันและแนวทางแก้ไขที่เกี่ยวข้องออกจากแหล่งกักเก็บ วิธีการที่เป็นนวัตกรรมนี้ไม่เพียงแต่ปรับปรุงความแม่นยำของโซลูชันที่สร้างโดย LLM เท่านั้น แต่ยังช่วยเพิ่มความสามารถในการจัดการกับงานการให้เหตุผลที่ซับซ้อนหลายขั้นตอนอีกด้วย ด้วยการใช้ประโยชน์จากพลังแห่งการเปรียบเทียบ TP ได้จัดเตรียมกรอบการทำงานที่ขยายความสามารถในการให้เหตุผลโดยธรรมชาติของ LLM ซึ่งนำเราเข้าใกล้การตระหนักถึงระบบประดิษฐ์ที่ชาญฉลาดอย่างแท้จริงอีกก้าวหนึ่ง

การเผยแพร่ความคิดประกอบด้วยสองขั้นตอนหลัก:

ขั้นแรก LLM จะได้รับแจ้งให้เสนอและแก้ไขปัญหาที่คล้ายกันที่เกี่ยวข้องกับปัญหาอินพุต
ขั้นต่อไป วิธีแก้ปัญหาของปัญหาคล้ายคลึงเหล่านี้ถูกใช้เพื่อให้เกิดวิธีแก้ปัญหาใหม่โดยตรงหรือเพื่อแก้ไขวิธีแก้ปัญหาเบื้องต้น

กระบวนการระบุปัญหาที่คล้ายคลึงกันทำให้ LLM สามารถใช้กลยุทธ์และวิธีแก้ไขปัญหาซ้ำได้ ซึ่งจะเป็นการปรับปรุงความสามารถในการให้เหตุผล TP เข้ากันได้กับวิธีการแจ้งที่มีอยู่ โดยให้โซลูชันทั่วไปที่สามารถรวมเข้ากับงานต่างๆ ได้โดยไม่ต้องมีวิศวกรรมเฉพาะงานที่สำคัญ

รูป 1: กระบวนการเผยแพร่ความคิด (ภาพจากกระดาษ)

นอกจากนี้ไม่ควรประเมินความสามารถในการปรับตัวของ TP ต่ำไป ความเข้ากันได้กับวิธีการแจ้งที่มีอยู่ทำให้เป็นเครื่องมือที่หลากหลายมาก ซึ่งหมายความว่า TP ไม่ได้จำกัดอยู่เพียงโดเมนการแก้ปัญหาประเภทใดโดยเฉพาะ นี่เป็นการเปิดช่องทางที่น่าตื่นเต้นสำหรับการปรับแต่งและการเพิ่มประสิทธิภาพเฉพาะงาน ซึ่งจะช่วยยกระดับอรรถประโยชน์และประสิทธิภาพของ LLM ในแอพพลิเคชั่นที่หลากหลาย

การนำการเผยแพร่ทางความคิดไปใช้สามารถบูรณาการเข้ากับขั้นตอนการทำงานของ LLM ที่มีอยู่ได้ ตัวอย่างเช่น ในงานการใช้เหตุผลเส้นทางที่สั้นที่สุด TP สามารถแก้ชุดปัญหาที่ง่ายกว่าและคล้ายคลึงกันก่อนเพื่อทำความเข้าใจเส้นทางต่างๆ ที่เป็นไปได้ จากนั้นจะใช้ข้อมูลเชิงลึกเหล่านี้ในการแก้ปัญหาที่ซับซ้อน ซึ่งจะเป็นการเพิ่มโอกาสในการค้นหาวิธีแก้ปัญหาที่ดีที่สุด

1 ตัวอย่าง

งาน: การใช้เหตุผลเส้นทางที่สั้นที่สุด
ปัญหาที่คล้ายคลึงกัน: เส้นทางที่สั้นที่สุดระหว่างจุด A และ B, เส้นทางที่สั้นที่สุดระหว่างจุด B และ C
ทางออกสุดท้าย: เส้นทางที่เหมาะสมที่สุดจากจุด A ถึง C โดยพิจารณาวิธีแก้ปัญหาที่คล้ายคลึงกัน

2 ตัวอย่าง

งาน: การเขียนเชิงสร้างสรรค์
ปัญหาที่คล้ายคลึงกัน: เขียนเรื่องสั้นเกี่ยวกับมิตรภาพ เขียนเรื่องสั้นเกี่ยวกับความไว้วางใจ
ทางออกสุดท้าย: เขียนเรื่องสั้นที่ซับซ้อนซึ่งผสมผสานธีมของมิตรภาพและความไว้วางใจ

กระบวนการนี้เกี่ยวข้องกับการแก้ปัญหาที่คล้ายคลึงกันเหล่านี้ก่อน จากนั้นจึงใช้ข้อมูลเชิงลึกที่ได้รับเพื่อจัดการกับงานที่ซับซ้อนที่มีอยู่ วิธีการนี้ได้แสดงให้เห็นถึงประสิทธิผลในงานต่างๆ มากมาย โดยแสดงให้เห็นการปรับปรุงที่สำคัญในการวัดประสิทธิภาพ

ผลกระทบของการเผยแพร่ทางความคิดมีมากกว่าแค่การปรับปรุงตัวชี้วัดที่มีอยู่เท่านั้น เทคนิคการกระตุ้นเตือนนี้มีศักยภาพในการเปลี่ยนแปลงวิธีที่เราเข้าใจและปรับใช้ LLM ระเบียบวิธีเน้นย้ำถึงการเปลี่ยนแปลงจากการแก้ปัญหาแบบอะตอมมิกแบบแยกเดี่ยวไปสู่แนวทางแบบองค์รวมและเชื่อมโยงถึงกันมากขึ้น มันเตือนให้เราพิจารณาว่า LLM สามารถเรียนรู้ไม่เพียงแต่จากข้อมูลเท่านั้น แต่จากกระบวนการแก้ไขปัญหาด้วยตัวมันเอง ด้วยการอัปเดตความเข้าใจอย่างต่อเนื่องผ่านแนวทางแก้ไขปัญหาที่คล้ายกัน LLM ที่ติดตั้ง TP จึงเตรียมพร้อมรับมือกับความท้าทายที่ไม่คาดฝันได้ดีขึ้น ทำให้มีความยืดหยุ่นและปรับตัวได้มากขึ้นในสภาพแวดล้อมที่พัฒนาอย่างรวดเร็ว

การขยายพันธุ์ทางความคิดเป็นส่วนเสริมที่น่าหวังในกล่องเครื่องมือของวิธีการกระตุ้นที่มีจุดมุ่งหมายเพื่อเพิ่มขีดความสามารถของ LLM ด้วยการอนุญาตให้ LLM ใช้ประโยชน์จากปัญหาที่คล้ายคลึงกันและวิธีแก้ไข TP จึงมีวิธีการให้เหตุผลที่เหมาะสมและมีประสิทธิภาพมากขึ้น การทดลองยืนยันประสิทธิภาพ ทำให้เป็นกลยุทธ์ในการปรับปรุงประสิทธิภาพของ LLM ในงานต่างๆ ในที่สุด TP อาจเป็นตัวแทนของก้าวสำคัญในการค้นหาระบบ AI ที่มีความสามารถมากขึ้น

Matthew Mayo May (@แมตต์มาโย13) สำเร็จการศึกษาระดับปริญญาโทสาขาวิทยาการคอมพิวเตอร์และประกาศนียบัตรบัณฑิตสาขาการทำเหมืองข้อมูล ในฐานะบรรณาธิการบริหารของ KDnuggets Matthew ตั้งเป้าที่จะทำให้แนวคิดด้านวิทยาศาสตร์ข้อมูลที่ซับซ้อนเข้าถึงได้ ความสนใจทางวิชาชีพของเขา ได้แก่ การประมวลผลภาษาธรรมชาติ อัลกอริธึมการเรียนรู้ของเครื่อง และการสำรวจ AI ที่เกิดขึ้นใหม่ เขาขับเคลื่อนด้วยภารกิจในการทำให้ความรู้เป็นประชาธิปไตยในชุมชนวิทยาศาสตร์ข้อมูล Matthew เขียนโค้ดตั้งแต่อายุ 6 ขวบ