LLM Apocalypse Now: การแก้แค้นของโคลนโอเพ่นซอร์ส - KDnuggets

เผยแพร่ซ้ำโดยเพลโต

ผู้ติดตาม: 0

LLM Apocalypse Now: การแก้แค้นของโคลนโอเพ่นซอร์ส

ภาพจาก Adobe Firefly

“พวกเรามีมากเกินไป เราเข้าถึงเงินมากเกินไป อุปกรณ์มากเกินไป และเราก็บ้าไปแล้วทีละน้อย”

Francis Ford Coppola ไม่ได้เปรียบเทียบบริษัท AI ที่ใช้จ่ายมากเกินไปและหลงทาง แต่เขาก็สามารถเป็นเช่นนั้นได้ Apocalypse Now เป็นโปรเจ็กต์ที่ยิ่งใหญ่ แต่ก็เป็นโปรเจ็กต์ที่ยาว ยาก และมีราคาแพง เหมือนกับ GPT-4 ฉันแนะนำว่าการพัฒนา LLM ต้องใช้เงินและอุปกรณ์มากเกินไป และโฆษณาเกินจริง "เราเพิ่งประดิษฐ์ความฉลาดทั่วไป" บางส่วนก็ดูบ้าไปหน่อย แต่ตอนนี้ถึงคราวที่ชุมชนโอเพ่นซอร์สจะทำสิ่งที่พวกเขาทำได้ดีที่สุด: ส่งมอบซอฟต์แวร์คู่แข่งฟรีโดยใช้เงินและอุปกรณ์น้อยกว่ามาก

OpenAI ได้รับเงินทุนมากกว่า 11 พันล้านเหรียญสหรัฐ และคาดว่า GPT-3.5 มีค่าใช้จ่าย 5-6 ล้านเหรียญสหรัฐต่อการฝึกซ้อมแต่ละครั้ง เรารู้เพียงเล็กน้อยเกี่ยวกับ GPT-4 เพราะ OpenAI ไม่ได้บอก แต่ฉันคิดว่ามันปลอดภัยที่จะถือว่ามันไม่เล็กกว่า GPT-3.5 ขณะนี้มีการขาดแคลน GPU ทั่วโลก และสำหรับการเปลี่ยนแปลง ไม่ใช่เพราะ cryptocoin ล่าสุด สตาร์ทอัพด้าน AI เจนเนอรีทีฟกำลังระดมทุน Series A มูลค่ากว่า 100 ล้านดอลลาร์สหรัฐฯ ด้วยการประเมินมูลค่ามหาศาล เมื่อพวกเขาไม่ได้เป็นเจ้าของ IP ใดๆ สำหรับ LLM ที่พวกเขาใช้เพื่อขับเคลื่อนผลิตภัณฑ์ของตน กลุ่ม LLM อยู่ในเกียร์สูงและเงินก็ไหล

ดูเหมือนว่าแม่พิมพ์จะถูกหล่อขึ้น มีเพียงบริษัทที่มีกระเป๋าลึกอย่าง Microsoft/OpenAI, Amazon และ Google เท่านั้นที่สามารถฝึกอบรมโมเดลพารามิเตอร์มูลค่านับแสนล้านได้ โมเดลที่ใหญ่กว่าถือเป็นรุ่นที่ดีกว่า GPT-3 มีอะไรผิดปกติหรือเปล่า? รอจนกว่าจะมีเวอร์ชันที่ใหญ่กว่านี้ แล้วทุกอย่างจะเรียบร้อย! บริษัทขนาดเล็กที่ต้องการแข่งขันต้องระดมทุนมากขึ้น หรือไม่ก็ถูกทิ้งให้สร้างการบูรณาการสินค้าโภคภัณฑ์ในตลาด ChatGPT Academia ซึ่งมีงบประมาณการวิจัยที่จำกัดยิ่งกว่านั้นก็ถูกผลักไสให้อยู่ข้างสนาม

โชคดีที่คนฉลาดและโครงการโอเพ่นซอร์สจำนวนมากมองว่านี่เป็นความท้าทายมากกว่าข้อจำกัด นักวิจัยที่สแตนฟอร์ดได้เปิดตัว Alpaca ซึ่งเป็นโมเดลพารามิเตอร์มูลค่า 7 พันล้านตัว ซึ่งมีประสิทธิภาพใกล้เคียงกับโมเดลพารามิเตอร์ 3.5 พันล้านของ GPT-175 เนื่องจากขาดทรัพยากรในการสร้างชุดการฝึกอบรมในขนาดที่ OpenAI ใช้ พวกเขาจึงเลือกที่จะใช้ LLM, LLaMA แบบโอเพ่นซอร์สที่ผ่านการฝึกอบรมอย่างชาญฉลาด และปรับแต่งชุดของพร้อมท์และเอาต์พุต GPT-3.5 แทน โดยพื้นฐานแล้ว โมเดลได้เรียนรู้ว่า GPT-3.5 ทำอะไร ซึ่งกลายเป็นกลยุทธ์ที่มีประสิทธิภาพมากในการจำลองพฤติกรรมของมัน

Alpaca ได้รับอนุญาตสำหรับการใช้งานที่ไม่ใช่เชิงพาณิชย์ทั้งในโค้ดและข้อมูลเท่านั้น เนื่องจากใช้โมเดล LLaMA ที่ไม่ใช่เชิงพาณิชย์แบบโอเพ่นซอร์ส และ OpenAI ไม่อนุญาตให้ใช้ API เพื่อสร้างผลิตภัณฑ์คู่แข่งอย่างชัดเจน นั่นสร้างโอกาสอันน่าเย้ายวนใจในการปรับแต่ง LLM โอเพ่นซอร์สอื่นๆ อย่างละเอียดตามพร้อมท์และเอาท์พุตของ Alpaca... การสร้างโมเดลที่คล้ายกับ GPT-3.5 ตัวที่สามที่มีความเป็นไปได้ในการออกใบอนุญาตที่แตกต่างกัน

มีการประชดอีกชั้นหนึ่งที่นี่ โดยที่ LLM รายใหญ่ทั้งหมดได้รับการฝึกอบรมเกี่ยวกับข้อความและรูปภาพที่มีลิขสิทธิ์ซึ่งมีอยู่บนอินเทอร์เน็ต และพวกเขาไม่ได้จ่ายเงินแม้แต่บาทเดียวให้กับผู้ถือสิทธิ์ บริษัทต่างๆ เรียกร้องการยกเว้น "การใช้งานโดยชอบธรรม" ภายใต้กฎหมายลิขสิทธิ์ของสหรัฐอเมริกา โดยมีข้อโต้แย้งว่าการใช้งานนั้นเป็น "การเปลี่ยนแปลง" อย่างไรก็ตาม เมื่อพูดถึงผลลัพธ์ของโมเดลที่พวกเขาสร้างด้วยข้อมูลฟรี พวกเขาไม่อยากให้ใครทำแบบเดียวกันกับพวกเขาจริงๆ ฉันคาดหวังว่าสิ่งนี้จะเปลี่ยนไปเมื่อผู้ถือสิทธิ์ฉลาดขึ้น และอาจจบลงที่ศาลในบางจุด

นี่เป็นประเด็นที่แยกจากกันและชัดเจนจากผู้เขียนโอเพ่นซอร์สที่ได้รับใบอนุญาตแบบจำกัด ซึ่งสำหรับ AI ทั่วไปสำหรับผลิตภัณฑ์ Code เช่น CoPilot คัดค้านการใช้โค้ดเพื่อการฝึกอบรมโดยอ้างว่าไม่ได้ปฏิบัติตามใบอนุญาต ปัญหาสำหรับผู้เขียนโอเพ่นซอร์สแต่ละคนคือพวกเขาจำเป็นต้องแสดงจุดยืน – การคัดลอกที่สำคัญ – และพวกเขาได้รับความเสียหาย และเนื่องจากแบบจำลองทำให้ยากต่อการเชื่อมโยงโค้ดเอาต์พุตกับอินพุต (บรรทัดของซอร์สโค้ดโดยผู้เขียน) และไม่มีการสูญเสียทางเศรษฐกิจ (ควรจะเป็นอิสระ) จึงเป็นเรื่องยากมากที่จะสร้างกรณีนี้ ซึ่งแตกต่างจากผู้สร้างที่แสวงหาผลกำไร (เช่น ช่างภาพ) ซึ่งมีรูปแบบธุรกิจทั้งหมดในการออกใบอนุญาต/ขายผลงานของตน และมีตัวแทนจากผู้รวบรวม เช่น Getty Images ซึ่งสามารถแสดงการคัดลอกเนื้อหาที่สำคัญได้

อีกสิ่งที่น่าสนใจเกี่ยวกับ LLaMA ก็คือมันออกมาจาก Meta เดิมทีมันถูกปล่อยออกมาสำหรับนักวิจัยเท่านั้น จากนั้นก็รั่วไหลผ่าน BitTorrent ไปทั่วโลก Meta อยู่ในธุรกิจที่แตกต่างโดยพื้นฐานกับ OpenAI, Microsoft, Google และ Amazon โดยไม่ได้พยายามขายบริการคลาวด์หรือซอฟต์แวร์ให้คุณ และมีแรงจูงใจที่แตกต่างกันมาก มีการออกแบบคอมพิวเตอร์แบบโอเพ่นซอร์สในอดีต (OpenCompute) และเห็นว่าชุมชนมีการปรับปรุงให้ดีขึ้น โดยเข้าใจถึงคุณค่าของโอเพ่นซอร์ส

Meta อาจกลายเป็นหนึ่งในผู้มีส่วนร่วม AI แบบโอเพ่นซอร์สที่สำคัญที่สุด ไม่เพียงแต่มีทรัพยากรมหาศาลเท่านั้น แต่ยังมีประโยชน์หากมีการแพร่กระจายของเทคโนโลยี AI เจนเนอเรชั่นที่ยอดเยี่ยม โดยจะมีเนื้อหาเพิ่มเติมให้สร้างรายได้บนโซเชียลมีเดีย Meta ได้เปิดตัวโมเดล AI โอเพ่นซอร์สอีกสามรุ่น ได้แก่ ImageBind (การจัดทำดัชนีข้อมูลหลายมิติ), DINOv2 (การมองเห็นคอมพิวเตอร์) และ Segment Anything ส่วนหลังระบุวัตถุที่ไม่ซ้ำกันในรูปภาพและเผยแพร่ภายใต้ใบอนุญาต Apache ที่ได้รับอนุญาตอย่างสูง

ในที่สุด เรายังถูกกล่าวหาว่ามีการรั่วไหลของเอกสารภายในของ Google “We Have No Moat, and Neither Does OpenAI” ซึ่งมองข้ามมุมมองที่มืดมนของโมเดลแบบปิดเทียบกับนวัตกรรมของชุมชนที่ผลิตโมเดลที่เล็กกว่าและราคาถูกกว่ามากซึ่งมีประสิทธิภาพใกล้เคียงหรือดีกว่า แหล่งปิดของพวกเขา ฉันพูดถูกกล่าวหาว่าเป็นเพราะไม่มีวิธีตรวจสอบแหล่งที่มาของบทความว่าเป็นข้อมูลภายในของ Google อย่างไรก็ตาม มีกราฟที่น่าสนใจดังนี้:

แกนแนวตั้งคือการให้คะแนนของเอาต์พุต LLM ด้วย GPT-4 เพื่อให้ชัดเจน

Stable Diffusion ซึ่งสังเคราะห์ภาพจากข้อความ เป็นอีกตัวอย่างหนึ่งที่ AI ที่สร้างจากโอเพ่นซอร์สสามารถก้าวหน้าได้เร็วกว่าโมเดลที่เป็นกรรมสิทธิ์ การทำซ้ำล่าสุดของโปรเจ็กต์นั้น (ControlNet) ได้ปรับปรุงจนเกินความสามารถของ Dall-E2 สิ่งนี้เกิดขึ้นจากการปรับแต่งมากมายทั่วโลก ส่งผลให้เกิดความก้าวหน้าที่ยากสำหรับสถาบันใด ๆ ที่จะเทียบเคียงได้ นักซ่อมแซมบางคนค้นพบวิธีทำให้ Stable Diffusion เร็วขึ้นเพื่อฝึกฝนและรันบนฮาร์ดแวร์ที่ราคาถูกลง ทำให้ผู้คนจำนวนมากขึ้นสามารถวนรอบการวนซ้ำที่สั้นลง

แล้วเราก็มาครบวงแล้ว การไม่มีเงินมากเกินไปและอุปกรณ์มากเกินไปได้สร้างแรงบันดาลใจให้เกิดนวัตกรรมอันชาญฉลาดโดยชุมชนคนธรรมดาทั้งหมด ถึงเวลาแล้วที่จะเป็นนักพัฒนา AI

แมทธิว ลอดจ์ เป็น CEO ของ Diffblue สตาร์ทอัพด้าน AI For Code เขามีประสบการณ์มากกว่า 25 ปีในการเป็นผู้นำผลิตภัณฑ์ในบริษัทต่างๆ เช่น Anaconda และ VMware ปัจจุบัน Lodge ดำรงตำแหน่งเป็นคณะกรรมการของ Good Law Project และเป็นรองประธานคณะกรรมการมูลนิธิของ Royal Photographic Society