การฝังเวกเตอร์คืออะไร? | คำจำกัดความจาก TechTarget

การฝังเวกเตอร์คืออะไร?

การฝังเวกเตอร์คือการแสดงตัวเลขที่จับความสัมพันธ์และความหมายของคำ วลี และประเภทข้อมูลอื่นๆ ด้วยการฝังเวกเตอร์ ลักษณะสำคัญหรือคุณลักษณะของวัตถุจะถูกแปลเป็นอาร์เรย์ตัวเลขที่กระชับและเป็นระเบียบ ช่วยให้คอมพิวเตอร์ดึงข้อมูลได้อย่างรวดเร็ว จุดข้อมูลที่คล้ายกันจะถูกจัดกลุ่มให้อยู่ใกล้กันมากขึ้นหลังจากถูกแปลเป็นจุดในพื้นที่หลายมิติ

ใช้ในการใช้งานที่หลากหลาย โดยเฉพาะอย่างยิ่งในการประมวลผลภาษาธรรมชาติ (NLP) และการเรียนรู้ของเครื่อง (ML) การฝังเวกเตอร์ช่วยจัดการและประมวลผลข้อมูลสำหรับงานต่างๆ เช่น การเปรียบเทียบความคล้ายคลึง การจัดกลุ่ม และการจำแนกประเภท เช่น เมื่อดูข้อมูลที่เป็นข้อความ คำต่างๆ เช่น แมว และ กองทุน สื่อความหมายที่คล้ายคลึงกันแม้จะมีความแตกต่างในองค์ประกอบตัวอักษรก็ตาม การค้นหาความหมายที่มีประสิทธิภาพต้องอาศัยการนำเสนอที่แม่นยำซึ่งสามารถจับความคล้ายคลึงกันทางความหมายระหว่างคำต่างๆ ได้อย่างเพียงพอ

[เนื้อหาฝัง]

การฝังและเวกเตอร์เป็นสิ่งเดียวกันหรือไม่

เงื่อนไข เวกเตอร์ และ ฝัง สามารถใช้แทนกันได้ในบริบทของการฝังเวกเตอร์ พวกเขาทั้งสองอ้างถึงการแสดงข้อมูลตัวเลขซึ่งแต่ละรายการ จุดข้อมูล แสดงเป็นเวกเตอร์ในปริภูมิมิติสูง

เวกเตอร์หมายถึงอาร์เรย์ของตัวเลขที่มีมิติที่กำหนดไว้ ในขณะที่การฝังเวกเตอร์ใช้เวกเตอร์เหล่านี้เพื่อแสดงจุดข้อมูลในพื้นที่ต่อเนื่อง

การฝังหมายถึงการแสดงข้อมูลเป็นเวกเตอร์เพื่อรวบรวมข้อมูลที่สำคัญ ลิงก์ความหมาย คุณภาพเชิงบริบท หรือการจัดระเบียบการนำเสนอข้อมูลที่เรียนรู้ผ่านอัลกอริธึมการฝึกอบรมหรือ โมเดลการเรียนรู้ของเครื่อง.

ประเภทของการฝังเวกเตอร์

การฝังเวกเตอร์มีหลากหลายรูปแบบ โดยแต่ละรูปแบบมีฟังก์ชันที่แตกต่างกันในการแสดงข้อมูลประเภทต่างๆ ต่อไปนี้คือการฝังเวกเตอร์บางประเภททั่วไป:

• การฝังคำ การฝังคำคือการแสดงเวกเตอร์ของคำแต่ละคำในพื้นที่ต่อเนื่องกัน มักใช้เพื่อจับการเชื่อมโยงเชิงความหมายระหว่างคำในงานต่างๆ เช่น การวิเคราะห์ความเชื่อมั่นการแปลภาษาและความคล้ายคลึงของคำ
• การฝังประโยค การแสดงเวกเตอร์ของประโยคที่สมบูรณ์เรียกว่าการฝังประโยค สิ่งเหล่านี้มีประโยชน์สำหรับงานต่างๆ เช่น การวิเคราะห์ความรู้สึก การจัดหมวดหมู่ข้อความ และการดึงข้อมูล เนื่องจากสิ่งเหล่านี้จับความหมายและบริบทของประโยค
• การฝังเอกสาร การฝังเอกสารคือการแสดงเวกเตอร์ของเอกสารทั้งหมด เช่น บทความหรือรายงาน โดยทั่วไปจะใช้ในงานต่างๆ เช่น ความคล้ายคลึงกันของเอกสาร การจัดกลุ่ม และระบบการแนะนำ โดยจะบันทึกความหมายทั่วไปและเนื้อหาของเอกสาร
• เวกเตอร์โปรไฟล์ผู้ใช้ สิ่งเหล่านี้คือการแสดงเวกเตอร์ของการตั้งค่า การกระทำ หรือคุณลักษณะของผู้ใช้ พวกมันถูกใช้ใน การแบ่งกลุ่มลูกค้าระบบการแนะนำเฉพาะบุคคล และการโฆษณาแบบกำหนดเป้าหมายเพื่อรวบรวมข้อมูลเฉพาะผู้ใช้
• เวกเตอร์รูปภาพ สิ่งเหล่านี้คือการแสดงเวกเตอร์ของรายการภาพ เช่น รูปภาพหรือเฟรมวิดีโอ พวกมันถูกใช้ในงานเช่น การรับรู้วัตถุการค้นหารูปภาพและระบบแนะนำเนื้อหาเพื่อบันทึกคุณลักษณะด้านภาพ
• เวกเตอร์ผลิตภัณฑ์ การแสดงผลิตภัณฑ์หรือรายการเป็นเวกเตอร์ สิ่งเหล่านี้ใช้ในการค้นหาผลิตภัณฑ์ การจำแนกประเภทผลิตภัณฑ์ และระบบการแนะนำเพื่อรวบรวมคุณลักษณะและความคล้ายคลึงระหว่างผลิตภัณฑ์
• เวกเตอร์โปรไฟล์ผู้ใช้ เวกเตอร์โปรไฟล์ผู้ใช้แสดงถึงความชอบ การกระทำ หรือลักษณะเฉพาะของผู้ใช้ ใช้ในการแบ่งกลุ่มผู้ใช้ ระบบการแนะนำเฉพาะบุคคล และ การโฆษณาที่ตรงเป้าหมาย เพื่อรวบรวมข้อมูลเฉพาะผู้ใช้

การฝังเวกเตอร์ถูกสร้างขึ้นอย่างไร

การฝังเวกเตอร์ถูกสร้างขึ้นโดยใช้วิธี ML ที่ฝึกฝนโมเดลเพื่อเปลี่ยนข้อมูลให้เป็นเวกเตอร์เชิงตัวเลข โดยทั่วไปแล้วจะมีความลึก เครือข่ายประสาทเทียม ใช้เพื่อฝึกโมเดลประเภทนี้ ผลลัพธ์ของการฝังมักจะมีความหนาแน่น — ค่าทั้งหมดไม่เป็นศูนย์ — และมีมิติสูง — มากถึง 2,000 มิติ รุ่นยอดนิยมเช่น Word2Vec, GLoVE และ BERT แปลงคำ วลี หรือย่อหน้าเป็นการฝังเวกเตอร์สำหรับข้อมูลข้อความ

ขั้นตอนต่อไปนี้มักเกี่ยวข้องกับกระบวนการนี้:

1. รวบรวมชุดข้อมูลขนาดใหญ่ ชุดข้อมูลที่รวบรวมหมวดหมู่ข้อมูลเฉพาะซึ่งมีจุดประสงค์เพื่อการฝัง ไม่ว่าจะเป็นข้อความหรือรูปภาพ จะถูกประกอบขึ้น
2. ประมวลผลข้อมูลล่วงหน้า ขึ้นอยู่กับประเภทของข้อมูล การทำความสะอาด การเตรียมการ และ การประมวลผลข้อมูลล่วงหน้า เกี่ยวข้องกับการกำจัดสัญญาณรบกวน การปรับขนาดรูปภาพ การปรับข้อความให้เป็นมาตรฐาน และการดำเนินการเพิ่มเติม
3. ฝึกโมเดล. เพื่อระบุลิงก์และรูปแบบในข้อมูล โมเดลจะได้รับการฝึกโดยใช้ชุดข้อมูล เพื่อลดความแตกต่างระหว่างเป้าหมายและเวกเตอร์ที่คาดการณ์ไว้ พารามิเตอร์ของแบบจำลองที่ได้รับการฝึกล่วงหน้าจะมีการเปลี่ยนแปลงในระหว่างขั้นตอนการฝึก
4. สร้างการฝังเวกเตอร์ หลังจากการฝึก โมเดลสามารถแปลงข้อมูลใหม่ให้เป็นเวกเตอร์เชิงตัวเลข ซึ่งนำเสนอการแสดงที่มีความหมายและมีโครงสร้างที่ห่อหุ้มข้อมูลความหมายของข้อมูลต้นฉบับได้อย่างมีประสิทธิภาพ

การฝังเวกเตอร์สามารถทำได้กับประเภทข้อมูลที่หลากหลาย รวมถึงข้อมูลอนุกรมเวลา ข้อความ รูปภาพ เสียง โมเดลสามมิติ (3D) และวิดีโอ เนื่องจากวิธีการฝังตัวเกิดขึ้น วัตถุที่มีความหมายคล้ายกันจะมีเวกเตอร์ในปริภูมิเวกเตอร์ที่อยู่ใกล้กัน

การฝังเวกเตอร์ถูกเก็บไว้ที่ไหน?

การฝังเวกเตอร์จะถูกจัดเก็บไว้ในฐานข้อมูลเฉพาะที่เรียกว่า ฐานข้อมูลเวกเตอร์. ฐานข้อมูลเหล่านี้เป็นการนำเสนอคุณลักษณะข้อมูลทางคณิตศาสตร์ในมิติสูง ต่างจากฐานข้อมูลแบบสเกลาร์มาตรฐานหรือดัชนีเวกเตอร์อิสระ ฐานข้อมูลเวกเตอร์ให้ประสิทธิภาพเฉพาะสำหรับการจัดเก็บและเรียกข้อมูลการฝังเวกเตอร์ในขนาดต่างๆ พวกเขามีความสามารถในการจัดเก็บและเรียกค้นข้อมูลจำนวนมหาศาลสำหรับฟังก์ชันการค้นหาเวกเตอร์ได้อย่างมีประสิทธิภาพ

ฐานข้อมูลเวกเตอร์ประกอบด้วยองค์ประกอบสำคัญหลายประการ รวมถึงประสิทธิภาพและ ความทนทานต่อความผิดพลาด. เพื่อให้แน่ใจว่าฐานข้อมูลเวกเตอร์ทนทานต่อข้อผิดพลาด การจำลองแบบ และ ชาร์ดดิ้ง มีการใช้เทคนิค การจำลองแบบเป็นกระบวนการสร้างสำเนาของข้อมูลข้ามโหนดจำนวนมาก ในขณะที่การแบ่งส่วนเป็นกระบวนการของการแบ่งพาร์ติชันข้อมูลบนหลายโหนด ซึ่งให้ความทนทานต่อข้อผิดพลาดและประสิทธิภาพที่ต่อเนื่องแม้ว่าโหนดจะล้มเหลวก็ตาม

ฐานข้อมูลเวกเตอร์มีประสิทธิภาพในการเรียนรู้ของเครื่องและปัญญาประดิษฐ์ (AI) แอปพลิเคชันเนื่องจากมีความเชี่ยวชาญในการจัดการ ข้อมูลที่ไม่มีโครงสร้างและกึ่งโครงสร้าง.

การประยุกต์การฝังเวกเตอร์

มีประโยชน์หลายประการสำหรับการฝังเวกเตอร์ในอุตสาหกรรมต่างๆ การใช้งานทั่วไปของการฝังเวกเตอร์มีดังต่อไปนี้:

• ระบบแนะนำ. การฝังเวกเตอร์มีบทบาทสำคัญในระบบการแนะนำของยักษ์ใหญ่ในอุตสาหกรรม รวมถึง Netflix และ Amazon การฝังเหล่านี้ช่วยให้องค์กรคำนวณความคล้ายคลึงกันระหว่างผู้ใช้และรายการต่างๆ โดยแปลการตั้งค่าของผู้ใช้และคุณลักษณะของรายการเป็นเวกเตอร์ กระบวนการนี้ช่วยในการเสนอข้อเสนอแนะส่วนบุคคลที่ปรับให้เหมาะกับรสนิยมของผู้ใช้แต่ละราย
• เครื่องมือค้นหา. เครื่องมือค้นหา ใช้การฝังเวกเตอร์อย่างกว้างขวางเพื่อปรับปรุงประสิทธิภาพและประสิทธิผลของการดึงข้อมูล เนื่องจากการฝังเวกเตอร์เป็นมากกว่าการจับคู่คำหลัก จึงช่วยให้เครื่องมือค้นหาตีความความหมายของคำและประโยคได้ แม้ว่าวลีที่ตรงกันทั้งหมดจะไม่ตรงกัน แต่เครื่องมือค้นหายังคงสามารถค้นหาและดึงเอกสารหรือข้อมูลอื่น ๆ ที่เกี่ยวข้องตามบริบทโดยการสร้างแบบจำลองคำเป็นเวกเตอร์ในพื้นที่ความหมาย
• แชทบอทและระบบตอบคำถาม ความช่วยเหลือในการฝังเวกเตอร์ แชทบอทและระบบตอบคำถามที่ใช้ AI สร้างสรรค์ ในการทำความเข้าใจและการผลิตการตอบสนองแบบมนุษย์ ด้วยการจับบริบทและความหมายของข้อความ การฝังช่วยให้แชทบอทตอบคำถามของผู้ใช้ในลักษณะที่มีความหมายและสมเหตุสมผล เช่น โมเดลภาษา และแชทบอท AI ได้แก่ จีพีที-4 และหน่วยประมวลผลภาพเช่น ดัล-E2ได้รับความนิยมอย่างมากจากการผลิตบทสนทนาและการโต้ตอบที่เหมือนมนุษย์
• การตรวจจับการฉ้อโกงและการตรวจจับค่าผิดปกติ การฝังเวกเตอร์สามารถใช้เพื่อตรวจจับความผิดปกติหรือกิจกรรมฉ้อโกงโดยการประเมินความคล้ายคลึงกันระหว่างเวกเตอร์ รูปแบบที่ไม่ปกติจะถูกระบุโดยการประเมินระยะห่างระหว่างการฝังและการระบุตำแหน่ง ค่าผิดปกติ.
• การประมวลผลข้อมูลล่วงหน้า แปลงร่าง ข้อมูลที่ยังไม่ได้ประมวลผลให้อยู่ในรูปแบบที่เหมาะสมสำหรับ ML และโมเดลการเรียนรู้เชิงลึก การฝังจะใช้ในกิจกรรมการประมวลผลข้อมูลล่วงหน้า ตัวอย่างเช่น การฝังคำใช้เพื่อแสดงคำในรูปแบบเวกเตอร์ ซึ่งอำนวยความสะดวกในการประมวลผลและวิเคราะห์ข้อมูลข้อความ
• การเรียนรู้แบบ One-shot และ Zero-shot การเรียนรู้แบบ One-shot และ Zero-shot เป็นวิธีการฝังเวกเตอร์ที่ช่วยให้โมเดลการเรียนรู้ของเครื่องทำนายผลลัพธ์สำหรับคลาสใหม่ แม้ว่าจะได้รับข้อมูลที่มีป้ายกำกับอย่างจำกัดก็ตาม โมเดลสามารถสรุปและสร้างการคาดการณ์ได้แม้จะมีอินสแตนซ์การฝึกอบรมจำนวนเล็กน้อยโดยใช้ข้อมูลเชิงความหมายที่รวมอยู่ในการฝัง
• ความคล้ายคลึงกันทางความหมายและการจัดกลุ่ม การฝังเวกเตอร์ช่วยให้วัดได้ง่ายขึ้นว่าวัตถุสองชิ้นมีความคล้ายคลึงกันอย่างไรในสภาพแวดล้อมที่มีมิติสูง ซึ่งทำให้สามารถดำเนินการต่างๆ ได้ เช่น การคำนวณความคล้ายคลึงกันทางความหมาย การจัดกลุ่ม และการประกอบสิ่งต่างๆ ที่เกี่ยวข้องตามการฝังไว้

สิ่งของประเภทใดที่สามารถฝังได้?

วัตถุและประเภทข้อมูลหลายประเภทสามารถแสดงได้โดยใช้การฝังเวกเตอร์ ประเภทของสิ่งต่าง ๆ ทั่วไปที่สามารถฝังได้มีดังต่อไปนี้:

ข้อความ

คำ วลี หรือเอกสารจะแสดงเป็นเวกเตอร์โดยใช้การฝังข้อความ งาน NLP — รวมถึงการวิเคราะห์ความรู้สึก การค้นหาความหมาย และการแปลภาษา — มักใช้การฝัง

Universal Sentence Encoder เป็นหนึ่งในโมเดลการฝังโอเพ่นซอร์สที่ได้รับความนิยมมากที่สุด และสามารถเข้ารหัสแต่ละประโยคและส่วนข้อความทั้งหมดได้อย่างมีประสิทธิภาพ

ภาพ

การฝังรูปภาพจะบันทึกและแสดงลักษณะการมองเห็นของรูปภาพในรูปแบบเวกเตอร์ กรณีการใช้งาน ได้แก่ การระบุวัตถุ การจัดหมวดหมู่รูปภาพ และการค้นหารูปภาพแบบย้อนกลับ หรือที่เรียกกันว่า ค้นหาด้วยภาพ.

การฝังรูปภาพสามารถใช้เพื่อเปิดใช้งานความสามารถในการค้นหาด้วยภาพได้ ด้วยการแยกการฝังออกจากอิมเมจฐานข้อมูล ผู้ใช้สามารถเปรียบเทียบการฝังของอิมเมจที่ใช้ค้นหากับการฝังรูปภาพในฐานข้อมูลเพื่อค้นหาการจับคู่ที่คล้ายคลึงกัน วิธีนี้ใช้กันทั่วไปใน E-commerce แอพที่ผู้ใช้สามารถค้นหารายการโดยการอัพโหลดรูปภาพของผลิตภัณฑ์ที่คล้ายคลึงกัน

Google Lens เป็นแอปพลิเคชันค้นหารูปภาพที่เปรียบเทียบภาพถ่ายจากกล้องกับผลิตภัณฑ์ที่มีลักษณะคล้ายกัน ตัวอย่างเช่น สามารถใช้เพื่อจับคู่ผลิตภัณฑ์ทางอินเทอร์เน็ตที่คล้ายกับรองเท้าผ้าใบหรือเสื้อผ้า

เสียง

การฝังเสียงคือการแสดงเวกเตอร์ของสัญญาณเสียง การฝังเวกเตอร์จะจับคุณสมบัติทางเสียง ช่วยให้ระบบตีความข้อมูลเสียงได้อย่างมีประสิทธิภาพมากขึ้น ตัวอย่างเช่น การฝังเสียงสามารถใช้สำหรับการแนะนำเพลง การแบ่งประเภท การค้นหาความคล้ายคลึงกันของเสียง การรู้จำคำพูด และการตรวจสอบผู้พูด

แม้ว่า AI จะถูกใช้สำหรับการฝังประเภทต่างๆ แต่ AI เสียงก็ได้รับความสนใจน้อยกว่า AI ข้อความหรือรูปภาพ Google คำพูดเป็นข้อความและ OpenAI Whisper คือแอปพลิเคชันฝังเสียงที่ใช้ในองค์กร เช่น ศูนย์บริการทางโทรศัพท์ เทคโนโลยีทางการแพทย์ การเข้าถึง และแอปพลิเคชันการแปลงคำพูดเป็นข้อความ

กราฟ

การฝังกราฟใช้เวกเตอร์เพื่อแสดงโหนดและขอบในกราฟ พวกเขา ใช้ในงานที่เกี่ยวข้องกับการวิเคราะห์กราฟ เช่น การทำนายลิงก์ การจดจำของชุมชน และระบบการแนะนำ

แต่ละโหนดแสดงถึงเอนทิตี เช่น บุคคล เว็บเพจ หรือผลิตภัณฑ์ และแต่ละโหนดเป็นสัญลักษณ์ของลิงก์หรือการเชื่อมต่อที่มีอยู่ระหว่างเอนทิตีเหล่านั้น การฝังเวกเตอร์เหล่านี้สามารถทำได้ทุกอย่างตั้งแต่การแนะนำเพื่อนเข้ามา เครือข่ายทางสังคม เพื่อตรวจจับปัญหาความปลอดภัยทางไซเบอร์

ข้อมูลอนุกรมเวลาและโมเดล 3 มิติ

การฝังอนุกรมเวลาจะจับรูปแบบชั่วคราวในข้อมูลตามลำดับ พวกมันถูกใช้ใน อินเทอร์เน็ตของสิ่งที่ แอปพลิเคชัน ข้อมูลทางการเงิน และข้อมูลเซ็นเซอร์สำหรับกิจกรรมต่างๆ รวมถึงการตรวจจับความผิดปกติ พยากรณ์อนุกรมเวลา และการระบุรูปแบบ

ลักษณะทางเรขาคณิตของวัตถุ 3 มิติสามารถแสดงเป็นเวกเตอร์ได้โดยใช้การฝังโมเดล 3 มิติ สิ่งเหล่านี้ถูกนำไปใช้ในงานต่างๆ เช่น การสร้างใหม่ 3 มิติ การตรวจจับวัตถุ และการจับคู่แบบฟอร์ม

โมเลกุล

การฝังโมเลกุลแสดงถึงสารประกอบทางเคมีที่เป็นพาหะ ใช้ในการค้นคว้ายา การค้นหาความคล้ายคลึงกันทางเคมี และการทำนายคุณสมบัติระดับโมเลกุล การฝังเหล่านี้ยังใช้ในเคมีเชิงคำนวณและการพัฒนายาเพื่อจับลักษณะทางโครงสร้างและทางเคมีของโมเลกุล

Word2Vec คืออะไร?

Word2Vec เป็นวิธีการฝังเวกเตอร์คำ NLP ยอดนิยม Word2Vec สร้างขึ้นโดย Google ได้รับการออกแบบมาเพื่อแสดงคำต่างๆ ที่เป็นเวกเตอร์หนาแน่นในพื้นที่เวกเตอร์ต่อเนื่อง สามารถจดจำบริบทของคำในเอกสารได้ และมักใช้ในงาน NLP เช่น การจัดหมวดหมู่ข้อความ การวิเคราะห์ความรู้สึก และ การแปลด้วยเครื่อง เพื่อช่วยให้เครื่องจักรเข้าใจและประมวลผลภาษาธรรมชาติได้อย่างมีประสิทธิภาพมากขึ้น

Word2Vec ขึ้นอยู่กับหลักการที่ว่าคำที่มีความหมายคล้ายกันควรมีการแสดงเวกเตอร์ที่คล้ายคลึงกัน ทำให้แบบจำลองสามารถจับการเชื่อมโยงความหมายระหว่างคำได้

Word2Vec มีสถาปัตยกรรมพื้นฐานสองแบบ CBOW (ถุงคำต่อเนื่อง) และ Skip-Gram:

• ซีโบว. สถาปัตยกรรมนี้ทำนายคำเป้าหมายตามคำบริบท แบบจำลองจะได้รับบริบทหรือคำที่อยู่รอบๆ และได้รับมอบหมายให้คาดเดาคำเป้าหมายที่อยู่ตรงกลาง เช่น ในประโยค “สุนัขจิ้งจอกสีน้ำตาลกระโดดข้ามสุนัขขี้เกียจ” CBOW ใช้บริบทหรือคำโดยรอบในการทำนาย จิ้งจอก เป็นคำเป้าหมาย
• ข้ามกรัม ต่างจาก CBOW สถาปัตยกรรม Skip-Gram ทำนายคำตามบริบทตามคำเป้าหมาย แบบจำลองจะได้รับคำที่เป็นเป้าหมายและขอให้ทำนายเงื่อนไขบริบทโดยรอบ จากประโยคตัวอย่างข้างต้น “The Quick Brown Fox Jumps Over the Lazy Dog” Skip-gram จะใช้คำเป้าหมาย จิ้งจอก และค้นพบคำตามบริบทเช่น "The" "เร็ว" "สีน้ำตาล" "กระโดด" "เหนือ" "the" "ขี้เกียจ" และ "สุนัข"

ธุรกิจหลายประเภทเริ่มหันมาใช้ AI เชิงสร้างสรรค์ ซึ่งแสดงให้เห็นถึงศักยภาพในการทำลายล้าง พิจารณา generative AI กำลังพัฒนาอย่างไรว่าจะไปในทิศทางใดในอนาคตและความท้าทายที่อาจเกิดขึ้น