การขจัดข้อมูลซ้ำซ้อนทำงานอย่างไร – บล็อกของไอบีเอ็ม

ในช่วงไม่กี่ปีที่ผ่านมาได้เห็นการระเบิดของหน่วยจัดเก็บข้อมูลด้วยตนเองที่เพิ่มขึ้น คลังสินค้าขนาดใหญ่เหล่านี้ได้เติบโตขึ้นทั่วประเทศในฐานะอุตสาหกรรมที่เฟื่องฟูด้วยเหตุผลประการหนึ่ง นั่นคือ คนทั่วไปในปัจจุบันมีทรัพย์สินมากกว่าที่พวกเขารู้ว่าจะต้องทำอย่างไร

สถานการณ์พื้นฐานเดียวกันนี้ยังสร้างภัยพิบัติให้กับโลกไอทีอีกด้วย เรากำลังอยู่ท่ามกลางการระเบิดของข้อมูล แม้แต่วัตถุที่ค่อนข้างเรียบง่ายในชีวิตประจำวันก็ยังสร้างข้อมูลด้วยตัวมันเองเป็นประจำ อินเตอร์เน็ตของสิ่งต่างๆ (IoT) ฟังก์ชั่น ไม่เคยมีมาก่อนในประวัติศาสตร์ที่มีการสร้าง รวบรวม และวิเคราะห์ข้อมูลมากมายขนาดนี้ และไม่เคยมีมาก่อนที่ผู้จัดการข้อมูลต้องต่อสู้กับปัญหาการจัดเก็บข้อมูลจำนวนมากขนาดนี้มาก่อน

บริษัทอาจล้มเหลวในการรับรู้ถึงปัญหาตั้งแต่แรกหรืออาจใหญ่แค่ไหน จากนั้นบริษัทนั้นก็ต้องค้นหาโซลูชันพื้นที่จัดเก็บข้อมูลที่เพิ่มขึ้น เมื่อเวลาผ่านไป บริษัทอาจเติบโตเร็วกว่าระบบจัดเก็บข้อมูลดังกล่าว ซึ่งต้องใช้เงินลงทุนเพิ่มมากขึ้น บริษัทจะเบื่อหน่ายเกมนี้อย่างหลีกเลี่ยงไม่ได้ และจะมองหาตัวเลือกที่ถูกกว่าและง่ายกว่า ซึ่งนำเราไปสู่จุดนี้ การขจัดข้อมูลซ้ำซ้อน.

แม้ว่าหลายองค์กรจะใช้เทคนิคการขจัดข้อมูลซ้ำซ้อน (หรือ "การขจัดข้อมูลซ้ำซ้อน") เป็นส่วนหนึ่งของระบบการจัดการข้อมูล แต่มีองค์กรไม่มากนักที่เข้าใจอย่างแท้จริงว่ากระบวนการขจัดข้อมูลซ้ำซ้อนคืออะไรและมีวัตถุประสงค์เพื่อทำอะไร ดังนั้น เรามาไขปริศนาการขจัดข้อมูลซ้ำซ้อนและอธิบายว่าการขจัดข้อมูลซ้ำซ้อนทำงานอย่างไร

การขจัดข้อมูลซ้ำซ้อนทำอะไร?

ก่อนอื่น เรามาทำความเข้าใจคำศัพท์หลักของเรากันก่อน การขจัดข้อมูลซ้ำซ้อนเป็นกระบวนการที่องค์กรใช้เพื่อปรับปรุงการเก็บข้อมูลและลดปริมาณข้อมูลที่เก็บถาวรโดยกำจัดสำเนาข้อมูลที่ซ้ำซ้อน

นอกจากนี้ เราควรชี้ให้เห็นว่าเมื่อเราพูดถึงข้อมูลที่ซ้ำซ้อน จริงๆ แล้วเรากำลังพูดถึงในระดับไฟล์และหมายถึงการแพร่กระจายของไฟล์ข้อมูลอย่างแพร่หลาย ดังนั้นเมื่อเราหารือเกี่ยวกับความพยายามในการขจัดข้อมูลซ้ำซ้อน ระบบขจัดข้อมูลซ้ำซ้อนของไฟล์จึงเป็นสิ่งที่จำเป็น

เป้าหมายหลักของการขจัดข้อมูลซ้ำซ้อนคืออะไร

บางคนมีความคิดที่ไม่ถูกต้องเกี่ยวกับธรรมชาติของข้อมูล โดยมองว่ามันเป็นสินค้าที่มีอยู่เพื่อรวบรวมและเก็บเกี่ยว เหมือนแอปเปิ้ลจากต้นไม้จากสวนหลังบ้านของคุณเอง

ความจริงก็คือไฟล์ข้อมูลใหม่แต่ละไฟล์ต้องเสียค่าใช้จ่าย ในตอนแรก มักจะต้องเสียเงินเพื่อให้ได้ข้อมูลดังกล่าว (ผ่านการซื้อรายการข้อมูล) หรือต้องมีการลงทุนทางการเงินจำนวนมากเพื่อให้องค์กรสามารถรวบรวมและรวบรวมข้อมูลได้ด้วยตัวเอง แม้ว่าจะเป็นข้อมูลที่องค์กรผลิตและรวบรวมเองก็ตาม ดังนั้นชุดข้อมูลจึงเป็นการลงทุน และเช่นเดียวกับการลงทุนที่มีคุณค่าอื่นๆ ชุดข้อมูลเหล่านี้จะต้องได้รับการคุ้มครองอย่างเข้มงวด

ในกรณีนี้ เรากำลังพูดถึงพื้นที่จัดเก็บข้อมูล ไม่ว่าจะเป็นในรูปแบบของเซิร์ฟเวอร์ฮาร์ดแวร์ภายในองค์กรหรือผ่านทาง การจัดเก็บเมฆ ผ่านทางระบบคลาวด์ ศูนย์ข้อมูล- จะต้องซื้อหรือเช่า

สำเนาของข้อมูลที่ซ้ำกันซึ่งผ่านการจำลองแบบ ดังนั้น จึงเบี่ยงเบนไปจากผลกำไรด้วยการกำหนดต้นทุนการจัดเก็บเพิ่มเติมนอกเหนือจากที่เกี่ยวข้องกับระบบจัดเก็บข้อมูลหลักและพื้นที่จัดเก็บข้อมูล กล่าวโดยสรุป จะต้องทุ่มเททรัพยากรสื่อจัดเก็บข้อมูลให้มากขึ้นเพื่อรองรับทั้งข้อมูลใหม่และข้อมูลที่จัดเก็บไว้แล้ว เมื่อถึงจุดหนึ่งในเส้นทางของบริษัท ข้อมูลที่ซ้ำกันอาจกลายเป็นหนี้สินทางการเงินได้อย่างง่ายดาย

โดยสรุป เป้าหมายหลักของการลดความซ้ำซ้อนของข้อมูลคือการประหยัดเงินโดยทำให้องค์กรต่างๆ ใช้พื้นที่จัดเก็บเพิ่มเติมน้อยลง

ประโยชน์เพิ่มเติมของการขจัดข้อมูลซ้ำซ้อน

ยังมีเหตุผลอื่นๆ นอกเหนือจากความจุในการจัดเก็บข้อมูลสำหรับบริษัทต่างๆ ที่จะหันมาใช้โซลูชันการขจัดข้อมูลซ้ำซ้อน อาจไม่มีความจำเป็นใดมากไปกว่าการปกป้องและการเพิ่มประสิทธิภาพข้อมูลที่พวกเขามอบให้ องค์กรต่างๆ ปรับแต่งและเพิ่มประสิทธิภาพปริมาณงานข้อมูลที่ซ้ำซ้อน เพื่อให้ทำงานได้อย่างมีประสิทธิภาพมากกว่าข้อมูลที่เต็มไปด้วยไฟล์ที่ซ้ำกัน

สิ่งสำคัญอีกประการหนึ่งของการกำจัดข้อมูลซ้ำซ้อนคือการช่วยให้เกิดความรวดเร็วและประสบความสำเร็จได้อย่างไร ภัยพิบัติ ความพยายามในการกู้คืนและลดปริมาณการสูญเสียข้อมูลที่มักเกิดจากเหตุการณ์ดังกล่าวให้เหลือน้อยที่สุด Dedupe ช่วยให้เกิดกระบวนการสำรองข้อมูลที่แข็งแกร่ง ดังนั้นระบบสำรองข้อมูลขององค์กรจึงเทียบเท่ากับงานจัดการข้อมูลที่สำรองไว้ นอกเหนือจากการช่วยสำรองข้อมูลทั้งหมดแล้ว การขจัดข้อมูลซ้ำซ้อนยังช่วยในการรักษาข้อมูลอีกด้วย

ประโยชน์อีกประการหนึ่งของการกำจัดข้อมูลซ้ำซ้อนก็คือการทำงานร่วมกันได้ดีเพียงใด โครงสร้างพื้นฐานเดสก์ท็อปเสมือน (VDI) การใช้งาน ต้องขอบคุณความจริงที่ว่าฮาร์ดดิสก์เสมือนที่อยู่ด้านหลังเดสก์ท็อประยะไกลของ VDI ทำงานเหมือนกัน เป็นที่นิยม เดสก์ท็อปเป็นบริการ (DaaS) ผลิตภัณฑ์ต่างๆ ได้แก่ Azure Virtual Desktop จาก Microsoft และ Windows VDI ผลิตภัณฑ์เหล่านี้สร้างขึ้น เครื่องเสมือน (VM)ซึ่งถูกสร้างขึ้นในระหว่างกระบวนการจำลองเสมือนของเซิร์ฟเวอร์ ในทางกลับกัน เครื่องเสมือนเหล่านี้เสริมศักยภาพให้กับเทคโนโลยี VDI

วิธีการขจัดข้อมูลซ้ำซ้อน

รูปแบบการขจัดข้อมูลซ้ำซ้อนที่ใช้บ่อยที่สุดคือการขจัดข้อมูลซ้ำซ้อนแบบบล็อก วิธีการนี้ดำเนินการโดยใช้ฟังก์ชันอัตโนมัติเพื่อระบุการซ้ำซ้อนในบล็อกข้อมูล จากนั้นจึงลบการซ้ำซ้อนเหล่านั้นออก ด้วยการทำงานที่ระดับบล็อกนี้ ทำให้สามารถวิเคราะห์และระบุว่าข้อมูลที่ไม่ซ้ำกันจำนวนหนึ่งมีค่าควรแก่การตรวจสอบและเก็บรักษา จากนั้น เมื่อซอฟต์แวร์ขจัดความซ้ำซ้อนตรวจพบการซ้ำซ้อนของบล็อกข้อมูลเดียวกัน การทำซ้ำนั้นจะถูกลบออก และการอ้างอิงถึงข้อมูลต้นฉบับจะรวมเข้าแทนที่

นั่นเป็นรูปแบบหลักของการลบข้อมูลซ้ำซ้อน แต่แทบจะไม่ใช่วิธีเดียวเท่านั้น ในกรณีการใช้งานอื่นๆ วิธีอื่นในการขจัดข้อมูลซ้ำซ้อนจะทำงานที่ระดับไฟล์ พื้นที่จัดเก็บอินสแตนซ์เดียวจะเปรียบเทียบสำเนาข้อมูลทั้งหมดภายในไฟล์เซิร์ฟเวอร์ แต่ไม่ใช่กลุ่มหรือบล็อกข้อมูล เช่นเดียวกับวิธีการอื่น การขจัดข้อมูลซ้ำซ้อนของไฟล์จะขึ้นอยู่กับการเก็บไฟล์ต้นฉบับไว้ในระบบไฟล์และการลบสำเนาส่วนเกินออก

ควรสังเกตว่าเทคนิคการขจัดข้อมูลซ้ำซ้อนไม่ทำงานในลักษณะเดียวกับอัลกอริธึมการบีบอัดข้อมูล (เช่น LZ77, LZ78) แม้ว่าจะเป็นเรื่องจริงที่ทั้งสองมีเป้าหมายทั่วไปในการลดความซ้ำซ้อนของข้อมูลก็ตาม เทคนิคการขจัดข้อมูลซ้ำซ้อนบรรลุผลสำเร็จในระดับมหภาคที่ใหญ่กว่าอัลกอริธึมการบีบอัด โดยมีเป้าหมายน้อยกว่าในการแทนที่ไฟล์ที่เหมือนกันด้วยสำเนาที่แชร์ และมากกว่าเกี่ยวกับการเข้ารหัสข้อมูลซ้ำซ้อนที่มีประสิทธิภาพมากขึ้น

ประเภทของการขจัดข้อมูลซ้ำซ้อน

การขจัดข้อมูลซ้ำซ้อนมีหลายประเภทขึ้นอยู่กับ เมื่อ กระบวนการขจัดข้อมูลซ้ำซ้อนเกิดขึ้น:

• การขจัดข้อมูลซ้ำซ้อนแบบอินไลน์: การขจัดข้อมูลซ้ำซ้อนรูปแบบนี้เกิดขึ้นในช่วงเวลาแบบเรียลไทม์ ขณะที่ข้อมูลไหลภายในระบบจัดเก็บข้อมูล ระบบ dedupe แบบอินไลน์มีการรับส่งข้อมูลน้อยลง เนื่องจากไม่มีการถ่ายโอนหรือจัดเก็บข้อมูลที่ซ้ำกัน ซึ่งอาจนำไปสู่การลดจำนวนแบนด์วิธทั้งหมดที่องค์กรต้องการ
• การขจัดความซ้ำซ้อนหลังกระบวนการ: การขจัดข้อมูลซ้ำซ้อนประเภทนี้เกิดขึ้นหลังจากเขียนข้อมูลและวางลงในอุปกรณ์จัดเก็บข้อมูลบางประเภทแล้ว

เราควรอธิบายว่าการขจัดข้อมูลซ้ำซ้อนทั้งสองประเภทได้รับผลกระทบจากการคำนวณแฮชที่มีอยู่ในการขจัดข้อมูลซ้ำซ้อน เหล่านี้ การเข้ารหัสลับ การคำนวณเป็นส่วนสำคัญในการระบุรูปแบบที่ซ้ำกันในข้อมูล ในระหว่างการขจัดข้อมูลซ้ำซ้อนในบรรทัด การคำนวณเหล่านั้นจะดำเนินการในขณะนั้น ซึ่งอาจครอบงำและครอบงำฟังก์ชันการทำงานของคอมพิวเตอร์ชั่วคราว ในการขจัดความซ้ำซ้อนหลังการประมวลผล การคำนวณแฮชสามารถทำได้เมื่อใดก็ได้หลังจากที่ข้อมูลถูกเพิ่มในลักษณะและในเวลาที่ไม่ทำให้ทรัพยากรคอมพิวเตอร์ขององค์กรเสียหายมากเกินไป

ความแตกต่างเล็กน้อยระหว่างประเภทการขจัดข้อมูลซ้ำซ้อนไม่ได้จบเพียงแค่นั้น อีกวิธีในการจำแนกประเภทการขจัดข้อมูลซ้ำซ้อนจะขึ้นอยู่กับ ที่ไหน กระบวนการดังกล่าวเกิดขึ้น

• การขจัดข้อมูลซ้ำซ้อนจากแหล่งที่มา: การขจัดข้อมูลซ้ำซ้อนรูปแบบนี้เกิดขึ้นใกล้กับบริเวณที่มีการสร้างข้อมูลใหม่จริงๆ ระบบจะสแกนพื้นที่นั้นและตรวจจับสำเนาของไฟล์ใหม่ ซึ่งจากนั้นจะถูกลบออก
• การขจัดข้อมูลซ้ำซ้อนเป้าหมาย: การขจัดข้อมูลซ้ำซ้อนอีกประเภทหนึ่งก็เหมือนกับการกลับกันของการขจัดข้อมูลซ้ำซ้อนจากแหล่งที่มา ในการขจัดข้อมูลซ้ำซ้อนเป้าหมาย ระบบจะขจัดสำเนาสำเนาใดๆ ที่พบในพื้นที่อื่นนอกเหนือจากที่ซึ่งข้อมูลต้นฉบับถูกสร้างขึ้น

เนื่องจากมีการดำเนินการขจัดข้อมูลซ้ำซ้อนหลายประเภท องค์กรที่มุ่งไปข้างหน้าจึงต้องทำการตัดสินใจอย่างรอบคอบและพิจารณาเกี่ยวกับประเภทของการขจัดข้อมูลซ้ำซ้อนที่เลือก โดยปรับวิธีการนั้นให้สมดุลกับความต้องการเฉพาะของบริษัทนั้น

ในกรณีการใช้งานหลายๆ กรณี วิธีการเลือกขจัดความซ้ำซ้อนขององค์กรอาจขึ้นอยู่กับตัวแปรภายในที่หลากหลาย เช่น:

• มีการสร้างชุดข้อมูลจำนวนเท่าใดและประเภทใด
• ระบบจัดเก็บข้อมูลหลักขององค์กร
• สภาพแวดล้อมเสมือนใดที่ใช้งานอยู่
• แอปใดบ้างที่บริษัทพึ่งพา

การพัฒนาการขจัดข้อมูลซ้ำซ้อนล่าสุด

เช่นเดียวกับเอาท์พุตของคอมพิวเตอร์อื่นๆ การขจัดข้อมูลซ้ำซ้อนก็พร้อมที่จะใช้ประโยชน์เพิ่มมากขึ้น ปัญญาประดิษฐ์ (AI) ในขณะที่มันยังคงพัฒนาต่อไป Dedupe จะมีความซับซ้อนมากขึ้นเรื่อยๆ ในขณะที่พัฒนาความแตกต่างเล็กๆ น้อยๆ มากขึ้น ซึ่งช่วยในการค้นหารูปแบบของความซ้ำซ้อนในขณะที่สแกนบล็อกข้อมูล

แนวโน้มหนึ่งที่เกิดขึ้นใน dedupe คือการเรียนรู้แบบเสริมกำลัง สิ่งนี้ใช้ระบบการให้รางวัลและบทลงโทษ (เช่นในการฝึกอบรมการเสริมกำลัง) และใช้นโยบายที่เหมาะสมที่สุดสำหรับการแยกบันทึกหรือรวมเข้าด้วยกันแทน

แนวโน้มอีกประการหนึ่งที่น่าจับตามองคือการใช้วิธีการทั้งมวล ซึ่งใช้แบบจำลองหรืออัลกอริธึมที่แตกต่างกันเพื่อให้แน่ใจว่ามีความแม่นยำมากยิ่งขึ้นภายในกระบวนการกำจัดข้อมูลซ้ำซ้อน

ภาวะที่กลืนไม่เข้าคายไม่ออกอย่างต่อเนื่อง

โลกไอทีกำลังจับจ้องไปที่ปัญหาการแพร่กระจายของข้อมูลอย่างต่อเนื่องมากขึ้นเรื่อยๆ และต้องทำอย่างไรกับเรื่องนี้ บริษัทหลายแห่งพบว่าตัวเองอยู่ในตำแหน่งที่น่าอึดอัดใจโดยต้องการเก็บรักษาข้อมูลทั้งหมดที่พวกเขาได้พยายามรวบรวมไว้พร้อมๆ กัน และยังต้องการเก็บข้อมูลใหม่ที่ล้นออกมาในคอนเทนเนอร์จัดเก็บข้อมูลใดๆ ก็ตามที่เป็นไปได้ เพื่อกำจัดมันออกไปให้พ้นทาง

แม้ว่าปัญหาดังกล่าวยังคงมีอยู่ แต่การให้ความสำคัญกับความพยายามในการกำจัดข้อมูลซ้ำซ้อนจะยังคงดำเนินต่อไป เนื่องจากองค์กรต่างๆ มองว่าการกำจัดข้อมูลซ้ำซ้อนเป็นทางเลือกที่ถูกกว่าในการซื้อพื้นที่จัดเก็บข้อมูลเพิ่ม เพราะท้ายที่สุดแล้ว แม้ว่าเราจะเข้าใจโดยสัญชาตญาณว่าธุรกิจต้องการข้อมูล แต่เราก็รู้ด้วยว่าข้อมูลมักต้องมีการขจัดข้อมูลซ้ำซ้อน

เรียนรู้ว่า IBM Storage FlashSystem สามารถช่วยเหลือคุณในเรื่องความต้องการพื้นที่เก็บข้อมูลของคุณได้อย่างไร