ڈیٹا ڈپلیکیشن کیسے کام کرتا ہے؟ - IBM بلاگ

حالیہ برسوں میں سیلف اسٹوریج یونٹس کے پھیلاؤ میں دھماکہ ہوا ہے۔ یہ بڑے، گودام یونٹس قومی سطح پر ایک تیزی سے بڑھتی ہوئی صنعت کے طور پر ایک وجہ سے ابھرے ہیں — اوسط فرد کے پاس اب اس سے کہیں زیادہ مال ہے کہ اسے کیا کرنا ہے۔

یہی بنیادی صورتحال آئی ٹی کی دنیا کو بھی دوچار کرتی ہے۔ ہم ڈیٹا کے ایک دھماکے کے درمیان ہیں۔ یہاں تک کہ نسبتاً آسان، روزمرہ کی چیزیں اب معمول کے مطابق اپنے طور پر ڈیٹا تیار کرتی ہیں۔ چیزوں کے انٹرنیٹ (IOT) فعالیت تاریخ میں اس سے پہلے کبھی اتنا ڈیٹا تخلیق، اکٹھا اور تجزیہ نہیں کیا گیا تھا۔ اور اس سے پہلے کبھی زیادہ ڈیٹا مینیجرز نے اس مسئلے سے نہیں لڑا کہ اتنا ڈیٹا کیسے ذخیرہ کیا جائے۔

ایک کمپنی ابتدائی طور پر اس مسئلے کو پہچاننے میں ناکام ہو سکتی ہے یا یہ کتنی بڑی ہو سکتی ہے، اور پھر اس کمپنی کو ذخیرہ کرنے کا ایک بڑھا ہوا حل تلاش کرنا پڑتا ہے۔ وقت کے ساتھ، کمپنی اس اسٹوریج سسٹم کو بھی بڑھا سکتی ہے، جس کے لیے اور بھی زیادہ سرمایہ کاری کی ضرورت ہوتی ہے۔ لامحالہ، کمپنی اس کھیل سے تھک جائے گی، اور ایک سستا اور آسان آپشن تلاش کرے گی — جو ہمیں ڈیٹا ڈپلیکیشن.

اگرچہ بہت سی تنظیمیں اپنے ڈیٹا مینجمنٹ سسٹم کے حصے کے طور پر ڈیٹا ڈیڈپلیکیشن تکنیک (یا "ڈیڈیوپ") کا استعمال کرتی ہیں، لیکن تقریباً اتنے ہی لوگ صحیح معنوں میں نہیں سمجھتے کہ ڈپلیکیشن کا عمل کیا ہے اور اس کا مقصد کیا ہے۔ لہذا، آئیے ڈیڈیپ کو ڈیمسٹیفائی کرتے ہیں اور بتاتے ہیں کہ ڈیٹا ڈپلیکیشن کیسے کام کرتا ہے۔

ڈپلیکیشن کیا کرتا ہے؟

سب سے پہلے، آئیے اپنی اصل اصطلاح کو واضح کریں۔ ڈیٹا ڈپلیکیشن ایک ایسا عمل ہے جسے تنظیمیں اپنے ڈیٹا ہولڈنگز کو ہموار کرنے کے لیے استعمال کرتی ہیں اور ڈیٹا کی فالتو کاپیوں کو ختم کر کے اس ڈیٹا کی مقدار کو کم کرتی ہیں جسے وہ آرکائیو کر رہے ہیں۔

مزید برآں، ہمیں یہ بتانا چاہیے کہ جب ہم بے کار ڈیٹا کے بارے میں بات کرتے ہیں، تو ہم اصل میں فائل کی سطح پر بات کر رہے ہوتے ہیں اور ڈیٹا فائلوں کے بے تحاشہ پھیلاؤ کا حوالہ دیتے ہیں۔ لہذا جب ہم ڈیٹا ڈپلیکیشن کی کوششوں پر بات کرتے ہیں، تو یہ درحقیقت ایک فائل ڈپلیکیشن سسٹم ہے جس کی ضرورت ہے۔

ڈپلیکیشن کا بنیادی مقصد کیا ہے؟

کچھ لوگ اعداد و شمار کی نوعیت کے بارے میں غلط تصور رکھتے ہیں، اسے ایک ایسی شے کے طور پر دیکھتے ہیں جو صرف جمع کرنے اور کاٹنے کے لیے موجود ہے — جیسے آپ کے اپنے گھر کے پچھواڑے کے درخت سے سیب۔

حقیقت یہ ہے کہ ڈیٹا کی ہر نئی فائل میں پیسہ خرچ ہوتا ہے۔ سب سے پہلے، عام طور پر اس طرح کے ڈیٹا کو حاصل کرنے میں پیسہ خرچ ہوتا ہے (ڈیٹا لسٹوں کی خریداری کے ذریعے)۔ یا کسی تنظیم کو اپنے طور پر ڈیٹا اکٹھا کرنے اور اکٹھا کرنے کے قابل ہونے کے لیے خاطر خواہ مالی سرمایہ کاری کی ضرورت ہوتی ہے، چاہے یہ ڈیٹا ہی کیوں نہ ہو جسے تنظیم خود ہی نامیاتی طور پر تیار اور جمع کر رہی ہو۔ لہذا، ڈیٹا سیٹ ایک سرمایہ کاری ہیں، اور کسی بھی قیمتی سرمایہ کاری کی طرح، ان کی سختی سے حفاظت کی جانی چاہیے۔

اس مثال میں، ہم ڈیٹا ذخیرہ کرنے کی جگہ کے بارے میں بات کر رہے ہیں—چاہے وہ آن پریمیسس ہارڈویئر سرورز کی شکل میں ہو یا اس کے ذریعے۔ بادل سٹوریج کلاؤڈ بیسڈ کے ذریعے ڈیٹا سینٹرجسے خریدا یا لیز پر دینا ضروری ہے۔

ڈیٹا کی ڈپلیکیٹ کاپیاں جن کی نقل تیار کی گئی ہے، لہذا، پرائمری سٹوریج سسٹم اور اس کی اسٹوریج اسپیس سے وابستہ اضافی سٹوریج لاگتیں عائد کر کے نیچے لائن سے ہٹ جاتی ہیں۔ مختصراً، نئے ڈیٹا اور پہلے سے ذخیرہ شدہ ڈیٹا دونوں کو ایڈجسٹ کرنے کے لیے زیادہ اسٹوریج میڈیا اثاثوں کو وقف کیا جانا چاہیے۔ کسی کمپنی کی رفتار میں، ڈپلیکیٹ ڈیٹا آسانی سے مالی ذمہ داری بن سکتا ہے۔

لہذا، خلاصہ یہ ہے کہ ڈیٹا ڈپلیکیشن کا بنیادی مقصد تنظیموں کو اضافی اسٹوریج پر کم خرچ کرنے کے قابل بنا کر رقم کی بچت کرنا ہے۔

نقل کے اضافی فوائد

کمپنیوں کے لیے ڈیٹا ڈیڈپلیکیشن سلوشنز کو اپنانے کی سٹوریج کی گنجائش سے ہٹ کر دیگر وجوہات بھی ہیں—شاید ان کے فراہم کردہ ڈیٹا کے تحفظ اور اضافہ سے زیادہ ضروری کوئی نہیں۔ تنظیمیں ڈپلیکیٹ ڈیٹا ورک بوجھ کو بہتر اور بہتر کرتی ہیں تاکہ وہ ڈپلیکیٹ فائلوں سے بھرے ڈیٹا سے زیادہ موثر طریقے سے چل سکیں۔

ڈیڈیپ کا ایک اور اہم پہلو یہ ہے کہ یہ کس طرح تیز اور کامیاب کو بااختیار بنانے میں مدد کرتا ہے۔ آفت بازیابی کی کوشش اور ڈیٹا کے ضائع ہونے کی مقدار کو کم کرتا ہے جو اکثر اس طرح کے واقعے کے نتیجے میں ہو سکتا ہے۔ Dedupe ایک مضبوط بیک اپ کے عمل کو فعال کرنے میں مدد کرتا ہے لہذا ایک تنظیم کا بیک اپ سسٹم اس کے بیک اپ ڈیٹا کو سنبھالنے کے کام کے برابر ہے۔ مکمل بیک اپ میں مدد کرنے کے علاوہ، dedupe برقرار رکھنے کی کوششوں میں بھی مدد کرتا ہے۔

ڈیٹا ڈپلیکیشن کا ایک اور فائدہ یہ ہے کہ یہ کتنی اچھی طرح سے کام کرتا ہے۔ ورچوئل ڈیسک ٹاپ انفراسٹرکچر (VDI) تعیناتیاں، اس حقیقت کی بدولت کہ VDI کے ریموٹ ڈیسک ٹاپس کے پیچھے موجود ورچوئل ہارڈ ڈسک یکساں طور پر کام کرتی ہیں۔ مقبول ڈیسک ٹاپ بطور سروس (DaaS) مصنوعات میں مائیکروسافٹ کا Azure ورچوئل ڈیسک ٹاپ اور اس کے ونڈوز VDI شامل ہیں۔ یہ مصنوعات تخلیق کرتی ہیں۔ ورچوئل مشینیں (VMs)، جو سرور ورچوئلائزیشن کے عمل کے دوران بنائے جاتے ہیں۔ بدلے میں، یہ ورچوئل مشینیں VDI ٹیکنالوجی کو بااختیار بناتی ہیں۔

نقل کرنے کا طریقہ کار

ڈیٹا ڈپلیکیشن کی سب سے عام استعمال شدہ شکل بلاک ڈپلیکیشن ہے۔ یہ طریقہ ڈیٹا کے بلاکس میں نقل کی شناخت کرنے اور پھر ان نقلوں کو ہٹانے کے لیے خودکار فنکشنز کا استعمال کرکے کام کرتا ہے۔ اس بلاک کی سطح پر کام کرنے سے، منفرد ڈیٹا کے ٹکڑوں کا تجزیہ کیا جا سکتا ہے اور اس کی وضاحت کی جا سکتی ہے کہ وہ توثیق اور تحفظ کے لائق ہیں۔ پھر، جب ڈپلیکیشن سافٹ ویئر اسی ڈیٹا بلاک کی تکرار کا پتہ لگاتا ہے، تو اس تکرار کو ہٹا دیا جاتا ہے اور اس کی جگہ اصل ڈیٹا کا حوالہ شامل کر دیا جاتا ہے۔

یہ dedupe کی بنیادی شکل ہے، لیکن شاید ہی واحد طریقہ ہے۔ دیگر استعمال کے معاملات میں، ڈیٹا ڈیپلیکیشن کا ایک متبادل طریقہ فائل کی سطح پر کام کرتا ہے۔ سنگل انسٹینس اسٹوریج فائل سرور کے اندر موجود ڈیٹا کی مکمل کاپیوں کا موازنہ کرتا ہے، لیکن ڈیٹا کے ٹکڑوں یا بلاکس کا نہیں۔ اس کے ہم منصب طریقہ کی طرح، فائل کی نقل کا انحصار اصل فائل کو فائل سسٹم میں رکھنے اور اضافی کاپیاں ہٹانے پر ہے۔

واضح رہے کہ ڈپلیکیشن تکنیک ڈیٹا کمپریشن الگورتھم (جیسے LZ77, LZ78) کی طرح کام نہیں کرتی ہیں، حالانکہ یہ سچ ہے کہ دونوں ڈیٹا کی بے کاریوں کو کم کرنے کے ایک ہی عمومی مقصد کو حاصل کرتے ہیں۔ ڈپلیکیشن کی تکنیکیں اسے کمپریشن الگورتھم کے مقابلے بڑے، میکرو پیمانے پر حاصل کرتی ہیں، جس کا مقصد ایک جیسی فائلوں کو مشترکہ کاپیوں سے تبدیل کرنے کے بارے میں کم ہے اور ڈیٹا کی فالتو چیزوں کو زیادہ مؤثر طریقے سے انکوڈنگ کرنا ہے۔

ڈیٹا ڈپلیکیشن کی اقسام

ڈیٹا ڈپلیکیشن کی مختلف اقسام ہیں جن پر منحصر ہے۔ جب ڈپلیکیشن کا عمل ہوتا ہے:

• ان لائن ڈپلیکیشن: ڈیٹا ڈپلیکیشن کی یہ شکل اس وقت ہوتی ہے—حقیقی وقت میں—کیونکہ ڈیٹا اسٹوریج سسٹم میں بہتا ہے۔ ان لائن ڈیڈیپ سسٹم میں ڈیٹا ٹریفک کم ہوتا ہے کیونکہ یہ نہ تو نقل کرتا ہے اور نہ ہی ذخیرہ کرتا ہے۔ یہ اس تنظیم کو درکار بینڈوڈتھ کی کل مقدار میں کمی کا باعث بن سکتا ہے۔
• عمل کے بعد کی نقل: اس قسم کی ڈپلیکیشن ڈیٹا کے لکھے جانے اور کسی قسم کے اسٹوریج ڈیوائس پر رکھنے کے بعد ہوتی ہے۔

یہاں یہ وضاحت کرنے کے قابل ہے کہ ڈیٹا ڈپلیکیشن کی دونوں قسمیں ڈیٹا ڈپلیکیشن میں شامل ہیش حسابات سے متاثر ہوتی ہیں۔ یہ cryptographic اعداد و شمار میں بار بار پیٹرن کی شناخت کے لیے حسابات لازمی ہیں۔ ان لائن ڈپلیکیشنز کے دوران، وہ حسابات اس لمحے میں کیے جاتے ہیں، جو کمپیوٹر کی فعالیت پر حاوی اور عارضی طور پر مغلوب ہو سکتے ہیں۔ پوسٹ پروسیسنگ ڈیڈپلیکیشنز میں، ہیش کیلکولیشن کسی بھی وقت ڈیٹا کو شامل کیے جانے کے بعد اور ایسے وقت میں کیا جا سکتا ہے جو تنظیم کے کمپیوٹر وسائل کو اوورٹیکس نہ کرے۔

ڈپلیکیشن کی اقسام کے درمیان لطیف فرق یہیں ختم نہیں ہوتے۔ ڈپلیکیشن اقسام کی درجہ بندی کرنے کا ایک اور طریقہ پر مبنی ہے۔ کہاں اس طرح کے عمل ہوتے ہیں.

• ماخذ کی نقل: نقل کی یہ شکل اس کے قریب ہوتی ہے جہاں حقیقت میں نیا ڈیٹا تیار ہوتا ہے۔ سسٹم اس علاقے کو اسکین کرتا ہے اور فائلوں کی نئی کاپیوں کا پتہ لگاتا ہے، جنہیں پھر ہٹا دیا جاتا ہے۔
• ٹارگٹ ڈیپلیکیشن: نقل کی ایک اور قسم ماخذ کی نقل کے الٹ کی طرح ہے۔ ٹارگٹ ڈیڈپلیکیشن میں، سسٹم کسی بھی کاپی کو ڈپلیکیٹ کرتا ہے جو ان علاقوں میں پائی جاتی ہیں جہاں اصل ڈیٹا بنایا گیا تھا۔

چونکہ نقل کی مختلف قسمیں رائج ہیں، اس لیے آگے کی طرف جھکاؤ رکھنے والی تنظیموں کو اس طریقہ کار کو اس کمپنی کی مخصوص ضروریات کے خلاف متوازن کرتے ہوئے، منتخب کردہ ڈپلیکیشن کی قسم کے بارے میں محتاط اور قابل غور فیصلے کرنے چاہئیں۔

بہت سے استعمال کے معاملات میں، کسی تنظیم کا انتخاب کا ڈپلیکیشن طریقہ بہت اچھی طرح سے داخلی متغیرات کی ایک قسم پر آ سکتا ہے، جیسے کہ درج ذیل:

• کتنے اور کس قسم کے ڈیٹا سیٹ بنائے جا رہے ہیں۔
• تنظیم کا بنیادی ذخیرہ کرنے کا نظام
• کون سے مجازی ماحول استعمال میں ہیں۔
• کمپنی کن ایپس پر انحصار کرتی ہے۔

حالیہ ڈیٹا ڈیپلیکیشن کی پیشرفت

تمام کمپیوٹر آؤٹ پٹ کی طرح، ڈیٹا ڈیڈپلیکیشن کا بڑھتا ہوا استعمال کرنے کے لیے تیار ہے۔ مصنوعی انٹیلی جنس (AI) جیسا کہ یہ ارتقاء جاری رکھتا ہے. ڈیڈوپ تیزی سے نفیس ہوتا جائے گا کیونکہ یہ اور بھی زیادہ باریکیاں تیار کرتا ہے جو ڈیٹا کے بلاکس کو اسکین ہونے کے بعد فالتو پن کے نمونوں کو تلاش کرنے میں اس کی مدد کرتا ہے۔

ڈیڈوپ میں ایک ابھرتا ہوا رجحان کمک سیکھنا ہے۔ یہ انعامات اور جرمانے کا ایک نظام استعمال کرتا ہے (جیسے کمک کی تربیت میں) اور ریکارڈ کو الگ کرنے یا اس کے بجائے ان کو ضم کرنے کے لیے ایک بہترین پالیسی لاگو کرتا ہے۔

دیکھنے کے قابل ایک اور رجحان جوڑ کے طریقوں کا استعمال ہے، جس میں مختلف ماڈلز یا الگورتھم کو مل کر استعمال کیا جاتا ہے تاکہ dedupe کے عمل میں اور بھی زیادہ درستگی کو یقینی بنایا جا سکے۔

جاری مخمصہ

آئی ٹی کی دنیا ڈیٹا کے پھیلاؤ کے جاری مسئلے اور اس کے بارے میں کیا کرنا ہے اس پر تیزی سے فکس ہوتی جارہی ہے۔ بہت سی کمپنیاں اپنے آپ کو اس عجیب و غریب پوزیشن میں پا رہی ہیں کہ بیک وقت وہ تمام ڈیٹا برقرار رکھنا چاہتی ہیں جو انہوں نے اکٹھا کرنے کے لیے کام کیا ہے اور یہ بھی چاہتے ہیں کہ اپنے بہتے ہوئے نئے ڈیٹا کو کسی بھی اسٹوریج کنٹینر میں رکھنا چاہتے ہیں، اگر اسے راستے سے ہٹانا ہے۔

جب کہ اس طرح کا مخمصہ برقرار رہتا ہے، ڈیٹا ڈپلیکیشن کی کوششوں پر زور جاری رہے گا کیونکہ تنظیمیں ڈیوڈپ کو مزید اسٹوریج خریدنے کے سستے متبادل کے طور پر دیکھتی ہیں۔ کیونکہ بالآخر، اگرچہ ہم بدیہی طور پر سمجھتے ہیں کہ کاروبار کو ڈیٹا کی ضرورت ہے، لیکن ہم یہ بھی جانتے ہیں کہ ڈیٹا کو اکثر نقل کی ضرورت ہوتی ہے۔

جانیں کہ کس طرح IBM اسٹوریج فلیش سسٹم آپ کی اسٹوریج کی ضروریات میں آپ کی مدد کر سکتا ہے۔