صورة من Bing Image Creator
أصدرت Meta AI للتو مصدر مفتوح نماذج DINOv2 الطريقة الأولى التي تستخدم التعلم بالإشراف الذاتي لتدريب نماذج الرؤية الحاسوبية. تحقق نماذج DINOv2 نتائج تطابق أو حتى أفضل من النهج والنماذج القياسية في هذا المجال.
حققت النماذج أداءً قويًا دون الحاجة إلى الضبط الدقيق مما يجعل الاختيار الأمثل للعديد من مهام وتطبيقات رؤية الكمبيوتر المختلفة. يمكن لـ DINOv2 التعلم من مجموعات مختلفة من الصور والميزات مثل تقدير العمق دون الحاجة إلى تدريب صريح بفضل أسلوب التدريب تحت الإشراف الذاتي.
الشكل 1: DINOv2: نماذج الرؤية الحاسوبية الخاضعة للإشراف الذاتي بواسطة Meta AI
1.1 لا حاجة إلى ضبط دقيق
يعد التعلم تحت الإشراف الذاتي طريقة قوية تُستخدم لتدريب نماذج التعلم الآلي دون الحاجة إلى كميات كبيرة من البيانات المصنفة. يمكن تدريب نماذج DINOv2 على مجموعة الصور دون الحاجة إلى بيانات وصفية ذات صلة أو علامة تصنيف محددة أو تسمية توضيحية للصورة. نماذج DinoV2 ، على عكس العديد من مناهج التعلم ذاتية الإشراف الحديثة ، لا تتطلب الضبط الدقيق ، وبالتالي إنتاج ميزات عالية الأداء لتطبيقات رؤية الكمبيوتر المختلفة.
1.2 التغلب على قيود التعليقات التوضيحية البشرية
على مدى السنوات القليلة الماضية، صورة نصية للتدريب المسبق أصبحت الطريقة السائدة لمختلف تطبيقات رؤية الكمبيوتر. ومع ذلك ، نظرًا لاعتمادها على التسميات التوضيحية التي تحمل علامات بشرية لتعلم المعنى الدلالي للصور. غالبًا ما يتجاهل هذا النهج المعلومات المهمة التي لم يتم تضمينها بشكل صريح في تلك التسميات التوضيحية. على سبيل المثال ، قد يكون التعليق البشري لصورة طاولة حمراء في غرفة صفراء هو "طاولة خشبية حمراء". ستفتقد هذه التسمية التوضيحية بعض المعلومات المهمة حول خلفية الجدول وموضعه وحجمه. سيؤدي هذا إلى نقص في فهم المعلومات المحلية وسيؤدي إلى ضعف الأداء في المهام التي تتطلب معلومات تعريب مفصلة.
أيضًا ، ستؤدي الحاجة إلى تسميات بشرية وتعليقات توضيحية إلى الحد من كمية البيانات التي يمكننا جمعها لتدريب النماذج. يصبح هذا الأمر أكثر صعوبة بالنسبة لبعض التطبيقات ، على سبيل المثال ، يتطلب التعليق التوضيحي لخلية مستوى معينًا من الخبرة البشرية التي لن تكون متاحة بالمقياس المطلوب. إن استخدام نهج تدريب تحت الإشراف الذاتي على الصور الخلوية يفتح الطريق لنموذج أساسي أكثر ، ونتيجة لذلك ، سوف يتحسن اكتشاف بيولوجي. الأمر نفسه ينطبق على الحقول المتقدمة المماثلة لتقدير الكثافة الحيوانية.
يتطلب الانتقال من DINO إلى DINOv2 التغلب على العديد من التحديات مثل
- إنشاء مجموعة بيانات تدريب كبيرة ومنظمة
- تحسين خوارزمية التدريب والتنفيذ
- تصميم خط أنابيب تقطير وظيفي.
الشكل 2: مقارنة DINO v1 Vs v2 لدقة التجزئة
2.1. إنشاء مجموعة بيانات صور كبيرة ومنظمة ومتنوعة
تتمثل إحدى الخطوات الرئيسية لبناء DINOv2 في تدريب هياكل ونماذج أكبر لتحسين أداء النموذج. ومع ذلك ، تتطلب النماذج الأكبر حجمًا مجموعات بيانات كبيرة ليتم تدريبها بكفاءة. نظرًا لعدم توفر مجموعات بيانات كبيرة تلبي المتطلبات ، استفاد الباحثون من بيانات الويب التي تم الزحف إليها بشكل عام وأنشأوا خط أنابيب لتحديد البيانات المفيدة فقط كما هو الحال في LASER.
ومع ذلك ، يجب القيام بمهمتين رئيسيتين لتتمكن من استخدام مجموعات البيانات هذه:
- موازنة البيانات عبر المفاهيم والمهام المختلفة
- إزالة الصور غير ذات الصلة
نظرًا لإمكانية إنجاز هذه المهمة يدويًا ، فقد قاموا برعاية مجموعة من الصور الأولية من حوالي 25 مجموعة بيانات تابعة لجهات خارجية وقاموا بتوسيعها عن طريق جلب الصور التي ترتبط ارتباطًا وثيقًا بهذه الصور الأولية. سمح لهم هذا النهج بإنتاج مجموعة بيانات ذات صلة من إجمالي 142 مليون صورة من أصل 1.2 مليار صورة.
2.2. تحسينات حسابية وتقنية
على الرغم من أن استخدام نماذج ومجموعات بيانات أكبر سيؤدي إلى نتائج أفضل ، إلا أنه يأتي مع تحديات كبيرة. اثنان من التحديات الرئيسية هما عدم الاستقرار المحتمل والبقاء قابلين للتتبع أثناء التدريب. لجعل التدريب أكثر ثباتًا ، يتضمن DINOv2 طرق تنظيم إضافية مستوحاة من بحث التشابه و تصنيف وأدبها.
تدمج عملية تدريب DINOv2 أحدث تطبيقات التدريب الموزعة والدقة المختلطة التي توفرها أحدث التقنيات باي تورش 2. سمح ذلك بتنفيذ أسرع للرموز واستخدام نفس الأجهزة لتدريب نماذج DINO مما أدى إلى مضاعفة السرعة وثلث استخدام الذاكرة مما سمح بتوسيع حجم البيانات والنموذج.
2.3 تقليل وقت الاستدلال باستخدام نماذج التقطير
يتطلب تشغيل النماذج الكبيرة في الاستدلال أجهزة قوية ستحد من الاستخدام العملي للطرق في حالات الاستخدام المختلفة. للتغلب على هذه المشكلة ، استخدم الباحثون تقطير النموذج لضغط معرفة النماذج الكبيرة إلى نماذج أصغر. من خلال استخدام هذا النهج ، كان الباحثون قادرين على تكثيف البنى عالية الأداء في بنى أصغر بتكاليف أداء لا تذكر. نتج عن ذلك نماذج قوية ViT-Small و ViT-Base و ViT-Large.
يتطلب كود التدريب والتقييم PyTorch 2.0 و xFormers 0.0.18 بالإضافة إلى العديد من حزم الجهات الخارجية الأخرى ويتوقع الرمز أيضًا بيئة Linux. توضح الإرشادات التالية كيفية تكوين جميع التبعيات اللازمة لأغراض التدريب والتقييم:
- قم بتثبيت PyTorch باستخدام التعليمات هنا. ينصح بتثبيت PyTorch بدعم CUDA.
- تحميل كوندا
- استنساخ مستودع DINOv2 باستخدام الأمر التالي:
كود المؤلف
- تابع إنشاء وتفعيل بيئة Conda المسماة "dinov2" باستخدام تعريف البيئة المتوفر:
كود المؤلف
- لتثبيت التبعيات المطلوبة لهذا المشروع ، استخدم ملف requirements.txt المقدم.
كود المؤلف
- أخيرًا ، يمكنك تحميل النماذج باستخدام الكود أدناه:
كود المؤلف
في الختام ، يمثل إصدار نماذج DINOv2 بواسطة Meta AI علامة بارزة. يوفر نهج التعلم الخاضع للإشراف الذاتي الذي تستخدمه نماذج DINOv2 طريقة قوية لتدريب نماذج التعلم الآلي دون الحاجة إلى كميات كبيرة من البيانات المصنفة. مع القدرة على تحقيق مستوى عالٍ من الدقة دون الحاجة إلى الضبط الدقيق ، فإن هذه النماذج مناسبة لمختلف مهام وتطبيقات رؤية الكمبيوتر. علاوة على ذلك ، يمكن لـ DINOv2 التعلم من مجموعات مختلفة من الصور ويمكن أن يتعلم من ميزات مثل تقدير العمق دون تدريب صريح. يفتح توفر DINOv2 كنموذج مفتوح المصدر الأبواب للباحثين والمطورين لاستكشاف إمكانيات جديدة في مهام وتطبيقات رؤية الكمبيوتر.
مراجع حسابات
يوسف رفعت باحث في رؤية الكمبيوتر وعالم بيانات. يركز بحثه على تطوير خوارزميات الرؤية الحاسوبية في الوقت الحقيقي لتطبيقات الرعاية الصحية. عمل أيضًا كعالم بيانات لأكثر من 3 سنوات في مجال التسويق والتمويل والرعاية الصحية.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- أفلاطونايستريم. ذكاء بيانات Web3. تضخيم المعرفة. الوصول هنا.
- سك المستقبل مع أدرين أشلي. الوصول هنا.
- شراء وبيع الأسهم في شركات ما قبل الاكتتاب مع PREIPO®. الوصول هنا.
- المصدر https://www.kdnuggets.com/2023/05/dinov2-selfsupervised-computer-vision-models-meta-ai.html?utm_source=rss&utm_medium=rss&utm_campaign=dinov2-self-supervised-computer-vision-models-by-meta-ai
- :لديها
- :يكون
- :ليس
- 1
- 1.2 مليار
- 3rd
- a
- القدرة
- ماهرون
- من نحن
- إنجاز
- التأهيل
- تحقق
- في
- إضافي
- متقدم
- AI
- خوارزمية
- خوارزمية
- خوارزميات
- الكل
- أيضا
- كمية
- المبالغ
- an
- و
- حيوان
- التطبيقات
- نهج
- اقتراب
- ما يقرب من
- هي
- AS
- At
- توفر
- متاح
- خلفية
- BE
- أصبح
- يصبح
- أقل من
- أفضل
- مليار
- بنج
- ابني
- بنيت
- by
- CAN
- تعليق
- الحالات
- سبب
- معين
- التحديات
- خيار
- عن كثب
- الكود
- جمع
- مجموعات
- يأتي
- مقارنة
- الكمبيوتر
- رؤية الكمبيوتر
- تطبيقات الرؤية الحاسوبية
- المفاهيم
- اختتام
- التكاليف
- خلق
- خلق
- حاسم
- من تنسيق
- البيانات
- عالم البيانات
- قواعد البيانات
- الطلب
- اعتماد
- عمق
- مفصلة
- المطورين
- تطوير
- مختلف
- وزعت
- التدريب الموزع
- عدة
- do
- نطاق
- فعل
- الأبواب
- مضاعفة
- اثنان
- أثناء
- بكفاءة
- تعزيز
- البيئة
- الأثير (ETH)
- تقييم
- حتى
- مثال
- موسع
- تتوقع
- خبرة
- اكتشف
- فيسبوك
- أسرع
- المميزات
- قليل
- حقل
- مجال
- قم بتقديم
- تمويل
- الاسم الأول
- ويركز
- متابعيك
- في حالة
- تبدأ من
- وظيفي
- GIF
- أجهزة التبخير
- hashtag
- he
- الرعاية الصحية
- مرتفع
- أداء عالي
- له
- كيفية
- كيفية
- لكن
- HTML
- HTTPS
- الانسان
- صورة
- صور
- التنفيذ
- أهمية
- in
- شامل
- يشمل
- معلومات
- موحى
- عدم إستقرار
- تثبيت
- تعليمات
- يدمج
- إلى
- IT
- انها
- م
- KD nuggets
- المعرفة
- تُشير
- ملصقات
- نقص
- كبير
- أكبر
- آخر
- قيادة
- تعلم
- تعلم
- مستوى
- مما سيحدث
- لينكدين:
- لينكس
- أدب
- تحميل
- محلي
- التعريب
- آلة
- آلة التعلم
- الرئيسية
- رائد
- جعل
- يصنع
- يدويا
- كثير
- التسويق
- مباراة
- معنى
- تعرف علي
- مكبر الصوت : يدعم، مع دعم ميكروفون مدمج لمنع الضوضاء
- مييتااا
- البيانات الوصفية
- طريقة
- طرق
- ربما
- معلم
- مليون
- نموذج
- عارضات ازياء
- الأكثر من ذلك
- علاوة على ذلك
- كثيرا
- عين
- ضروري
- حاجة
- جديد
- لا
- of
- غالبا
- on
- منها
- فقط
- المصدر المفتوح
- يفتح
- or
- أخرى
- خارج
- الخطوط العريضة
- تغلب
- حزم
- حفلة
- الماضي
- أداء
- PHP
- صورة
- خط أنابيب
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- فقير
- ان يرتفع المركز
- إمكانيات
- محتمل
- قوي
- عملية
- المشكلة
- عملية المعالجة
- إنتاج
- تنفيذ المشاريع
- المقدمة
- ويوفر
- علانية
- أغراض
- pytorch
- في الوقت الحقيقي
- الأخيرة
- أحمر
- ذات صلة
- الافراج عن
- صدر
- المتبقية
- مستودع
- تطلب
- مطلوب
- المتطلبات الأساسية
- يتطلب
- بحث
- الباحث
- الباحثين
- نتيجة
- النتائج
- غرفة
- s
- نفسه
- حجم
- التحجيم
- عالم
- بذرة
- تقسيم
- طقم
- عدة
- ينبغي
- هام
- مماثل
- منذ
- المقاس
- الأصغر
- بعض
- محدد
- سرعة
- مستقر
- معيار
- خطوات
- قوي
- هذه
- مناسب
- الدعم
- جدول
- مهمة
- المهام
- تقني
- من
- شكر
- أن
- •
- منهم
- هناك.
- تشبه
- هم
- الثالث
- طرف ثالث
- هؤلاء
- الوقت
- إلى
- الإجمالي
- قطار
- متدرب
- قادة الإيمان
- اثنان
- فهم
- مختلف
- الأستعمال
- تستخدم
- مستعمل
- استخدام
- الاستفادة من
- استخدام
- v1
- مختلف
- رؤيتنا
- vs
- طريق..
- we
- الويب
- حسن
- كان
- التي
- سوف
- مع
- بدون
- خشبي
- عمل
- سنوات
- لصحتك!
- زفيرنت