Kép a Bing Image Creatorból
A Meta AI nemrégiben adott ki nyílt forráskódot DINOv2 modellek az első módszer, amely önfelügyelt tanulást alkalmaz a számítógépes látásmodellek betanításához. A DINOv2 modellek olyan eredményeket érnek el, amelyek megegyeznek a szabványos megközelítéssel és modellekkel, vagy még jobbak is azoknál.
A modellek nagy teljesítményt értek el finomhangolás nélkül, ami tökéletes választás számos különféle számítógépes látási feladathoz és alkalmazáshoz. A DINOv2 képes tanulni különféle képgyűjteményekből és funkciókból, például mélységbecslésből, anélkül, hogy kifejezett képzésre lenne szüksége, köszönhetően az önfelügyelt képzési módszernek.
1. ábra: DINOv2: Self-Supervised Computer Vision Models by Meta AI
1.1. Nincs szükség finomhangolásra
Az önfelügyelt tanulás egy hatékony módszer a gépi tanulási modellek betanítására anélkül, hogy nagy mennyiségű címkézett adatra lenne szükség. A DINOv2 modellek képkorpuszon betaníthatók anélkül, hogy ehhez kapcsolódó metaadatokra, speciális hashtagokra vagy képfeliratokra lenne szükség. A DinoV2 modellek, ellentétben számos közelmúltbeli önfelügyelt tanulási megközelítéssel, nem igényelnek finomhangolást, így nagy teljesítményű funkciókat hoznak létre a különböző számítógépes látási alkalmazásokhoz.
1.2. Az emberi annotáció korlátainak leküzdése
Az elmúlt években kép-szöveg előképzés a különböző számítógépes látási alkalmazások uralkodó módszerévé vált. Azonban az ember által feliratozott feliratoktól való függése miatt, hogy megtanulja a képek szemantikai jelentését. Ez a megközelítés gyakran figyelmen kívül hagyja azokat a kulcsfontosságú információkat, amelyek nem szerepelnek kifejezetten ezekben a feliratokban. Például egy sárga szobában lévő piros asztalt ábrázoló kép emberi címke felirata lehet „Vörös faasztal”. Ebből a feliratból hiányzik néhány fontos információ a táblázat hátteréről, helyzetéről és méretéről. Ez a helyi információk megértésének hiányát okozza, és a részletes lokalizációs információkat igénylő feladatok gyenge teljesítményét eredményezi.
Ezenkívül az emberi címkék és megjegyzések szükségessége korlátozza a modellek betanításához gyűjthető adatok mennyiségét. Ez bizonyos alkalmazásoknál sokkal nehezebbé válik, például egy cella megjegyzése bizonyos szintű emberi szakértelmet igényel, amely nem lesz elérhető a kívánt léptékben. Az önfelügyelt edzési megközelítés alkalmazása a sejtképeken megnyitja az utat egy alaposabb modell előtt, és ennek eredményeként javulni fog biológiai felfedezés. Ugyanez vonatkozik a hasonló speciális mezőkre, mint a becslés állatsűrűség.
A DINO-ról a DINOv2-re való átálláshoz számos kihívást kellett leküzdeni, mint pl
- Nagyméretű és válogatott edzési adatkészlet létrehozása
- A képzési algoritmus és a megvalósítás fejlesztése
- Funkcionális desztillációs csővezeték tervezése.
2. ábra: DINO v1 vs v2 szegmentálási pontosság összehasonlítása
2.1. Nagy, válogatott és változatos képadatkészlet létrehozása
One of the main steps to building the DINOv2 is to train larger architectures and models to enhance the model’s performance. However, larger models require large datasets to be efficiently trained. Since there were no large datasets available that meet the requirements researchers leveraged publicly crawled web data and built a pipeline to select only useful data as in LÉZER.
Az adatkészletek használatához azonban két fő feladatot kell elvégezni:
- Egyensúlyozza az adatokat a különböző fogalmak és feladatok között
- Távolítsa el az irreleváns képeket
Mivel ezt a feladatot manuálisan is el lehet végezni, körülbelül 25 harmadik féltől származó adatkészletből állítottak össze kezdőképeket, és kibővítették azokkal a képekkel, amelyek szorosan kapcsolódnak ezekhez az alapképekhez. Ez a megközelítés lehetővé tette számukra, hogy 142 milliárd képből összesen 1.2 millió képből álló adatkészletet hozzanak létre.
2.2. Algoritmikus és technikai fejlesztések
Bár a nagyobb modellek és adatkészletek használata jobb eredményekhez vezet, komoly kihívásokkal jár. A két fő kihívás az esetleges instabilitás és az edzés közbeni kezelhetetlenség. A képzés stabilabbá tétele érdekében a DINOv2 további rendszerezési módszereket is tartalmaz, amelyeket inspirált hasonlóság keresés és a besorolás irodalom.
A DINOv2 képzési folyamata integrálja a legmodernebb, vegyes precíziós és elosztott képzési implementációkat. PyTorch 2. Ez lehetővé tette a kódok gyorsabb végrehajtását, és ugyanazon hardver használata a DINO modellek betanításához kétszeres sebességet és a memóriahasználat egyharmadát eredményezte, ami lehetővé tette az adatok és a modell méretének skálázását.
2.3. A következtetési idő csökkentése a desztillációs modellek segítségével
A nagy modellek következtetésként való futtatásához erős hardverre van szükség, amely korlátozza a módszerek gyakorlati alkalmazását a különböző felhasználási esetekben. A probléma megoldására a kutatók modelldesztillációt alkalmaztak, hogy a nagy modellek tudását kisebbekbe tömörítsék. Ezzel a megközelítéssel a kutatók képesek voltak a nagy teljesítményű architektúrákat kisebbre sűríteni, elhanyagolható teljesítményköltséggel. Ez erős ViT-Small, ViT-Base és ViT-Large modelleket eredményezett.
A képzési és értékelési kódhoz PyTorch 2.0 és xFormers 0.0.18, valamint sok más harmadik féltől származó csomag, valamint a kód is Linux környezetet vár el. A következő utasítások felvázolják, hogyan kell konfigurálni az összes szükséges függőséget képzési és értékelési célokra:
- Telepítse a PyTorch programot az utasítások szerint itt. Javasoljuk, hogy telepítse a PyTorch-ot CUDA-támogatással.
- Letöltés megye
- A DINOv2 lerakat klónozása a következő paranccsal:
A szerző kódja
- Proceed to create and activate a Conda environment named “dinov2” using the provided environment definition:
A szerző kódja
- A projekthez szükséges függőségek telepítéséhez használja a megadott követelmények.txt fájlt.
A szerző kódja
- Végül az alábbi kóddal töltheti be a modelleket:
A szerző kódja
Összefoglalva, a DINOv2 modellek Meta AI általi kiadása jelentős mérföldkövet jelent. A DINOv2 modellek által használt önfelügyelt tanulási megközelítés hatékony módszert kínál a gépi tanulási modellek betanítására anélkül, hogy nagy mennyiségű címkézett adatra lenne szükség. A nagy pontosság elérésének képességével finomhangolás igénye nélkül ezek a modellek alkalmasak különféle számítógépes látási feladatokra és alkalmazásokra. Ezenkívül a DINOv2 képes tanulni a különböző képgyűjteményekből, és tanulhat olyan funkciókból, mint például a mélységbecslés, kifejezett képzés nélkül. A DINOv2 nyílt forráskódú modellként való elérhetősége megnyitja a kaput a kutatók és fejlesztők előtt, hogy új lehetőségeket fedezzenek fel a számítógépes látási feladatokban és alkalmazásokban.
Referenciák
Youssef Rafaat számítógépes látáskutató és adatkutató. Kutatása az egészségügyi alkalmazások valós idejű számítógépes látási algoritmusainak fejlesztésére összpontosít. Több mint 3 évig adatkutatóként is dolgozott a marketing, a pénzügy és az egészségügy területén.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- PlatoAiStream. Web3 adatintelligencia. Felerősített tudás. Hozzáférés itt.
- A jövő pénzverése – Adryenn Ashley. Hozzáférés itt.
- Részvények vásárlása és eladása PRE-IPO társaságokban a PREIPO® segítségével. Hozzáférés itt.
- Forrás: https://www.kdnuggets.com/2023/05/dinov2-selfsupervised-computer-vision-models-meta-ai.html?utm_source=rss&utm_medium=rss&utm_campaign=dinov2-self-supervised-computer-vision-models-by-meta-ai
- :van
- :is
- :nem
- 1
- 1.2 milliárd
- 3rd
- a
- képesség
- Képes
- Rólunk
- megvalósítható
- Elérése
- elért
- át
- További
- fejlett
- AI
- algoritmus
- algoritmikus
- algoritmusok
- Minden termék
- Is
- összeg
- Összegek
- an
- és a
- állat
- alkalmazások
- megközelítés
- megközelít
- körülbelül
- VANNAK
- AS
- At
- elérhetőség
- elérhető
- háttér
- BE
- válik
- válik
- lent
- Jobb
- Billió
- Bing
- Épület
- épült
- by
- TUD
- feliratok
- esetek
- Okoz
- bizonyos
- kihívások
- választás
- szorosan
- kód
- gyűjt
- gyűjtemény
- jön
- összehasonlítás
- számítógép
- Számítógépes látás
- Computer Vision alkalmazások
- fogalmak
- következtetés
- kiadások
- teremt
- létrehozása
- kritikus
- a válogatott
- dátum
- adattudós
- adatkészletek
- Kereslet
- függőség
- mélység
- részletes
- fejlesztők
- fejlesztése
- különböző
- megosztott
- elosztott képzés
- számos
- do
- domain
- csinált
- ajtók
- kétszeresére
- két
- alatt
- eredményesen
- növelése
- Környezet
- Eter (ETH)
- értékelés
- Még
- példa
- kiterjesztett
- elvárja
- szakvélemény
- feltárása
- gyorsabb
- Jellemzők
- kevés
- mező
- Fields
- filé
- finanszíroz
- vezetéknév
- koncentrál
- következő
- A
- ból ből
- funkcionális
- gif
- hardver
- hashtag
- he
- egészségügyi
- Magas
- nagy teljesítményű
- övé
- Hogyan
- How To
- azonban
- HTML
- HTTPS
- emberi
- kép
- képek
- végrehajtás
- fontos
- in
- beleértve
- magában foglalja a
- információ
- inspirálta
- instabilitás
- telepíteni
- utasítás
- integrál
- bele
- IT
- ITS
- éppen
- KDnuggets
- tudás
- Címke
- Címkék
- hiány
- nagy
- nagyobb
- legutolsó
- vezet
- TANUL
- tanulás
- szint
- LIMIT
- linux
- irodalom
- kiszámításának
- helyi
- Honosítás
- gép
- gépi tanulás
- Fő
- fontos
- csinál
- KÉSZÍT
- kézzel
- sok
- Marketing
- Mérkőzés
- jelenti
- Találkozik
- Memory design
- meta
- Metaadatok
- módszer
- mód
- esetleg
- mérföldkő
- millió
- modell
- modellek
- több
- Ráadásul
- sok
- Nevezett
- elengedhetetlen
- Szükség
- Új
- nem
- of
- gyakran
- on
- azok
- csak
- nyílt forráskódú
- nyit
- or
- Más
- ki
- vázlat
- Overcome
- csomagok
- párt
- múlt
- tökéletes
- teljesítmény
- PHP
- kép
- csővezeték
- Plató
- Platón adatintelligencia
- PlatoData
- szegény
- pozíció
- lehetőségek
- potenciális
- erős
- Gyakorlati
- Probléma
- folyamat
- gyárt
- program
- feltéve,
- biztosít
- nyilvánosan
- célokra
- pytorch
- real-time
- új
- Piros
- összefüggő
- engedje
- felszabaduló
- megmaradó
- raktár
- szükség
- kötelező
- követelmények
- megköveteli,
- kutatás
- kutató
- kutatók
- eredményez
- Eredmények
- Szoba
- s
- azonos
- Skála
- skálázás
- Tudós
- mag
- szegmentáció
- készlet
- számos
- kellene
- jelentős
- hasonló
- óta
- Méret
- kisebb
- néhány
- különleges
- sebesség
- stabil
- standard
- Lépései
- erős
- ilyen
- megfelelő
- támogatás
- táblázat
- Feladat
- feladatok
- Műszaki
- mint
- köszönöm
- hogy
- A
- Őket
- Ott.
- Ezek
- ők
- Harmadik
- harmadik fél
- ezt
- azok
- idő
- nak nek
- Végösszeg
- Vonat
- kiképzett
- Képzések
- kettő
- megértés
- nem úgy mint
- Használat
- használ
- használt
- segítségével
- hasznosít
- kihasználva
- v1
- különféle
- látomás
- vs
- Út..
- we
- háló
- JÓL
- voltak
- ami
- lesz
- val vel
- nélkül
- fa
- dolgozott
- év
- te
- zephyrnet