Slika iz Bing Image Creatorja
Meta AI je pravkar izdal odprtokodno modeli DINOv2 prva metoda, ki uporablja samonadzorovano učenje za urjenje modelov računalniškega vida. Modeli DINOv2 dosegajo rezultate, ki ustrezajo ali so celo boljši od standardnega pristopa in modelov na terenu.
Modeli so dosegli visoko zmogljivost brez potrebe po natančnem nastavljanju, kar je odlična izbira za številne različne naloge in aplikacije računalniškega vida. DINOv2 se lahko uči iz različnih zbirk slik in funkcij, kot je ocena globine, brez potrebe po izrecnem usposabljanju, zahvaljujoč metodi samonadzorovanega učenja.
Slika 1: DINOv2: Samonadzorovani modeli računalniškega vida Meta AI
1.1. Natančna nastavitev ni potrebna
Samonadzorovano učenje je zmogljiva metoda, ki se uporablja za usposabljanje modelov strojnega učenja brez potrebe po velikih količinah označenih podatkov. Modele DINOv2 je mogoče učiti na korpusu slik brez potrebe po povezanih metapodatkih, posebnem hashtagu ali napisu slike. Modeli DinoV2, za razliko od več nedavnih pristopov samonadzorovanega učenja, ne zahtevajo natančnega prilagajanja, zato proizvajajo visoko zmogljive funkcije za različne aplikacije računalniškega vida.
1.2. Premagovanje omejitev človeških opomb
V zadnjih nekaj letih, slika-besedilo pred usposabljanjem je postala prevladujoča metoda za različne aplikacije računalniškega vida. Vendar pa je zaradi svoje odvisnosti od napisov, ki jih označi človek, za učenje semantičnega pomena slik. Ta pristop pogosto spregleda ključne informacije, ki niso izrecno vključene v te napise. Na primer, napis človeške oznake za sliko rdeče mize v rumeni sobi je lahko "Rdeča lesena miza". V tem napisu bodo manjkale nekatere pomembne informacije o ozadju, položaju in velikosti tabele. To bo povzročilo pomanjkanje razumevanja lokalnih informacij in bo povzročilo slabo delovanje nalog, ki zahtevajo podrobne informacije o lokalizaciji.
Poleg tega bo potreba po človeških oznakah in opombah omejila količino podatkov, ki jih lahko zberemo za usposabljanje modelov. To postane veliko težje za nekatere aplikacije, na primer za označevanje celice je potrebna določena raven človeškega strokovnega znanja, ki ne bo na voljo v zahtevanem obsegu. Uporaba pristopa samonadzorovanega usposabljanja na celičnih posnetkih odpira pot za bolj temeljen model in posledično izboljša biološko odkritje. Enako velja za podobna napredna področja, kot je ocena živalska gostota.
Prehod z DINO na DINOv2 je zahteval premagovanje več izzivov, kot je npr
- Ustvarjanje velikega in izbranega nabora podatkov o usposabljanju
- Izboljšanje algoritma usposabljanja in izvedbe
- Oblikovanje funkcionalnega destilacijskega cevovoda.
Slika 2: Primerjava natančnosti segmentacije DINO v1 proti v2
2.1. Ustvarjanje velikega, izbranega in raznolikega nabora slikovnih podatkov
One of the main steps to building the DINOv2 is to train larger architectures and models to enhance the model’s performance. However, larger models require large datasets to be efficiently trained. Since there were no large datasets available that meet the requirements researchers leveraged publicly crawled web data and built a pipeline to select only useful data as in LASER.
Vendar je treba za uporabo teh naborov podatkov opraviti dve glavni nalogi:
- Uravnotežite podatke med različnimi koncepti in nalogami
- Odstranite nepomembne slike
Ker je to nalogo mogoče opraviti ročno, so kurirali niz začetnih slik iz približno 25 naborov podatkov tretjih oseb in ga razširili s pridobivanjem slik, ki so tesno povezane s temi osnovnimi slikami. Ta pristop jim je omogočil izdelavo pripadajočega nabora podatkov s skupno 142 milijoni slik od 1.2 milijarde slik.
2.2. Algoritemske in tehnične izboljšave
Čeprav bo uporaba večjih modelov in naborov podatkov vodila do boljših rezultatov, prinaša velike izzive. Dva od glavnih izzivov sta potencialna nestabilnost in ohranjanje poslušljivosti med treningom. Da bi bil trening bolj stabilen, DINOv2 vključuje dodatne metode urejanja, ki so bile navdihnjene z iskanje podobnosti in Razvrstitev literatura.
Proces usposabljanja DINOv2 združuje najnovejše izvedbe mešane natančnosti in porazdeljene izvedbe usposabljanja, ki jih zagotavlja najsodobnejši PyTorch 2. To je omogočilo hitrejšo implementacijo kod in uporaba iste strojne opreme za usposabljanje modelov DINO je povzročila dvojno hitrost in tretjino uporabe pomnilnika, kar je omogočilo skaliranje podatkov in velikosti modela.
2.3. Zmanjšanje časa sklepanja z uporabo destilacije modelov
Izvajanje velikih modelov v sklepanju zahteva zmogljivo strojno opremo, ki bo omejila praktično uporabo metod za različne primere uporabe. Da bi rešili to težavo, so raziskovalci uporabili modelno destilacijo za stiskanje znanja velikih modelov v manjše. Z uporabo tega pristopa so raziskovalci lahko strnili visoko zmogljive arhitekture v manjše z zanemarljivimi stroški delovanja. Rezultat tega so močni modeli ViT-Small, ViT-Base in ViT-Large.
Koda za usposabljanje in ocenjevanje zahteva PyTorch 2.0 in xBivši 0.0.18 kot tudi številni drugi paketi tretjih oseb in tudi koda pričakuje okolje Linux. Naslednja navodila opisujejo, kako konfigurirati vse potrebne odvisnosti za namene usposabljanja in ocenjevanja:
- Namestite PyTorch z uporabo navodil tukaj. Priporočljivo je namestiti PyTorch s podporo za CUDA.
- Prenos conda
- Klonirajte repozitorij DINOv2 z naslednjim ukazom:
Koda avtorja
- Proceed to create and activate a Conda environment named “dinov2” using the provided environment definition:
Koda avtorja
- Če želite namestiti odvisnosti, potrebne za ta projekt, uporabite priloženo datoteko requirements.txt.
Koda avtorja
- Končno lahko naložite modele s spodnjo kodo:
Koda avtorja
Skratka, izdaja modelov DINOv2 s strani Meta AI pomeni pomemben mejnik. Pristop samonadzorovanega učenja, ki ga uporabljajo modeli DINOv2, zagotavlja zmogljiv način za usposabljanje modelov strojnega učenja brez potrebe po velikih količinah označenih podatkov. Z zmožnostjo doseganja visoke natančnosti brez potrebe po fini nastavitvi so ti modeli primerni za različne naloge in aplikacije računalniškega vida. Poleg tega se DINOv2 lahko uči iz različnih zbirk slik in se lahko uči iz funkcij, kot je ocena globine, brez izrecnega usposabljanja. Razpoložljivost DINOv2 kot odprtokodnega modela odpira raziskovalcem in razvijalcem vrata za raziskovanje novih možnosti pri nalogah in aplikacijah računalniškega vida.
Reference
Youssef Rafaat je raziskovalec računalniškega vida in podatkovni znanstvenik. Njegove raziskave se osredotočajo na razvoj algoritmov računalniškega vida v realnem času za aplikacije v zdravstvu. Prav tako je več kot 3 leta delal kot podatkovni znanstvenik na področju marketinga, financ in zdravstva.
- Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
- PlatoAiStream. Podatkovna inteligenca Web3. Razširjeno znanje. Dostopite tukaj.
- Kovanje prihodnosti z Adryenn Ashley. Dostopite tukaj.
- Kupujte in prodajajte delnice podjetij pred IPO s PREIPO®. Dostopite tukaj.
- vir: https://www.kdnuggets.com/2023/05/dinov2-selfsupervised-computer-vision-models-meta-ai.html?utm_source=rss&utm_medium=rss&utm_campaign=dinov2-self-supervised-computer-vision-models-by-meta-ai
- :ima
- : je
- :ne
- 1
- 1.2 milijard
- 3.
- a
- sposobnost
- Sposobna
- O meni
- doseženo
- Doseči
- doseže
- čez
- Dodatne
- napredno
- AI
- algoritem
- algoritmični
- algoritmi
- vsi
- Prav tako
- znesek
- zneski
- an
- in
- živali
- aplikacije
- pristop
- pristopi
- približno
- SE
- AS
- At
- razpoložljivost
- Na voljo
- ozadje
- BE
- postanejo
- postane
- spodaj
- Boljše
- Billion
- bing
- Building
- zgrajena
- by
- CAN
- napisi
- primeri
- Vzrok
- nekatere
- izzivi
- izbira
- tesno
- Koda
- zbiranje
- Zbirke
- prihaja
- Primerjava
- računalnik
- Računalniška vizija
- Aplikacije za računalniški vid
- koncepti
- Sklenitev
- stroški
- ustvarjajo
- Ustvarjanje
- ključnega pomena
- kurirano
- datum
- podatkovni znanstvenik
- nabor podatkov
- Povpraševanje
- odvisnost
- globina
- podrobno
- Razvijalci
- razvoju
- drugačen
- porazdeljena
- razdeljeno usposabljanje
- razne
- do
- domena
- opravljeno
- vrata
- podvojila
- 2
- med
- učinkovito
- okrepi
- okolje
- Eter (ETH)
- Ocena
- Tudi
- Primer
- razširiti
- pričakuje
- strokovno znanje
- raziskuje
- hitreje
- Lastnosti
- Nekaj
- Polje
- Področja
- file
- financiranje
- prva
- Osredotoča
- po
- za
- iz
- funkcionalno
- gif
- strojna oprema
- hashtag
- he
- zdravstveno varstvo
- visoka
- visokozmogljivo
- njegov
- Kako
- Kako
- Vendar
- HTML
- HTTPS
- človeškega
- slika
- slike
- Izvajanje
- Pomembno
- in
- vključeno
- vključuje
- Podatki
- navdih
- nestabilnost
- namestitev
- Navodila
- Integrira
- v
- IT
- ITS
- samo
- KDnuggets
- znanje
- label
- Oznake
- Pomanjkanje
- velika
- večja
- Zadnji
- vodi
- UČITE
- učenje
- Stopnja
- LIMIT
- linux
- literatura
- obremenitev
- lokalna
- Lokalizacija
- stroj
- strojno učenje
- Glavne
- velika
- Znamka
- IZDELA
- ročno
- več
- Trženje
- Stave
- kar pomeni,
- Srečati
- Spomin
- Meta
- metapodatki
- Metoda
- Metode
- morda
- mejnik
- milijonov
- Model
- modeli
- več
- Poleg tega
- veliko
- Imenovan
- potrebno
- Nimate
- Novo
- št
- of
- pogosto
- on
- tiste
- samo
- open source
- Odpre
- or
- Ostalo
- ven
- oris
- Premagajte
- pakete
- zabava
- preteklosti
- popolna
- performance
- PHP
- slika
- plinovod
- platon
- Platonova podatkovna inteligenca
- PlatoData
- slaba
- Stališče
- možnosti
- potencial
- močan
- Praktično
- problem
- Postopek
- proizvodnjo
- Projekt
- če
- zagotavlja
- javno
- namene
- pitorha
- v realnem času
- nedavno
- Rdeča
- povezane
- sprostitev
- sprosti
- Preostalih
- Skladišče
- zahteva
- obvezna
- Zahteve
- zahteva
- Raziskave
- raziskovalec
- raziskovalci
- povzroči
- Rezultati
- soba
- s
- Enako
- Lestvica
- skaliranje
- Znanstvenik
- seme
- segmentacija
- nastavite
- več
- shouldnt
- pomemben
- Podoben
- saj
- Velikosti
- manj
- nekaj
- specifična
- hitrost
- stabilna
- standardna
- Koraki
- močna
- taka
- primerna
- podpora
- miza
- Naloga
- Naloge
- tehnični
- kot
- hvala
- da
- O
- Njih
- Tukaj.
- te
- jih
- tretja
- tretjih oseb
- ta
- tisti,
- čas
- do
- Skupaj za plačilo
- Vlak
- usposobljeni
- usposabljanje
- dva
- razumevanje
- za razliko od
- Uporaba
- uporaba
- Rabljeni
- uporabo
- uporabiti
- Uporaben
- v1
- različnih
- Vizija
- vs
- način..
- we
- web
- Dobro
- so bili
- ki
- bo
- z
- brez
- leseni
- delal
- let
- jo
- zefirnet