Kuva Bing Image Creatorista
Meta AI on juuri julkaissut avoimen lähdekoodin DINOv2 mallit ensimmäinen menetelmä, joka käyttää itseohjattua oppimista tietokonenäkömallien kouluttamiseen. DINOv2-malleilla saavutetaan tuloksia, jotka vastaavat tai ovat jopa parempia kuin alan standardi lähestymistapa ja mallit.
Mallit saavuttivat vahvan suorituskyvyn ilman hienosäätöä, mikä on täydellinen valinta moniin erilaisiin tietokonenäkötehtäviin ja sovelluksiin. DINOv2 voi oppia erilaisista kuvakokoelmista ja ominaisuuksista, kuten syvyysarvioinnista, ilman erityistä koulutusta itseohjatun harjoitusmenetelmän ansiosta.
Kuva 1: DINOv2: Meta AI:n itsevalvotut tietokonenäkömallit
1.1. Hienosäätöä ei tarvita
Itseohjattu oppiminen on tehokas menetelmä koneoppimismallien kouluttamiseen ilman suuria määriä merkittyä dataa. DINOv2-malleja voidaan harjoitella kuvakorpuksella ilman, että tarvitaan niihin liittyviä metatietoja, erityistä hashtagia tai kuvatekstiä. DinoV2-mallit, toisin kuin useat viimeaikaiset itsevalvotut oppimismenetelmät, eivät vaadi hienosäätöä, mikä tuottaa korkean suorituskyvyn ominaisuuksia erilaisiin tietokonenäkösovelluksiin.
1.2. Ihmisten annotaatiorajoitusten ylittäminen
Viimeisten vuosien aikana, kuva-teksti esikoulutus on tullut hallitseva menetelmä erilaisissa tietokonenäkösovelluksissa. Kuitenkin, koska se on riippuvainen ihmisen merkityistä tekstityksistä oppia kuvien semanttinen merkitys. Tämä lähestymistapa jättää usein huomiotta tärkeitä tietoja, joita ei nimenomaisesti sisällytetty kuvateksteihin. Esimerkiksi keltaisessa huoneessa olevan punaisen pöydän kuvan ihmisen etiketti voi olla "Punainen puupöytä". Tästä otsikosta puuttuu tärkeitä tietoja taulukon taustasta, sijainnista ja koosta. Tämä aiheuttaa paikallisten tietojen ymmärtämisen puutteen ja huonon suorituskyvyn tehtävissä, jotka vaativat yksityiskohtaisia lokalisointitietoja.
Myös tarve ihmisille tarkoitetuille merkinnöille ja huomautuksille rajoittaa tietojen määrää, jonka voimme kerätä mallien kouluttamiseksi. Tästä tulee paljon vaikeampaa tietyissä sovelluksissa, esimerkiksi solun merkitseminen vaatii tietyn tason inhimillistä asiantuntemusta, jota ei ole saatavilla vaaditussa mittakaavassa. Itseohjatun harjoitusmenetelmän käyttäminen solukuvissa avaa tien perustavanlaatuisemmalle mallille ja sen seurauksena parantaa biologinen löytö. Sama pätee vastaaviin kehittyneisiin kenttiin kuin estimointi eläinten tiheys.
Siirtyminen DINOsta DINOv2:een vaati useiden haasteiden voittamista, kuten
- Suuren ja kuratoidun harjoitustietojoukon luominen
- Harjoitusalgoritmin ja toteutuksen parantaminen
- Toimivan tislausputkiston suunnittelu.
Kuva 2: DINO v1 vs v2 segmentointitarkkuuden vertailu
2.1. Suuren, kuratoidun ja monipuolisen kuvatietojoukon luominen
Yksi tärkeimmistä vaiheista DINOv2:n rakentamisessa on suurempien arkkitehtuurien ja mallien kouluttaminen mallin suorituskyvyn parantamiseksi. Suuremmat mallit vaativat kuitenkin suuria tietojoukkoja, jotta ne voidaan kouluttaa tehokkaasti. Koska saatavilla ei ollut suuria vaatimukset täyttäviä tietojoukkoja, tutkijat hyödynsivät julkisesti indeksoitua verkkodataa ja rakensivat putkilinjan vain hyödyllisten tietojen valitsemiseksi, kuten LASER.
Kaksi päätehtävää on kuitenkin tehtävä, jotta näitä tietojoukkoja voidaan käyttää:
- Tasapainota tiedot eri käsitteiden ja tehtävien välillä
- Poista epäolennaiset kuvat
Koska tämä tehtävä voidaan suorittaa manuaalisesti, he kuratoivat joukon siemenkuvia noin 25 kolmannen osapuolen tietojoukosta ja laajensivat sitä hakemalla kuvia, jotka liittyvät läheisesti näihin siemenkuviin. Tämän lähestymistavan ansiosta he pystyivät tuottamaan yhteensä 142 miljoonan kuvan tietojoukon 1.2 miljardista kuvasta.
2.2. Algoritmisia ja teknisiä parannuksia
Vaikka suurempien mallien ja tietojoukkojen käyttö johtaa parempiin tuloksiin, siihen liittyy suuria haasteita. Kaksi suurimmista haasteista ovat mahdollinen epävakaus ja pysyminen hallittavissa harjoittelun aikana. Tehdäkseen harjoittelusta vakaamman DINOv2 sisältää lisää säätelymenetelmiä, jotka ovat saaneet inspiraationsa samankaltaisuushaku ja luokittelu kirjallisuus.
DINOv2:n koulutusprosessi integroi uusimmat sekatarkkuudet ja hajautetut koulutustoteutukset, jotka ovat huippuluokan tarjoamia. PyTorch 2. Tämä mahdollisti koodien nopeamman toteutuksen ja saman laitteiston käyttäminen DINO-mallien harjoittamiseen johti kaksinkertaiseen nopeuden ja kolmanneksen muistin käyttöön, mikä mahdollisti tietojen ja mallin koon skaalauksen.
2.3. Päättelyajan lyhentäminen mallitislauksella
Suurten mallien ajaminen päättelyssä vaatii tehokkaan laitteiston, joka rajoittaa menetelmien käytännön käyttöä eri käyttötapauksissa. Tämän ongelman voittamiseksi tutkijat käyttivät mallitislaamista pakatakseen suurten mallien tietämystä pienempiin malleihin. Tätä lähestymistapaa käyttämällä tutkijat pystyivät tiivistämään korkean suorituskyvyn arkkitehtuurit pienemmiksi, joiden suorituskykykustannukset olivat mitättömät. Tämä johti vahvoihin ViT-Small-, ViT-Base- ja ViT-Large-malleihin.
Koulutus- ja arviointikoodi vaatii PyTorch 2.0:n ja xFormers 0.0.18 sekä monet muut kolmannen osapuolen paketit ja myös koodi odottaa Linux-ympäristöä. Seuraavissa ohjeissa kerrotaan, kuinka kaikki tarvittavat riippuvuudet määritetään koulutusta ja arviointia varten:
- Asenna PyTorch ohjeiden mukaan tätä. PyTorch on suositeltavaa asentaa CUDA-tuella.
- Lataa Conda
- Kloonaa DINOv2-arkisto käyttämällä seuraavaa komentoa:
Kirjoittajan koodi
- Luo ja aktivoi Conda-ympäristö nimeltä "dinov2" käyttämällä annettua ympäristön määritelmää:
Kirjoittajan koodi
- Asenna tähän projektiin tarvittavat riippuvuudet käyttämällä toimitettua vaatimusten.txt-tiedostoa.
Kirjoittajan koodi
- Lopuksi voit ladata mallit alla olevan koodin avulla:
Kirjoittajan koodi
Yhteenvetona voidaan todeta, että Meta AI:n DINOv2-mallien julkaisu on merkittävä virstanpylväs. DINOv2-mallien käyttämä itseohjattu oppimismenetelmä tarjoaa tehokkaan tavan kouluttaa koneoppimismalleja ilman suuria määriä merkittyä dataa. Nämä mallit sopivat erilaisiin tietokonenäkötehtäviin ja -sovelluksiin, koska ne pystyvät saavuttamaan korkean tarkkuuden ilman hienosäätöä. Lisäksi DINOv2 voi oppia erilaisista kuvakokoelmista ja voi oppia ominaisuuksista, kuten syvyysarvioinnista, ilman erityistä koulutusta. DINOv2:n saatavuus avoimen lähdekoodin mallina avaa tutkijoille ja kehittäjille ovet uusiin mahdollisuuksiin tietokonenäkötehtävissä ja sovelluksissa.
Viitteet
Youssef Rafaat on tietokonenäön tutkija ja datatieteilijä. Hänen tutkimuksensa keskittyy reaaliaikaisten tietokonenäköalgoritmien kehittämiseen terveydenhuollon sovelluksiin. Hän työskenteli myös datatutkijana yli 3 vuotta markkinoinnin, rahoituksen ja terveydenhuollon alalla.
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- PlatoAiStream. Web3 Data Intelligence. Tietoa laajennettu. Pääsy tästä.
- Tulevaisuuden lyöminen Adryenn Ashley. Pääsy tästä.
- Osta ja myy osakkeita PRE-IPO-yhtiöissä PREIPO®:lla. Pääsy tästä.
- Lähde: https://www.kdnuggets.com/2023/05/dinov2-selfsupervised-computer-vision-models-meta-ai.html?utm_source=rss&utm_medium=rss&utm_campaign=dinov2-self-supervised-computer-vision-models-by-meta-ai
- :on
- :On
- :ei
- 1
- 1.2 miljardia
- 3.
- a
- kyky
- pystyy
- Meistä
- Suoritetut
- Saavuttaa
- saavutettu
- poikki
- lisä-
- kehittynyt
- AI
- algoritmi
- algoritmi
- algoritmit
- Kaikki
- Myös
- määrä
- määrät
- an
- ja
- eläin
- sovellukset
- lähestymistapa
- lähestymistavat
- suunnilleen
- OVAT
- AS
- At
- saatavuus
- saatavissa
- tausta
- BE
- tulevat
- tulee
- alle
- Paremmin
- Miljardi
- Bing
- Rakentaminen
- rakennettu
- by
- CAN
- kuvatekstit
- tapauksissa
- Aiheuttaa
- tietty
- haasteet
- valinta
- tarkasti
- koodi
- kerätä
- kokoelmat
- tulee
- vertailu
- tietokone
- Tietokoneen visio
- Computer Vision -sovellukset
- käsitteet
- johtopäätös
- kustannukset
- luoda
- Luominen
- ratkaiseva
- kuratoitu
- tiedot
- tietojen tutkija
- aineistot
- Kysyntä
- riippuvuus
- syvyys
- yksityiskohtainen
- kehittäjille
- kehittämällä
- eri
- jaettu
- hajautettu koulutus
- useat
- do
- verkkotunnuksen
- tehty
- ovet
- kaksinkertainen
- kaksi
- aikana
- tehokkaasti
- parantaa
- ympäristö
- Eetteri (ETH)
- arviointi
- Jopa
- esimerkki
- laajeni
- odottaa
- asiantuntemus
- tutkia
- nopeampi
- Ominaisuudet
- harvat
- ala
- Fields
- filee
- rahoittaa
- Etunimi
- keskittyy
- jälkeen
- varten
- alkaen
- toiminnallinen
- gif
- Palvelimet
- hashtag
- he
- terveydenhuollon
- Korkea
- korkea suorituskyky
- hänen
- Miten
- Miten
- Kuitenkin
- HTML
- HTTPS
- ihmisen
- kuva
- kuvien
- täytäntöönpano
- tärkeä
- in
- mukana
- sisältää
- tiedot
- innoittamana
- epävakaisuus
- asentaa
- ohjeet
- integroi
- tulee
- IT
- SEN
- vain
- KDnuggets
- tuntemus
- Merkki
- tarrat
- Lack
- suuri
- suurempi
- uusin
- johtaa
- OPPIA
- oppiminen
- Taso
- RAJOITA
- linux
- kirjallisuus
- kuormitus
- paikallinen
- Localization
- kone
- koneoppiminen
- tärkein
- merkittävä
- tehdä
- TEE
- käsin
- monet
- Marketing
- ottelu
- merkitys
- Tavata
- Muisti
- Meta
- Metadata
- menetelmä
- menetelmät
- ehkä
- virstanpylväs
- miljoona
- malli
- mallit
- lisää
- Lisäksi
- paljon
- nimetty
- välttämätön
- Tarve
- Uusi
- Nro
- of
- usein
- on
- yhdet
- vain
- avoimen lähdekoodin
- avautuu
- or
- Muut
- ulos
- ääriviivat
- Voittaa
- paketit
- puolue
- Ohi
- täydellinen
- suorituskyky
- PHP
- kuva
- putki
- Platon
- Platonin tietotieto
- PlatonData
- kehno
- sijainti
- mahdollisuuksia
- mahdollinen
- voimakas
- Käytännön
- Ongelma
- prosessi
- tuottaa
- projekti
- mikäli
- tarjoaa
- julkisesti
- tarkoituksiin
- pytorch
- reaaliaikainen
- äskettäinen
- punainen
- liittyvä
- vapauta
- julkaistu
- jäljellä oleva
- säilytyspaikka
- edellyttää
- tarvitaan
- vaatimukset
- Vaatii
- tutkimus
- tutkija
- Tutkijat
- johtua
- tulokset
- Huone
- s
- sama
- Asteikko
- skaalaus
- Tiedemies
- siemenet
- jakautuminen
- setti
- useat
- shouldnt
- merkittävä
- samankaltainen
- koska
- Koko
- pienempiä
- jonkin verran
- erityinen
- nopeus
- vakaa
- standardi
- Askeleet
- vahva
- niin
- sopiva
- tuki
- taulukko
- Tehtävä
- tehtävät
- Tekninen
- kuin
- Kiitos
- että
- -
- Niitä
- Siellä.
- Nämä
- ne
- kolmas
- kolmannen osapuolen
- tätä
- ne
- aika
- että
- Yhteensä
- Juna
- koulutettu
- koulutus
- kaksi
- ymmärtäminen
- toisin kuin
- Käyttö
- käyttää
- käytetty
- käyttämällä
- käyttää
- Hyödyntämällä
- v1
- eri
- visio
- vs
- Tapa..
- we
- verkko
- HYVIN
- olivat
- joka
- tulee
- with
- ilman
- puinen
- työskenteli
- vuotta
- te
- zephyrnet