To je gostujoča objava, ki jo je napisal Julian Blau, podatkovni znanstvenik pri xarvio Digital Farming Solutions; BASF Digital Farming GmbH in Antonio Rodriguez, specialist za rešitve AI/ML pri AWS
xarvio Digital Farming Solutions je blagovna znamka podjetja BASF Digital Farming GmbH, ki je del oddelka BASF Agricultural Solutions. xarvio Digital Farming Solutions ponuja izdelke za natančno digitalno kmetovanje, ki kmetom pomagajo optimizirati pridelavo pridelkov. Izdelki xarvio, ki so na voljo po vsem svetu, uporabljajo strojno učenje (ML), tehnologijo za prepoznavanje slik in napredne modele pridelkov in bolezni v kombinaciji s podatki iz satelitov in naprav vremenskih postaj za zagotavljanje natančnih in pravočasnih agronomskih priporočil za obvladovanje potreb posameznih polj. Izdelki xarvio so prilagojeni lokalnim pogojem kmetovanja, lahko spremljajo rastne faze ter prepoznajo bolezni in škodljivce. Povečujejo učinkovitost, prihranijo čas, zmanjšajo tveganja in zagotavljajo večjo zanesljivost pri načrtovanju in odločanju – vse to pa prispeva k trajnostnemu kmetijstvu.
Za nekatere primere uporabe delamo z različnimi geoprostorskimi podatki, vključno s satelitskimi posnetki območij, kjer se nahajajo polja naših uporabnikov. Zato dnevno uporabljamo in obdelujemo na stotine velikih slikovnih datotek. Na začetku smo morali vložiti veliko ročnega dela in truda, da smo te podatke zajeli, obdelali in analizirali z uporabo orodij tretjih oseb, odprtokodnih knjižnic ali storitev v oblaku za splošne namene. V nekaterih primerih lahko to traja do 2 meseca, da zgradimo cevovode za vsak posamezen projekt. Zdaj z uporabo geoprostorskih zmogljivosti Amazon SageMaker, smo ta čas skrajšali na samo 1–2 tedna.
Ta prihranek časa je rezultat avtomatizacije cevovodov geoprostorskih podatkov za učinkovitejšo dostavo naših primerov uporabe, skupaj z uporabo vgrajenih komponent za večkratno uporabo za pospešitev in izboljšanje podobnih projektov na drugih geografskih območjih, ob uporabi istih preverjenih korakov za drugo uporabo primerov na podlagi podobnih podatkov.
V tej objavi gremo skozi primer uporabe, da opišemo nekatere tehnike, ki jih običajno uporabljamo, in pokažemo, kako njihova implementacija z uporabo geoprostorskih funkcij SageMaker v kombinaciji z drugimi funkcijami SageMaker prinaša merljive koristi. Vključujemo tudi primere kode, da jih lahko prilagodite svojim posebnim primerom uporabe.
Pregled rešitve
Tipičen projekt daljinskega zaznavanja za razvoj novih rešitev zahteva postopno analizo posnetkov, posnetih z optičnimi sateliti, kot je npr. Sentinel or landat, v kombinaciji z drugimi podatki, vključno z vremenskimi napovedmi ali posebnimi lastnostmi polja. Satelitske slike nam zagotavljajo dragocene informacije, ki jih uporabljamo v naših rešitvah za digitalno kmetovanje, da našim uporabnikom pomagamo pri opravljanju različnih nalog:
- Zgodnje odkrivanje bolezni na svojih področjih
- Načrtovanje pravilne prehrane in zdravljenja, ki ga je treba uporabiti
- Pridobivanje vpogledov v vreme in vodo za načrtovanje namakanja
- Napovedovanje pridelka
- Opravljanje drugih nalog urejanja posevkov
Za doseganje teh ciljev naše analize običajno zahtevajo predhodno obdelavo satelitskih slik z različnimi tehnikami, ki so običajne v geoprostorski domeni.
Da bi prikazali zmogljivosti SageMaker geospatial, smo eksperimentirali z identifikacijo kmetijskih polj prek segmentacijskih modelov ML. Poleg tega smo raziskali že obstoječe geoprostorske modele SageMaker in funkcijo prinašanja lastnega modela (BYOM) pri geoprostorskih nalogah, kot je klasifikacija rabe tal in pokrovnosti tal ali klasifikacija pridelkov, ki pogosto zahtevajo tehnike panoptične ali semantične segmentacije kot dodatne korake v procesu.
V naslednjih razdelkih gremo skozi nekaj primerov, kako izvesti te korake z geoprostorskimi zmogljivostmi SageMaker. Tem lahko sledite tudi v primeru zvezka od konca do konca, ki je na voljo v nadaljevanju GitHub repozitorij.
Kot smo že omenili, smo izbrali primer uporabe klasifikacije pokrovnosti tal, ki je sestavljen iz prepoznavanja vrste fizičnega kritja, ki ga imamo na danem geografskem območju na zemeljskem površju, organiziranem v nizu razredov, vključno z vegetacijo, vodo ali snegom. Ta klasifikacija z visoko ločljivostjo nam omogoča, da z visoko natančnostjo zaznamo podrobnosti o lokaciji njiv in okolice, ki jih lahko kasneje povežemo z drugimi analizami, kot je zaznavanje sprememb pri klasifikaciji posevkov.
Nastavitev odjemalca
Najprej predpostavimo, da imamo uporabnike s pridelki, ki se gojijo na danem geografskem območju, ki jih lahko identificiramo znotraj poligona geoprostorskih koordinat. Za to objavo definiramo primer območja nad Nemčijo. Določimo lahko tudi dano časovno obdobje, na primer v prvih mesecih leta 2022. Oglejte si naslednjo kodo:
V našem primeru delamo z geoprostorskim SDK-jem SageMaker prek programske ali kodne interakcije, ker nas zanima gradnja cevovodov kode, ki jih je mogoče avtomatizirati z različnimi koraki, potrebnimi v našem procesu. Upoštevajte, da lahko z uporabniškim vmesnikom delate tudi prek grafičnih razširitev, ki jih ponuja SageMaker geospatial Amazon SageMaker Studio če imate raje ta pristop, kot je prikazano na naslednjih posnetkih zaslona. Za dostop do uporabniškega vmesnika Geospatial Studio odprite zaganjalnik SageMaker Studio in izberite Upravljajte geoprostorske vire. Več podrobnosti lahko preverite v dokumentaciji do Začnite uporabljati geoprostorske zmogljivosti Amazon SageMaker.
Tukaj lahko grafično ustvarjate, spremljate in vizualizirate rezultate opravil opazovanja Zemlje (EOJ), ki jih izvajate z geoprostorskimi funkcijami SageMaker.
Nazaj k našemu primeru, prvi korak za interakcijo z geoprostorskim SDK SageMaker je nastavitev odjemalca. To lahko storimo tako, da vzpostavimo sejo z botocore
knjižnica:
Od te točke naprej lahko odjemalca uporabljamo za izvajanje poljubnih EOJ, ki nas zanimajo.
Pridobivanje podatkov
Za ta primer uporabe začnemo z zbiranjem satelitskih posnetkov za naše dano geografsko območje. Odvisno od zanimive lokacije je lahko bolj ali manj pogosta pokritost z razpoložljivimi sateliti, katerih posnetki so organizirani tako, kot se običajno imenuje rastrske zbirke.
Z geoprostorskimi zmogljivostmi SageMaker imate neposreden dostop do visokokakovostnih virov podatkov za neposredno pridobivanje geoprostorskih podatkov, vključno s tistimi iz Izmenjava podatkov AWS in Register odprtih podatkov na AWS, med ostalimi. Zaženemo lahko naslednji ukaz za seznam rastrskih zbirk, ki jih je že zagotovil SageMaker:
To vrne podrobnosti za različne zbirke rastrov, ki so na voljo, vključno z Landsat C2L2 Surface Reflectance (SR), Landsat C2L2 Surface Temperature (ST) ali Sentinel 2A & 2B. Priročno je, da so posnetki ravni 2A že optimizirani v GeoTIFF-je, optimizirane za oblak (COG). Oglejte si naslednjo kodo:
Vzemimo to zadnjo za naš primer, tako da nastavimo našo data_collection_arn
v zbirko ARN Sentinel 2 L2A COG.
Prav tako lahko iščemo po razpoložljivih posnetkih za določeno geografsko lokacijo tako, da posredujemo koordinate poligona, ki smo ga definirali kot naše interesno območje (AOI). To vam omogoča vizualizacijo razpoložljivih slikovnih ploščic, ki pokrivajo mnogokotnik, ki ga predložite za navedeni AOI, vključno z Preprosta storitev shranjevanja Amazon (Amazon S3) URI-ji za te slike. Upoštevajte, da so satelitski posnetki običajno na voljo v različnih trakovi glede na valovno dolžino opazovanja; o tem bomo več razpravljali kasneje v objavi.
Prejšnja koda vrne URI-je S3 za različne razpoložljive slikovne ploščice, ki jih lahko neposredno vizualizirate s katero koli knjižnico, združljivo z GeoTIFF-ji, kot je npr. rasterio. Na primer, vizualizirajmo dve ploščici True Color Image (TCI).
Tehnike obdelave
Nekatere najpogostejše tehnike predprocesiranja, ki jih uporabljamo, vključujejo odstranjevanje oblakov, geografski mozaik, časovno statistiko, pasovno matematiko ali zlaganje. Vse te procese je zdaj mogoče izvesti neposredno z uporabo EOJ-jev v SageMakerju, brez potrebe po ročnem kodiranju ali uporabi zapletenih in dragih orodij tretjih oseb. Zaradi tega je izgradnja naših cevovodov za obdelavo podatkov 50 % hitrejša. Z geoprostorskimi zmogljivostmi SageMaker lahko izvajamo te procese v različnih vrstah vnosa. Na primer:
- Neposredno zaženite poizvedbo za katero koli rastrsko zbirko, vključeno v storitev, prek
RasterDataCollectionQuery
parameter - Prenesite slike, shranjene v Amazon S3, kot vhod skozi
DataSourceConfig
parameter - Preprosto verižite rezultate prejšnjega EOJ skozi
PreviousEarthObservationJobArn
parameter
Ta prilagodljivost vam omogoča, da zgradite kakršen koli cevovod za obdelavo, ki ga potrebujete.
Naslednji diagram prikazuje procese, ki jih pokrivamo v našem primeru.
V našem primeru kot vhod uporabimo poizvedbo za zbiranje rastrskih podatkov, za katero posredujemo koordinate našega AOI in časovni razpon, ki nas zanima. Določimo tudi odstotek največje pokritosti z oblaki v višini 2%, ker želimo jasna opazovanja našega geografskega območja brez šumov. Oglejte si naslednjo kodo:
Za več informacij o podprti sintaksi poizvedbe glejte Ustvarite službo za opazovanje Zemlje.
Odstranitev vrzeli v oblaku
Satelitska opazovanja so pogosto manj uporabna zaradi velike pokritosti z oblaki. Polnjenje vrzeli v oblaku ali odstranjevanje oblaka je postopek zamenjave motnih slikovnih pik s slik, ki ga je mogoče izvesti z različnimi metodami za pripravo podatkov za nadaljnje korake obdelave.
Z geoprostorskimi zmogljivostmi SageMaker lahko to dosežemo tako, da določimo a CloudRemovalConfig
parameter v konfiguraciji našega opravila.
Upoštevajte, da v našem primeru uporabljamo interpolacijski algoritem s fiksno vrednostjo, vendar so podprte tudi druge konfiguracije, kot je razloženo v Ustvarite službo za opazovanje Zemlje dokumentacijo. Interpolacija mu omogoča, da oceni vrednost za zamenjavo motnih slikovnih pik z upoštevanjem okoliških slikovnih pik.
Zdaj lahko izvajamo naš EOJ z našimi konfiguracijami vnosa in opravil:
To opravilo traja nekaj minut, odvisno od vnosnega območja in parametrov obdelave.
Ko je dokončan, so rezultati EOJ shranjeni na lokaciji v lasti storitve, od koder lahko rezultate izvozimo v Amazon S3 ali jih verižimo kot vhod za drug EOJ. V našem primeru izvozimo rezultate v Amazon S3 z zagonom naslednje kode:
Zdaj lahko vizualiziramo nastale slike, shranjene na naši določeni lokaciji Amazon S3 za posamezne spektralne pasove. Na primer, preglejmo dve vrnjeni sliki modrega pasu.
Druga možnost je, da rezultate EOJ preverite tudi grafično z uporabo geoprostorskih razširitev, ki so na voljo v Studiu, kot je prikazano na naslednjih posnetkih zaslona.
Časovna statistika
Ker sateliti nenehno krožijo okoli Zemlje, se slike za določeno geografsko območje, ki nas zanima, posnamejo v določenih časovnih okvirih z določeno časovno frekvenco, na primer dnevno, vsakih 5 dni ali 2 tedna, odvisno od satelita. Proces časovne statistike nam omogoča, da združimo različna opazovanja, opravljena ob različnih časih, da ustvarimo agregiran pogled, kot je letno povprečje ali povprečje vseh opazovanj v določenem časovnem obdobju za dano območje.
Z geoprostorskimi zmogljivostmi SageMaker lahko to storimo tako, da nastavimo TemporalStatisticsConfig
parameter. V našem primeru dobimo letno povprečno agregacijo za pas bližnjega infrardečega sevanja (NIR), ker lahko ta pas razkrije razlike v gostoti vegetacije pod vrhom krošenj:
Po nekaj minutah izvajanja EOJ s to konfiguracijo lahko izvozimo rezultate v Amazon S3, da pridobimo slike, kot so naslednji primeri, na katerih lahko opazujemo različne gostote vegetacije, predstavljene z različnimi intenzivnostmi barv. Upoštevajte, da lahko EOJ ustvari več slik kot ploščic, odvisno od satelitskih podatkov, ki so na voljo za določeno časovno obdobje in koordinate.
Pasovna matematika
Sateliti za opazovanje Zemlje so zasnovani za zaznavanje svetlobe različnih valovnih dolžin, od katerih so nekatere človeškemu očesu nevidne. Vsak obseg vsebuje posebne pasove svetlobnega spektra pri različnih valovnih dolžinah, ki lahko v kombinaciji z aritmetiko ustvarijo slike z bogatimi informacijami o značilnostih polja, kot so zdravje vegetacije, temperatura ali prisotnost oblakov, med mnogimi drugimi. To se izvaja v procesu, ki se običajno imenuje pasovna matematika ali pasovna aritmetika.
Z geoprostorskimi zmogljivostmi SageMaker lahko to zaženemo tako, da nastavimo BandMathConfig
parameter. Na primer, pridobimo slike indeksa vlage z zagonom naslednje kode:
Po nekaj minutah izvajanja EOJ s to konfiguracijo lahko izvozimo rezultate in pridobimo slike, kot sta naslednja dva primera.
Zlaganje
Podobno kot pri pasovni matematiki se postopek združevanja pasov skupaj za ustvarjanje sestavljenih slik iz izvirnih pasov imenuje zlaganje. Na primer, lahko zložimo rdeče, modre in zelene svetlobne pasove satelitske slike, da ustvarimo pravo barvno sliko AOI.
Z geoprostorskimi zmogljivostmi SageMaker lahko to storimo tako, da nastavimo StackConfig
parameter. Zložimo pasove RGB kot v prejšnjem primeru z naslednjim ukazom:
Po nekaj minutah izvajanja EOJ s to konfiguracijo lahko izvozimo rezultate in pridobimo slike.
Semantični modeli segmentacije
Kot del našega dela običajno uporabljamo modele ML za izvajanje sklepov nad predhodno obdelanimi posnetki, kot je zaznavanje oblačnih območij ali razvrščanje vrste zemlje na vsakem območju slik.
Z geoprostorskimi zmogljivostmi SageMaker lahko to storite tako, da se zanesete na vgrajene modele segmentacije.
Za naš primer uporabimo model segmentacije pokrovnosti zemlje tako, da določimo LandCoverSegmentationConfig
parameter. To izvede sklepanje o vhodu z uporabo vgrajenega modela, ne da bi bilo treba usposobiti ali gostiti kakršno koli infrastrukturo v SageMakerju:
Po nekaj minutah izvajanja opravila s to konfiguracijo lahko izvozimo rezultate in pridobimo slike.
V prejšnjih primerih vsaka slikovna pika na slikah ustreza razredu vrste zemljišča, kot je prikazano v naslednji legendi.
To nam omogoča neposredno identifikacijo specifičnih vrst območij na prizorišču, kot sta vegetacija ali voda, kar zagotavlja dragocene vpoglede za dodatne analize.
Prinesite svoj model s SageMakerjem
Če najsodobnejši geoprostorski modeli, ki jih nudi SageMaker, ne zadoščajo za naš primer uporabe, lahko rezultate katerega koli koraka predprocesiranja, prikazanega do sedaj, tudi verižimo s katerim koli modelom po meri, vgrajenim v SageMaker za sklepanje, kot je razloženo v tem Skriptni način SageMaker primer. To lahko storimo s katerim koli od načinov sklepanja, ki jih podpira SageMaker, vključno s sinhronim s končnimi točkami SageMaker v realnem času, asinhronim z asinhronimi končnimi točkami SageMaker, paketnim ali brez povezave s paketnimi transformacijami SageMaker in brezstrežniškim z brezstrežniškim sklepanjem SageMaker. Dodatne podrobnosti o teh načinih lahko preverite v Razmestite modele za sklepanje dokumentacijo. Naslednji diagram prikazuje potek dela na visoki ravni.
Za naš primer predpostavimo, da imamo vgrajena dva modela za izvedbo klasifikacije pokrovnosti tal in klasifikacije vrste pridelkov.
Samo pokazati moramo na artefakt našega usposobljenega modela, v našem primeru model PyTorch, podoben naslednji kodi:
To vam omogoča, da po sklepanju pridobite nastale slike, odvisno od modela, ki ga uporabljate.
V našem primeru pri izvajanju segmentacije pokrovnosti po meri model ustvari slike, podobne naslednjim, kjer primerjamo vhodne in predvidene slike z ustrezno legendo.
.
Sledi še en primer modela klasifikacije posevkov, kjer prikazujemo primerjavo prvotnih in rezultatov panoptične in semantične segmentacije z ustrezno legendo.
Avtomatizacija geoprostorskih cevovodov
Nazadnje lahko tudi avtomatiziramo prejšnje korake z izgradnjo cevovodov za obdelavo geoprostorskih podatkov in sklepanja Amazonski cevovodi SageMaker. Vsak korak predhodne obdelave, ki je potreben, preprosto povežemo z uporabo Lambda koraki in Koraki povratnega klica v cevovodih. Dodate lahko na primer tudi končni korak sklepanja z uporabo koraka transformacije ali neposredno prek druge kombinacije korakov lambda in korakov povratnega klica za izvajanje EOJ z enim od vgrajenih modelov semantične segmentacije v geoprostorskih funkcijah SageMaker.
Upoštevajte, da uporabljamo lambda korake in korake povratnega klica v cevovodih, ker so EOJ-ji asinhroni, zato nam ta vrsta koraka omogoča spremljanje izvajanja opravila obdelave in nadaljevanje cevovoda, ko je dokončan, prek sporočil v Storitev Amazon Simple Queue Service Čakalna vrsta (Amazon SQS).
Beležnico lahko preverite v GitHub repozitorij za podroben primer te kode.
Zdaj lahko vizualiziramo diagram našega geoprostorskega cevovoda prek programa Studio in spremljamo poteke v cevovodih, kot je prikazano na naslednjem posnetku zaslona.
zaključek
V tej objavi smo predstavili povzetek procesov, ki smo jih implementirali z geoprostorskimi zmogljivostmi SageMaker za gradnjo cevovodov geoprostorskih podatkov za naše napredne izdelke xarvio Digital Farming Solutions. Uporaba SageMaker geospatial je povečala učinkovitost našega geoprostorskega dela za več kot 50 % z uporabo vnaprej izdelanih API-jev, ki pospešijo in poenostavijo naše korake predprocesiranja in modeliranja za ML.
Kot naslednji korak dodajamo več modelov iz našega kataloga v SageMaker, da nadaljujemo z avtomatizacijo naših cevovodov rešitev, in bomo še naprej uporabljali več geoprostorskih funkcij SageMaker, ko se bo storitev razvijala.
Spodbujamo vas, da preizkusite geoprostorske zmogljivosti SageMaker tako, da prilagodite vzorčni prenosnik od konca do konca, ki je na voljo v tej objavi, in izveste več o storitvi v Kaj so geoprostorske zmogljivosti Amazon SageMaker?.
O avtorjih
Julijan Blau je podatkovni znanstvenik pri BASF Digital Farming GmbH s sedežem v Kölnu v Nemčiji. Razvija digitalne rešitve za kmetijstvo, pri čemer obravnava potrebe BASF-ove globalne baze strank z uporabo geoprostorskih podatkov in strojnega učenja. Zunaj dela uživa v potovanjih in bivanju na prostem s prijatelji in družino.
Anthony Rodriguez je strokovnjak za rešitve za umetno inteligenco in strojno učenje v Amazon Web Services s sedežem v Španiji. Podjetjem vseh velikosti pomaga pri reševanju izzivov z inovacijami in ustvarja nove poslovne priložnosti s storitvami AWS Cloud in AI/ML. Poleg službe rad preživlja čas z družino in se s prijatelji ukvarja s športom.
- Aerospace & Satellite
- Kmetijstvo
- AI
- ai art
- ai art generator
- imajo robota
- Amazon SageMaker
- Umetna inteligenca
- certificiranje umetne inteligence
- umetna inteligenca v bančništvu
- robot z umetno inteligenco
- roboti z umetno inteligenco
- programska oprema za umetno inteligenco
- Strojno učenje AWS
- blockchain
- blockchain konferenca ai
- diplomsko delo
- coingenius
- pogovorna umetna inteligenca
- kripto konferenca ai
- Rešitve za stranke
- dall's
- globoko učenje
- Geoprostorski ML
- strojno učenje
- platon
- platon ai
- Platonova podatkovna inteligenca
- Igra Platon
- PlatoData
- platogaming
- satelit
- lestvica ai
- Trajnostni razvoj
- sintaksa
- zefirnet