See on külalispostitus, mille kaasautori on Julian Blau, xarvio Digital Farming Solutionsi andmeteadlane; BASF Digital Farming GmbH ja Antonio Rodriguez, AWS-i AI/ML-i spetsialistlahenduste arhitekt
xarvio Digital Farming Solutions on BASF Digital Farming GmbH bränd, mis on osa BASF Agricultural Solutions divisjonist. xarvio Digital Farming Solutions pakub täppis-digitaalseid põllumajandustooteid, mis aitavad põllumeestel taimekasvatust optimeerida. Ülemaailmselt saadaval olevad xarvio tooted kasutavad masinõpet (ML), pildituvastustehnoloogiat ning täiustatud põllukultuuride ja haiguste mudeleid koos satelliitidelt ja ilmajaamaseadmetelt pärinevate andmetega, et anda täpseid ja õigeaegseid agronoomilisi soovitusi üksikute põldude vajaduste haldamiseks. xarvio tooted on kohandatud kohalikele põllumajandustingimustele, suudavad jälgida kasvuetappe ning tuvastada haigusi ja kahjureid. Need suurendavad tõhusust, säästavad aega, vähendavad riske ning pakuvad suuremat usaldusväärsust planeerimisel ja otsuste tegemisel – aidates samal ajal kaasa säästvale põllumajandusele.
Mõne kasutusjuhtumi puhul töötame erinevate georuumiliste andmetega, sealhulgas satelliitpiltidega piirkondadest, kus meie kasutajaväljad asuvad. Seetõttu kasutame ja töötleme iga päev sadu suuri pildifaile. Algselt pidime investeerima palju käsitsitööd ja vaeva, et neid andmeid sisse võtta, töödelda ja analüüsida, kasutades kolmandate osapoolte tööriistu, avatud lähtekoodiga teeke või üldotstarbelisi pilveteenuseid. Mõnel juhul võib iga konkreetse projekti jaoks torujuhtmete ehitamiseks kuluda kuni 2 kuud. Nüüd, kasutades georuumilisi võimalusi Amazon SageMaker, oleme selle aja lühendanud vaid 1–2 nädalani.
See ajasääst tuleneb georuumiliste andmete torujuhtmete automatiseerimisest, et pakkuda meie kasutusjuhtumeid tõhusamalt, ning sisseehitatud korduvkasutatavate komponentide kasutamisele samalaadsete projektide kiirendamiseks ja täiustamiseks teistes geograafilistes piirkondades, rakendades samal ajal samu tõestatud samme muuks kasutuseks. sarnaste andmete põhjal.
Selles postituses käsitleme kasutusjuhtumeid, et kirjeldada mõningaid tavaliselt kasutatavaid tehnikaid ja näidata, kuidas nende rakendamine SageMakeri georuumiliste funktsioonide abil koos teiste SageMakeri funktsioonidega annab mõõdetavat kasu. Lisame ka koodinäiteid, et saaksite neid kohandada vastavalt oma konkreetsetele kasutusjuhtudele.
Ülevaade lahendusest
Tüüpiline kaugseireprojekt uute lahenduste väljatöötamiseks nõuab optiliste satelliitide (nt. valvur or landat, koos muude andmetega, sealhulgas ilmaennustuste või konkreetsete põlluomadustega. Satelliidipildid annavad meile väärtuslikku teavet, mida kasutatakse meie digitaalsetes põllumajanduslahendustes, et aidata meie kasutajatel täita erinevaid ülesandeid.
- Haiguste varane avastamine oma põldudel
- Õige toitumise ja ravi kavandamine
- Ilmast ja veest ülevaate saamine niisutamise planeerimiseks
- Saagikuse ennustamine
- Muude põllukultuuride majandamise ülesannete täitmine
Nende eesmärkide saavutamiseks nõuavad meie analüüsid tavaliselt satelliidipiltide eeltöötlust erinevate georuumilises valdkonnas levinud tehnikatega.
SageMakeri georuumilise võimekuse demonstreerimiseks katsetasime põllumajanduspõldude tuvastamist ML segmenteerimismudelite abil. Lisaks uurisime olemasolevaid SageMakeri georuumilisi mudeleid ja oma mudeli (BYOM) funktsionaalsust georuumiliste ülesannete jaoks, nagu maakasutus ja maakatte klassifitseerimine või põllukultuuride klassifitseerimine, mis sageli nõuavad protsessi lisaetappidena panoptilisi või semantilisi segmenteerimismeetodeid.
Järgmistes jaotistes käsitleme mõningaid näiteid selle kohta, kuidas neid samme SageMakeri georuumiliste võimalustega teha. Saate neid järgida ka järgmises täielikus näidismärkmikus GitHubi hoidla.
Nagu eelnevalt mainitud, valisime maakatte klassifikatsiooni kasutusjuhtumi, mis seisneb meie maapinna teatud geograafilises piirkonnas oleva füüsilise katvuse tüübi tuvastamises, mis on korraldatud klasside komplekti, sealhulgas taimestiku, vee või lume järgi. See kõrge eraldusvõimega klassifikatsioon võimaldab meil suure täpsusega tuvastada põldude ja selle ümbruse asukoha üksikasju, mida saab hiljem aheldada muude analüüsidega, näiteks põllukultuuride klassifikatsiooni muutuste tuvastamisega.
Kliendi seadistamine
Esiteks oletame, et meil on kasutajaid, kelle põllukultuure kasvatatakse antud geograafilises piirkonnas ja mida suudame tuvastada georuumiliste koordinaatide hulknurgas. Selle postituse jaoks määratleme näitepiirkonna Saksamaal. Samuti saame määratleda teatud ajavahemiku, näiteks 2022. aasta esimestel kuudel. Vaata järgmist koodi:
Meie näites töötame SageMakeri georuumilise SDK-ga programmilise või koodiinteraktsiooni kaudu, kuna oleme huvitatud koodikonveierite ehitamisest, mida saab automatiseerida meie protsessis vajalike erinevate sammudega. Pange tähele, et saate kasutajaliidesega töötada ka SageMakeri georuumilise sisendi graafiliste laienduste kaudu Amazon SageMaker Studio kui eelistate seda lähenemist, nagu on näidatud järgmistel ekraanipiltidel. Geospatial Studio kasutajaliidese avamiseks avage SageMaker Studio Launcher ja valige Hallake georuumilisi ressursse. Üksikasju saate vaadata dokumentatsioonist aadressil Alustage Amazon SageMakeri georuumiliste võimalustega.
Siin saate graafiliselt luua, jälgida ja visualiseerida SageMakeri georuumiliste funktsioonidega käitatavate Maa vaatlustööde (EOJ) tulemusi.
Tagasi meie näite juurde, esimene samm SageMakeri georuumilise SDK-ga suhtlemiseks on kliendi seadistamine. Seda saame teha, luues seansi botocore
raamatukogu:
Sellest hetkest alates saame klienti kasutada mis tahes huvipakkuvate EOJ-de haldamiseks.
Andmete hankimine
Selle kasutusjuhtumi puhul alustame meie antud geograafilise piirkonna satelliidipiltide kogumisega. Olenevalt huvipakkuvast asukohast võivad saadaolevad satelliidid, mille kujutised on korraldatud nn. rasterkogud.
SageMakeri georuumiliste võimaluste abil on teil otsene juurdepääs kvaliteetsetele andmeallikatele, et saada otse georuumilisi andmeid, sealhulgas AWS-i andmevahetus ja AWS-i avaandmete register, teiste hulgas. SageMakeri juba pakutud rastrikogude loetlemiseks saame käivitada järgmise käsu:
See tagastab üksikasjad erinevate saadaolevate rastrikogude kohta, sealhulgas Landsat C2L2 pinna peegeldus (SR), Landsat C2L2 pinnatemperatuur (ST) või Sentinel 2A ja 2B. Mugavalt on 2A taseme kujutised juba optimeeritud pilvepõhiseks optimeeritud geoTIFF-ideks (COG). Vaadake järgmist koodi:
Võtame selle viimase näite, seades meie data_collection_arn
parameeter Sentinel 2 L2A COG-de kogule ARN.
Samuti saame otsida saadaolevatest kujutistest antud geograafilise asukoha kohta, edastades oma huvipiirkonnana (AOI) määratletud hulknurga koordinaadid. See võimaldab teil visualiseerida saadaolevaid kujutise paanid, mis katavad määratud AOI jaoks esitatud hulknurga, sealhulgas Amazoni lihtne salvestusteenus (Amazon S3) nende piltide URI-d. Pange tähele, et satelliidipilte pakutakse tavaliselt erinevalt ansamblid vastavalt vaatluse lainepikkusele; arutame seda pikemalt hiljem postituses.
Eelnev kood tagastab erinevate saadaolevate pildiplaatide S3 URI-d, mida saate otse visualiseerida mis tahes teegiga, mis ühildub GeoTIFF-idega, näiteks rasterio. Näiteks visualiseerime kahte True Color Image (TCI) paani.
Töötlemise tehnikad
Mõned levinumad eeltöötlustehnikad, mida me rakendame, hõlmavad pilve eemaldamist, geomosaiiki, ajastatistikat, ribade matemaatikat või virnastamine. Kõiki neid protsesse saab nüüd teha otse EOJ-de abil SageMakeris, ilma et oleks vaja käsitsi kodeerida või kasutada keerulisi ja kalleid kolmanda osapoole tööriistu. See muudab meie andmetöötluse torujuhtmete ehitamise 50% kiiremaks. SageMakeri georuumiliste võimaluste abil saame neid protsesse käivitada erinevate sisendtüüpide kaudu. Näiteks:
- Käivitage otse päring mis tahes teenusega kaasas oleva rastrikogu kohta läbi
RasterDataCollectionQuery
parameeter - Edastage Amazon S3-sse salvestatud kujutised sisendina läbi
DataSourceConfig
parameeter - Lihtsalt aheldage eelmise EOJ tulemused läbi
PreviousEarthObservationJobArn
parameeter
See paindlikkus võimaldab teil luua mis tahes vajaliku töötlemistorustiku.
Järgmine diagramm illustreerib protsesse, mida meie näites käsitleme.
Meie näites kasutame sisendina rasterandmete kogumise päringut, mille jaoks edastame oma AOI koordinaadid ja huvipakkuva ajavahemiku. Samuti määrame maksimaalse pilvekatte protsendi 2%, sest soovime oma geograafilise piirkonna selgeid ja müravabasid vaatlusi. Vaadake järgmist koodi:
Toetatud päringu süntaksi kohta lisateabe saamiseks vaadake Looge Maa vaatlustöö.
Pilvevahe eemaldamine
Satelliidivaatlused on sageli suurema pilvekatte tõttu vähem kasulikud. Pilvelünkade täitmine ehk pilve eemaldamine on piltidelt häguste pikslite asendamise protsess, mida saab teha erinevate meetoditega, et valmistada andmed ette edasisteks töötlemisetappideks.
SageMakeri georuumiliste võimaluste abil saame selle saavutada, määrates a CloudRemovalConfig
parameeter meie töö konfiguratsioonis.
Pange tähele, et me kasutame oma näites fikseeritud väärtusega interpolatsioonialgoritmi, kuid toetatud on ka teisi konfiguratsioone, nagu on selgitatud Looge Maa vaatlustöö dokumentatsioon. Interpolatsioon võimaldab hinnata häguste pikslite asendamise väärtust, võttes arvesse ümbritsevaid piksleid.
Nüüd saame oma EOJ-d käitada oma sisendi- ja töökonfiguratsioonidega:
Selle töö tegemiseks kulub olenevalt sisestusalast ja töötlemisparameetritest mõni minut.
Kui see on valmis, salvestatakse EOJ tulemused teenusele kuuluvas kohas, kust saame tulemused eksportida Amazon S3-sse või aheldada need teise EOJ-i sisendina. Meie näites ekspordime tulemused Amazon S3-sse, käivitades järgmise koodi:
Nüüd saame visualiseerida saadud kujutisi, mis on salvestatud meie määratud Amazon S3 asukohta üksikute spektriribade jaoks. Näiteks kontrollime kahte tagastatud sinise riba kujutist.
Teise võimalusena saate EOJ tulemusi graafiliselt kontrollida, kasutades Studios saadaolevaid georuumilisi laiendusi, nagu on näidatud järgmistel ekraanipiltidel.
Ajaline statistika
Kuna satelliidid tiirlevad pidevalt ümber Maa, tehakse teatud huvipakkuva geograafilise piirkonna kujutised kindlatel ajavahemikel kindla ajalise sagedusega, näiteks iga 5 päeva või 2 nädala järel, olenevalt satelliidist. Ajastatistika protsess võimaldab meil kombineerida eri aegadel tehtud erinevaid vaatlusi, et saada koondvaade, näiteks aasta keskmine või kõigi vaatluste keskmine teatud ajavahemikus antud piirkonnas.
SageMakeri georuumiliste võimaluste abil saame seda teha, määrates TemporalStatisticsConfig
parameeter. Meie näites saame lähiinfrapuna (NIR) sagedusriba aastase keskmise koondarvu, kuna see riba võib paljastada taimestiku tiheduse erinevusi võrade ülaosa all:
Pärast mõne minuti möödumist selle konfiguratsiooniga EOJ käivitamisest saame tulemused eksportida Amazon S3-sse, et saada pilte nagu järgmistes näidetes, kus saame jälgida erinevat värvide intensiivsusega esindatud taimestiku tihedust. Pange tähele, et EOJ võib toota mitu pilti paanidena, olenevalt ajavahemiku ja määratud koordinaatide kohta saadaolevatest satelliidiandmetest.
Bändi matemaatika
Maa vaatlussatelliidid on loodud tuvastama erineva lainepikkusega valgust, millest osa on inimsilmale nähtamatu. Iga vahemik sisaldab konkreetseid valgusspektri ribasid erinevatel lainepikkustel, mis koos aritmeetikaga võivad anda pilte rikkaliku teabega välja omaduste kohta, nagu taimestiku tervis, temperatuur või pilvede olemasolu. Seda tehakse protsessis, mida tavaliselt nimetatakse ribamatemaatikaks või ribade aritmeetikaks.
SageMakeri georuumiliste võimaluste abil saame seda käivitada, määrates BandMathConfig
parameeter. Näiteks hankime niiskusindeksi kujutised, käivitades järgmise koodi:
Pärast mõne minuti möödumist selle konfiguratsiooniga EOJ käivitamisest saame tulemused eksportida ja saada pilte, nagu kaks järgmist näidet.
Virnastamine
Sarnaselt ribade matemaatikaga nimetatakse ribade kombineerimise protsessi, et saada algsetest ribadest liitkujutisi, virnastamiseks. Näiteks võime AOI tõelise värvipildi saamiseks virnastada satelliidipildi punased, sinised ja rohelised valgusribad.
SageMakeri georuumiliste võimaluste abil saame seda teha, määrates StackConfig
parameeter. Virname RGB ribad eelmise näite kohaselt järgmise käsuga:
Pärast mõne minuti möödumist selle konfiguratsiooniga EOJ-i käivitamisest saame tulemused eksportida ja pilte hankida.
Semantilise segmenteerimise mudelid
Osana oma tööst kasutame tavaliselt ML-mudeleid eeltöödeldud kujutiste põhjal järelduste tegemiseks, näiteks pilviste alade tuvastamiseks või maa tüübi klassifitseerimiseks piltide igas piirkonnas.
SageMakeri georuumiliste võimaluste abil saate seda teha, tuginedes sisseehitatud segmenteerimismudelitele.
Meie näites kasutame maakatte segmenteerimismudelit, täpsustades LandCoverSegmentationConfig
parameeter. See teeb sisseehitatud mudeli abil sisendile järeldusi, ilma et oleks vaja SageMakeris mingit infrastruktuuri koolitada või hostida:
Pärast mõne minuti möödumist selle konfiguratsiooniga töö käivitamisest saame tulemused eksportida ja pilte hankida.
Eelmistes näidetes vastab iga piltide piksel maatüübi klassile, nagu on näidatud järgmises legendis.
See võimaldab meil otse tuvastada konkreetset tüüpi alasid stseenis, nagu taimestik või vesi, pakkudes väärtuslikku teavet täiendavate analüüside jaoks.
Tooge SageMakeriga oma mudel
Kui SageMakeriga pakutavatest tipptasemel georuumilistest mudelitest meie kasutusjuhtumiks ei piisa, saame ka aheldada mis tahes seni näidatud eeltöötlusetapi tulemused mis tahes kohandatud mudeliga, mis on SageMakerisse lisatud, et teha järeldusi, nagu selgitatud. selles SageMakeri skriptirežiim näide. Saame seda teha mis tahes SageMakeris toetatud järeldusrežiimiga, sealhulgas sünkroonselt reaalajas SageMakeri lõpp-punktidega, asünkroonselt SageMakeri asünkroonsete lõpp-punktidega, pakett- või võrguühenduseta SageMakeri pakkteisendustega ja serverita SageMakeri serverita järeldustega. Lisateavet nende režiimide kohta saate vaadata Mudelite juurutamine järelduste tegemiseks dokumentatsioon. Järgmine diagramm illustreerib töövoogu kõrgel tasemel.
Oletame näiteks, et oleme maakatte klassifitseerimiseks ja põllukultuuride liigitamiseks kasutusele võtnud kaks mudelit.
Peame lihtsalt osutama oma koolitatud mudeliartefaktile, meie näites PyTorchi mudelile, mis sarnaneb järgmise koodiga:
See võimaldab teil saada saadud kujutised pärast järelduste tegemist, olenevalt kasutatavast mudelist.
Meie näites toodab mudel kohandatud maakatte segmentimise käitamisel järgmisega sarnaseid pilte, kus võrdleme sisend- ja ennustuskujutisi vastava legendiga.
.
Järgnev on veel üks näide põllukultuuride klassifitseerimismudelist, kus näitame esialgsete ja saadud panoptiliste ja semantiliste segmenteerimistulemuste võrdlust koos vastava legendiga.
Georuumiliste torustike automatiseerimine
Lõpuks saame ka eelnevaid samme automatiseerida, ehitades koos georuumilise andmetöötluse ja järelduste konveierid Amazon SageMakeri torujuhtmed. Me lihtsalt aheldame iga vajaliku eeltöötlusetapi kasutamise kaudu Lambda sammud ja Tagasihelistamise sammud torujuhtmetes. Näiteks saate lisada lõpliku järeldusetapi, kasutades teisendusetappi või otse läbi mõne muu lambda- ja tagasikutsumisastmete kombinatsiooni, et käitada EOJ-d ühe SageMakeri georuumiliste funktsioonide sisseehitatud semantilise segmenteerimismudeliga.
Pange tähele, et me kasutame konveierites lambda- ja tagasikutseetappe, kuna EOJ-d on asünkroonsed, nii et seda tüüpi toimingud võimaldavad meil jälgida töötlemistöö käiku ja jätkata konveierit, kui see on lõpetatud, sõnumite kaudu Amazoni lihtsa järjekorra teenus (Amazon SQS) järjekord.
Märkmikku saate vaadata aadressilt GitHubi hoidla selle koodi üksikasjaliku näite jaoks.
Nüüd saame Studio kaudu visualiseerida oma georuumilise torujuhtme diagrammi ja jälgida torujuhtmete käitamist, nagu on näidatud järgmisel ekraanipildil.
Järeldus
Selles postituses tutvustasime kokkuvõtet protsessidest, mida rakendasime SageMakeri georuumiliste võimalustega meie xarvio Digital Farming Solutionsi täiustatud toodete georuumiandmete torujuhtmete ehitamiseks. SageMakeri georuumilise töö kasutamine suurendas meie georuumilise töö efektiivsust enam kui 50% võrra, kuna kasutati eelseadistatud API-sid, mis kiirendavad ja lihtsustavad ML-i eeltöötlust ja modelleerimist.
Järgmise sammuna lisame oma kataloogist SageMakerisse rohkem mudeleid, et jätkata lahenduste automatiseerimist, ja jätkame teenuse arenedes SageMakeri rohkemate georuumiliste funktsioonide kasutamist.
Soovitame teil proovida SageMakeri georuumilisi võimalusi, kohandades selles postituses esitatud täielikku näidismärkmikku ja lugedes teenuse kohta lisateavet Mis on Amazon SageMakeri georuumilised võimalused?.
Autoritest
Julian Blau on Saksamaal Kölnis asuva ettevõtte BASF Digital Farming GmbH andmeteadlane. Ta töötab välja digilahendusi põllumajanduse jaoks, mis vastab BASF-i globaalse kliendibaasi vajadustele georuumiliste andmete ja masinõppe abil. Väljaspool tööd naudib ta reisimist ning sõprade ja perega väljas olemist.
Anthony Rodriguez on tehisintellekti ja masinõppe spetsialisti lahenduste arhitekt ettevõttes Amazon Web Services, mis asub Hispaanias. Ta aitab igas suuruses ettevõtetel innovatsiooni kaudu oma väljakutseid lahendada ning loob AWS-i pilve- ja AI/ML-teenustega uusi ärivõimalusi. Töö kõrvalt meeldib talle perega aega veeta ja sõpradega sportida.
- Lennundus ja satelliit
- põllumajandus
- AI
- ai kunst
- ai kunsti generaator
- on robot
- Amazon SageMaker
- tehisintellekti
- tehisintellekti sertifikaat
- tehisintellekt panganduses
- tehisintellekti robot
- tehisintellekti robotid
- tehisintellekti tarkvara
- AWS-i masinõpe
- blockchain
- plokiahela konverents ai
- juhtumiuuring
- coingenius
- vestluslik tehisintellekt
- krüptokonverents ai
- Kliendilahendused
- dall's
- sügav õpe
- Geosruumiline ML
- google ai
- masinõpe
- Platon
- plato ai
- Platoni andmete intelligentsus
- Platoni mäng
- PlatoData
- platogaming
- satelliit
- skaala ai
- Jätkusuutlikkus
- süntaks
- sephyrnet