Ez egy vendégbejegyzés, amelyet Julian Blau, a xarvio Digital Farming Solutions adattudósa írt; a BASF Digital Farming GmbH és Antonio Rodriguez, az AWS AI/ML megoldások specialistája
xarvio A Digital Farming Solutions a BASF Digital Farming GmbH márkaneve, amely a BASF Agricultural Solutions divíziójának része. xarvio A Digital Farming Solutions precíziós digitális gazdálkodási termékeket kínál a gazdálkodóknak a növénytermesztés optimalizálásához. A világszerte elérhető xarvio termékek gépi tanulást (ML), képfelismerő technológiát és fejlett termény- és betegségmodelleket használnak, a műholdakról és az időjárási állomásokról származó adatokkal kombinálva, hogy pontos és időszerű agronómiai ajánlásokat adjanak az egyes táblák igényeinek kezelésére. A xarvio termékeket a helyi gazdálkodási körülményekhez szabták, nyomon követhetik a növekedési szakaszokat, valamint felismerhetik a betegségeket és a kártevőket. Növelik a hatékonyságot, időt takarítanak meg, csökkentik a kockázatokat, és nagyobb megbízhatóságot biztosítanak a tervezéshez és a döntéshozatalhoz – miközben hozzájárulnak a fenntartható mezőgazdasághoz.
Egyes felhasználási eseteinkhez különböző térinformatikai adatokkal dolgozunk, beleértve azon területek műholdképeit is, ahol felhasználóink mezői találhatók. Ezért naponta több száz nagy képfájlt használunk és dolgozunk fel. Kezdetben sok manuális munkát és erőfeszítést kellett befektetnünk ahhoz, hogy ezeket az adatokat harmadik féltől származó eszközök, nyílt forráskódú könyvtárak vagy általános célú felhőszolgáltatások segítségével feldolgozzuk és elemezzük. Egyes esetekben ez akár 2 hónapot is igénybe vehet, amíg megépítjük a csővezetékeket az egyes projektekhez. Most, kihasználva a térinformatikai képességeket Amazon SageMaker, ezt az időt mindössze 1-2 hétre csökkentettük.
Ez az időmegtakarítás a térinformatikai adatfolyamok automatizálásának az eredménye, hogy hatékonyabban teljesítsük felhasználási eseteinket, valamint beépített újrafelhasználható komponenseket használunk a hasonló projektek felgyorsítására és javítására más földrajzi területeken, miközben ugyanazokat a bevált lépéseket alkalmazzuk más felhasználásra is. esetek hasonló adatok alapján.
Ebben a bejegyzésben egy példahasználati esetet mutatunk be az általunk általánosan használt technikák leírására, és bemutatjuk, hogy ezeknek a SageMaker térinformatikai funkciókkal és más SageMaker funkcióival kombinált megvalósítása milyen mérhető előnyökkel jár. Kódpéldákat is mellékelünk, így ezeket a saját konkrét használati eseteihez igazíthatja.
A megoldás áttekintése
Egy tipikus távérzékelési projekt új megoldások kifejlesztésére az optikai műholdak által készített felvételek lépésről lépésre történő elemzését igényli, mint pl. Őrszem or landat, más adatokkal kombinálva, beleértve az időjárás-előrejelzéseket vagy az adott terepi tulajdonságokat. A műholdképek értékes információkkal szolgálnak számunkra, amelyeket digitális gazdálkodási megoldásainkban használunk, hogy segítsenek felhasználóinknak különböző feladatok elvégzésében:
- A betegségek korai felismerése a területükön
- A megfelelő táplálkozás és az alkalmazandó kezelések tervezése
- Betekintést nyerhet az időjárásba és a vízbe az öntözés tervezéséhez
- Terméshozam előrejelzése
- Egyéb növénygazdálkodási feladatok ellátása
E célok elérése érdekében elemzéseink jellemzően a műholdképek előfeldolgozását igénylik különböző, a térinformatikai területen elterjedt technikákkal.
A SageMaker térinformatikai képességeinek bemutatására kísérletet tettünk a mezőgazdasági területek azonosításával ML szegmentációs modelleken keresztül. Ezenkívül megvizsgáltuk a már létező SageMaker térinformatikai modelleket és a saját modell (BYOM) funkciót olyan térinformatikai feladatokhoz, mint a földhasználat és a talajborítás osztályozása vagy a termésbesorolás, amelyek gyakran panoptikus vagy szemantikai szegmentálási technikákat igényelnek a folyamat további lépéseiként.
A következő szakaszokban néhány példát mutatunk be ezeknek a lépéseknek a SageMaker térinformatikai képességekkel való végrehajtására. Ezeket a következőkben elérhető végpontok közötti példajegyzetfüzetben is követheti GitHub tárház.
Amint azt korábban említettük, a talajborítási besorolás használati esetét választottuk, amely a földfelszínen egy adott földrajzi területen meglévő fizikai lefedettség típusának azonosításából áll, olyan osztályokba rendezve, mint a növényzet, a víz vagy a hó. Ez a nagy felbontású osztályozás lehetővé teszi, hogy nagy pontossággal detektáljuk a táblák elhelyezkedésének és környezetének részleteit, amelyeket később más elemzésekkel, például a termésbesorolás változás-detektálásával láncolhatunk.
Kliens beállítása
Először is tegyük fel, hogy vannak olyan felhasználók, akiket egy adott földrajzi területen termesztenek, és akiket földrajzi koordináták sokszögén belül tudunk azonosítani. Ehhez a bejegyzéshez egy példaterületet határozunk meg Németország felett. Adott időtartományt is meghatározhatunk, például 2022 első hónapjaiban. Lásd a következő kódot:
Példánkban a SageMaker térinformatikai SDK-val dolgozunk programozott vagy kódinterakción keresztül, mert olyan kódfolyamatok építése érdekel bennünket, amelyek automatizálhatók a folyamatunkban szükséges különböző lépésekkel. Vegye figyelembe, hogy a felhasználói felülettel a SageMaker térinformatikai bemenethez biztosított grafikus kiterjesztéseken keresztül is dolgozhat Amazon SageMaker Studio ha ezt a megközelítést részesíti előnyben, ahogy a következő képernyőképeken is látható. A Geospatial Studio felhasználói felületének eléréséhez nyissa meg a SageMaker Studio Launchert, és válassza a lehetőséget Térinformatikai erőforrások kezelése. További részleteket a dokumentációban találhat Kezdje el az Amazon SageMaker térinformatikai képességeit.
Itt grafikusan létrehozhatja, figyelemmel kísérheti és megjelenítheti a SageMaker térinformatikai szolgáltatásaival futtatott Föld-megfigyelési feladatok (EOJ) eredményeit.
Vissza a példánkhoz, a SageMaker térinformatikai SDK-val való interakció első lépése az ügyfél beállítása. Ezt úgy tehetjük meg, hogy létrehozunk egy munkamenetet a botocore
könyvtár:
Ettől kezdve az ügyfelet bármilyen érdeklődésre számot tartó EOJ futtatására használhatjuk.
Adatok beszerzése
Ebben a felhasználási esetben először műholdképeket gyűjtünk az adott földrajzi területünkről. Az érdeklődési helytől függően előfordulhat, hogy a rendelkezésre álló műholdak gyakrabban vagy ritkábban lefednek, amelyek képei általában az ún. raszteres gyűjtemények.
A SageMaker térinformatikai képességeivel közvetlen hozzáférése van kiváló minőségű adatforrásokhoz a térinformatikai adatok közvetlen megszerzéséhez, beleértve a AWS adatcsere és a Nyílt adatok nyilvántartása az AWS-en, többek között. A következő parancsot futtathatjuk a SageMaker által már biztosított rasztergyűjtemények listázásához:
Ez visszaadja a rendelkezésre álló különböző rasztergyűjtemények részleteit, beleértve a Landsat C2L2 Surface Reflectance (SR), a Landsat C2L2 Surface Temperature (ST) vagy a Sentinel 2A & 2B. Kényelmes, hogy a 2A szintű képek már Cloud-Optimized GeoTIFF-ekké (COG) vannak optimalizálva. Lásd a következő kódot:
Vegyük ezt az utóbbit példának, és állítjuk be a mi data_collection_arn
paramétert a Sentinel 2 L2A COG-k ARN gyűjteményéhez.
Egy adott földrajzi helyhez tartozó képek között is kereshetünk egy általunk érdeklődési területünkként (AOI) meghatározott sokszög koordinátáinak átadásával. Ez lehetővé teszi a rendelkezésre álló képcsempék megjelenítését, amelyek lefedik a megadott AOI-hoz benyújtott sokszöget, beleértve a Amazon egyszerű tárolási szolgáltatás (Amazon S3) URI-k ezekhez a képekhez. Ne feledje, hogy a műholdképek általában eltérő módon állnak rendelkezésre sávok a megfigyelés hullámhossza szerint; erről bővebben a bejegyzés későbbi részében fogunk beszélni.
Az előző kód visszaadja az S3 URI-kat a különböző elérhető képcsempékhez, amelyeket közvetlenül megjeleníthet bármely GeoTIFF-kompatibilis könyvtárral, mint pl. rasterio. Vizualizáljunk például kettőt a True Color Image (TCI) csempék közül.
Feldolgozási technikák
Az általunk alkalmazott legáltalánosabb előfeldolgozási technikák közé tartozik a felhő eltávolítása, a geomozaik, az időbeli statisztikák, a sáv matematika vagy a halmozás. Mindezek a folyamatok mostantól közvetlenül végrehajthatók a SageMaker EOJ-jainak használatával, anélkül, hogy manuális kódolást kellene végrehajtani, vagy bonyolult és drága harmadik féltől származó eszközöket kellene használni. Ez 50%-kal gyorsabbá teszi az adatfeldolgozási folyamatok felépítését. A SageMaker térinformatikai képességeivel ezeket a folyamatokat különböző bemeneti típusokon futtathatjuk. Például:
- Futtasson közvetlenül lekérdezést a szolgáltatáshoz tartozó rasztergyűjtemények bármelyikéhez a következőn keresztül
RasterDataCollectionQuery
paraméter - Adja át az Amazon S3-ban tárolt képeket bemenetként a
DataSourceConfig
paraméter - Egyszerűen láncolja egy korábbi EOJ eredményeit a következőn keresztül
PreviousEarthObservationJobArn
paraméter
Ez a rugalmasság lehetővé teszi bármilyen feldolgozási folyamat létrehozását, amire szüksége van.
A következő diagram a példánkban bemutatott folyamatokat szemlélteti.
Példánkban raszteres adatgyűjtési lekérdezést használunk bemenetként, amelyhez átadjuk az AOI koordinátáit és az érdeklődési időtartományt. A maximális felhőborítottság százalékát is megadjuk 2%-ban, mert tiszta és zajmentes megfigyelést szeretnénk a földrajzi területünkről. Lásd a következő kódot:
A támogatott lekérdezés szintaxisával kapcsolatos további információkért lásd: Hozzon létre egy Föld-megfigyelési munkát.
Felhőrés eltávolítása
A műholdas megfigyelések gyakran kevésbé hasznosak a magas felhőfedettség miatt. A felhőrés kitöltése vagy a felhő eltávolítása a képek felhős képpontjainak cseréje, amely különböző módszerekkel készíthető elő az adatok további feldolgozási lépésekre történő előkészítésére.
A SageMaker térinformatikai képességeivel ezt úgy érhetjük el, hogy megadjuk a CloudRemovalConfig
paramétert a munkánk konfigurációjában.
Vegye figyelembe, hogy a példánkban rögzített értékű interpolációs algoritmust használunk, de más konfigurációk is támogatottak, amint azt a Hozzon létre egy Föld-megfigyelési munkát dokumentáció. Az interpoláció lehetővé teszi, hogy a környező képpontok figyelembevételével megbecsülje a felhős pixelek helyettesítésének értékét.
Most már futtathatjuk az EOJ-t a bemeneti és feladatkonfigurációinkkal:
Ez a feladat a beviteli területtől és a feldolgozási paraméterektől függően néhány percet vesz igénybe.
Amikor elkészült, az EOJ eredményeit egy szolgáltatás tulajdonában lévő helyen tároljuk, ahonnan exportálhatjuk az eredményeket az Amazon S3-ba, vagy láncolhatjuk őket bemenetként egy másik EOJ-hoz. Példánkban a következő kód futtatásával exportáljuk az eredményeket az Amazon S3-ba:
Most már képesek vagyunk megjeleníteni az eredményül kapott képeket, amelyeket a megadott Amazon S3 helyünkön tárolunk az egyes spektrális sávokhoz. Például vizsgáljunk meg kettőt a visszaküldött kék sáv képei közül.
Alternatív megoldásként az EOJ eredményeit grafikusan is ellenőrizheti a Studio-ban elérhető térinformatikai bővítmények használatával, amint az a következő képernyőképeken látható.
Időbeli statisztikák
Mivel a műholdak folyamatosan keringenek a Föld körül, egy adott földrajzi érdeklődésre számot tartó terület felvételei meghatározott időkeretekben, meghatározott időbeli gyakorisággal készülnek, például naponta, 5 naponta vagy 2 hetente, műholdtól függően. Az időbeli statisztikai eljárás lehetővé teszi, hogy a különböző időpontokban végzett különböző megfigyeléseket kombináljuk, hogy aggregált képet kapjunk, például éves átlagot, vagy egy adott időtartományban az összes megfigyelés átlagát az adott területen.
A SageMaker térinformatikai képességeivel ezt úgy tehetjük meg, hogy beállítjuk a TemporalStatisticsConfig
paraméter. Példánkban megkapjuk a közeli infravörös (NIR) sáv éves átlagos aggregációját, mivel ez a sáv a lombkoronák teteje alatti vegetációsűrűség-különbségeket képes feltárni:
Miután néhány perccel lefuttattuk az EOJ-t ezzel a konfigurációval, exportálhatjuk az eredményeket az Amazon S3-ba, hogy a következő példákhoz hasonló képeket kapjunk, amelyekben megfigyelhetjük a különböző színintenzitással ábrázolt különböző vegetációsűrűségeket. Vegye figyelembe, hogy az EOJ több képet is képes előállítani csempeként, a megadott időtartományban és koordinátákban rendelkezésre álló műholdadatoktól függően.
Band matematika
A földmegfigyelő műholdakat úgy tervezték, hogy érzékeljék a különböző hullámhosszúságú fényeket, amelyek közül néhány az emberi szem számára láthatatlan. Mindegyik tartomány a fényspektrum meghatározott sávjait tartalmazza különböző hullámhosszokon, amelyek az aritmetikával kombinálva gazdag információkat tartalmazó képeket hozhatnak létre a mező jellemzőiről, például a növényzet egészségéről, a hőmérsékletről vagy a felhők jelenlétéről, sok egyéb mellett. Ezt egy olyan folyamatban hajtják végre, amelyet általában sávmatematikának vagy sávaritmetikának neveznek.
A SageMaker térinformatikai képességeivel ezt úgy tudjuk futtatni, hogy beállítjuk a BandMathConfig
paraméter. Például szerezzük be a nedvességindex képeket a következő kód futtatásával:
Néhány perc múlva egy EOJ-t futtatunk ezzel a konfigurációval, exportálhatjuk az eredményeket, és képeket kaphatunk, mint például a következő két példa.
Egymásra rakható
A sáv matematikához hasonlóan a sávok kombinálásának folyamatát, hogy az eredeti sávokból összetett képeket állítsanak elő, halmozásnak nevezzük. Például egymásra rakhatjuk egy műholdkép vörös, kék és zöld fénysávját, hogy az AOI valódi színes képét állítsuk elő.
A SageMaker térinformatikai képességeivel ezt úgy tehetjük meg, hogy beállítjuk a StackConfig
paraméter. Rakjuk egymásra az RGB sávokat az előző példa szerint a következő paranccsal:
Néhány perc múlva egy EOJ-t futtatunk ezzel a konfigurációval, exportálhatjuk az eredményeket, és képeket kaphatunk.
Szemantikus szegmentációs modellek
Munkánk részeként gyakran használunk ML-modelleket arra, hogy következtetéseket lehessen levonni az előfeldolgozott képekre, például felhős területek észlelésére vagy a képek egyes területein a föld típusának osztályozására.
A SageMaker térinformatikai képességeivel ezt a beépített szegmentációs modellekre támaszkodva teheti meg.
Példánkban használjuk a földborítási szegmentációs modellt a LandCoverSegmentationConfig
paraméter. Ez a beépített modell segítségével következtetéseket von le a bemenetre, anélkül, hogy bármilyen infrastruktúrát kellene betanítani vagy hosztolni kellene a SageMakerben:
Néhány perc múlva egy feladat futtatása ezzel a konfigurációval, exportálhatjuk az eredményeket, és képeket kaphatunk.
Az előző példákban a képek minden pixele egy földtípus-osztálynak felel meg, amint azt a következő jelmagyarázat mutatja.
Ez lehetővé teszi számunkra, hogy közvetlenül azonosítsuk a jelenet bizonyos típusait, például a növényzetet vagy a vizet, értékes betekintést nyújtva a további elemzésekhez.
Hozd el saját modelledet a SageMakerrel
Ha a SageMakerrel biztosított legkorszerűbb térinformatikai modellek nem elegendőek a mi felhasználási esetünkhöz, az eddig bemutatott előfeldolgozási lépések bármelyikének eredményeit leláncolhatjuk bármely, a SageMakerbe beépített egyéni modellel következtetés céljából, amint azt kifejtettük. ebben SageMaker Script mód példa. Ezt a SageMaker által támogatott bármely következtetési móddal megtehetjük, beleértve a valós idejű SageMaker végpontokkal szinkront, a SageMaker aszinkron végpontjaival aszinkront, a kötegelt vagy offline SageMaker kötegelt átalakításokat és a szerver nélkülit a SageMaker szerver nélküli következtetéssel. Ezekről a módokról további részleteket a Következtetési modellek telepítése dokumentáció. A következő diagram a munkafolyamatot mutatja be magas szinten.
Példánkban tegyük fel, hogy beépítettünk két modellt a talajtakaró osztályozás és a növényfajták osztályozásának elvégzésére.
Csak rá kell mutatnunk a betanított modellműtermékre, példánkban egy PyTorch-modellre, amely hasonló a következő kódhoz:
Ez lehetővé teszi az eredményül kapott képek lekérését a következtetések után, a használt modelltől függően.
Példánkban egyéni földborítási szegmentáció futtatásakor a modell az alábbiakhoz hasonló képeket készít, ahol a bemeneti és előrejelzési képeket összehasonlítjuk a megfelelő jelmagyarázattal.
.
Az alábbiakban egy másik példa egy terményosztályozási modellre, ahol az eredeti és az eredményül kapott panoptikus és szemantikus szegmentálási eredmények összehasonlítását mutatjuk be a megfelelő jelmagyarázattal.
Térinformatikai csővezetékek automatizálása
Végül az előző lépéseket is automatizálhatjuk térinformatikai adatfeldolgozási és következtetési folyamatok építésével Amazon SageMaker csővezetékek. Minden szükséges előfeldolgozási lépést egyszerűen láncolunk a használatán keresztül Lambda lépések és a Visszahívás lépései a Pipelinesben. Például hozzáadhat egy végső következtetési lépést egy átalakítási lépéssel, vagy közvetlenül a lambda lépések és a visszahívási lépések egy másik kombinációjával, hogy EOJ-t futtasson a SageMaker térinformatikai jellemzőinek egyik beépített szemantikai szegmentációs modelljével.
Ne feledje, hogy a Lambda lépéseket és a visszahívási lépéseket használjuk a folyamatokban, mivel az EOJ-k aszinkronok, így ez a fajta lépés lehetővé teszi számunkra a feldolgozási feladat futásának figyelését, és a folyamat folytatását, amikor az befejeződött egy üzenetben. Amazon Simple Queue Service (Amazon SQS) sor.
A jegyzetfüzetet a GitHub tárház a kód részletes példájához.
Most megjeleníthetjük térinformatikai folyamatunk diagramját a Studio segítségével, és figyelemmel kísérhetjük a folyamatokat a Pipelinesben, amint az a következő képernyőképen látható.
Következtetés
Ebben a bejegyzésben összefoglaltuk azokat a folyamatokat, amelyeket a SageMaker térinformatikai képességekkel valósítottunk meg az xarvio Digital Farming Solutions fejlett termékeink térinformatikai adatfolyamainak kiépítéséhez. A SageMaker geospatial használata több mint 50%-kal növelte térinformatikai munkánk hatékonyságát az előre beépített API-k használatával, amelyek felgyorsítják és leegyszerűsítik az ML előfeldolgozási és modellezési lépéseit.
Következő lépésként katalógusunkból több modellt építünk be a SageMakerbe, hogy folytathassuk megoldási folyamataink automatizálását, és a szolgáltatás fejlődésével a SageMaker több térinformatikai funkcióját is tovább fogjuk használni.
Javasoljuk, hogy próbálja ki a SageMaker térinformatikai képességeit az ebben a bejegyzésben található végpontok közötti példajegyzetfüzet adaptálásával, és további információval a szolgáltatásról itt: Mi az Amazon SageMaker térinformatikai képességei?.
A szerzőkről
Julian Blau a németországi Kölnben található BASF Digital Farming GmbH adattudósa. Digitális megoldásokat fejleszt a mezőgazdaság számára, a BASF globális ügyfélbázisának igényeit térinformatikai adatok és gépi tanulás segítségével kielégítve. Munkán kívül szeret utazni és a szabadban lenni barátaival és családjával.
Anthony Rodriguez mesterséges intelligencia és gépi tanulási megoldások szakértője az Amazon Web Services-nél, Spanyolországban. Bármilyen méretű vállalatnak segít megoldani kihívásaikat az innováció révén, és új üzleti lehetőségeket teremt az AWS Cloud és az AI/ML szolgáltatásokkal. A munka mellett szeret időt tölteni a családjával és sportolni a barátaival.
- Repülés és műhold
- mezőgazdaság
- AI
- ai művészet
- ai art generátor
- van egy robotod
- Amazon SageMaker
- mesterséges intelligencia
- mesterséges intelligencia tanúsítás
- mesterséges intelligencia a bankszektorban
- mesterséges intelligencia robot
- mesterséges intelligencia robotok
- mesterséges intelligencia szoftver
- AWS gépi tanulás
- blockchain
- blokklánc konferencia ai
- esettanulmány
- coingenius
- társalgási mesterséges intelligencia
- kriptokonferencia ai
- Ügyfélmegoldások
- dall's
- mély tanulás
- Térinformatikai ML
- google azt
- gépi tanulás
- Plató
- plato ai
- Platón adatintelligencia
- Platón játék
- PlatoData
- platogaming
- műhold
- skála ai
- Fenntarthatóság
- szintaxis
- zephyrnet