कैसे xarvio Digital Farming Solutions Amazon SageMaker भू-स्थानिक क्षमताओं के साथ अपने विकास को गति देता है

यह एक अतिथि पोस्ट है जिसे ज़ार्वियो डिजिटल फार्मिंग सॉल्यूशंस के डेटा वैज्ञानिक जूलियन ब्लाउ द्वारा सह-लिखित किया गया है; बीएएसएफ डिजिटल फार्मिंग जीएमबीएच, और एंटोनियो रोड्रिग्ज, एडब्ल्यूएस में एआई/एमएल स्पेशलिस्ट सॉल्यूशंस आर्किटेक्ट

xarvio डिजिटल फार्मिंग सॉल्यूशंस बीएएसएफ डिजिटल फार्मिंग जीएमबीएच का एक ब्रांड है, जो बीएएसएफ कृषि समाधान प्रभाग का हिस्सा है। xarvio डिजिटल फार्मिंग सॉल्यूशंस किसानों को फसल उत्पादन को अनुकूलित करने में मदद करने के लिए सटीक डिजिटल खेती उत्पाद प्रदान करता है। विश्व स्तर पर उपलब्ध, ज़ार्वियो उत्पाद व्यक्तिगत क्षेत्रों की जरूरतों को प्रबंधित करने के लिए सटीक और समय पर कृषि संबंधी सिफारिशें देने के लिए उपग्रहों और मौसम स्टेशन उपकरणों के डेटा के संयोजन में मशीन लर्निंग (एमएल), छवि पहचान तकनीक और उन्नत फसल और रोग मॉडल का उपयोग करते हैं। ज़ार्विओ उत्पाद स्थानीय कृषि स्थितियों के अनुरूप हैं, विकास चरणों की निगरानी कर सकते हैं, और बीमारियों और कीटों को पहचान सकते हैं। वे दक्षता बढ़ाते हैं, समय बचाते हैं, जोखिम कम करते हैं, और योजना और निर्णय लेने के लिए उच्च विश्वसनीयता प्रदान करते हैं - यह सब टिकाऊ कृषि में योगदान करते हुए।

हम अपने कुछ उपयोग मामलों के लिए विभिन्न भू-स्थानिक डेटा के साथ काम करते हैं, जिसमें उन क्षेत्रों की उपग्रह इमेजरी भी शामिल है जहां हमारे उपयोगकर्ताओं के क्षेत्र स्थित हैं। इसलिए, हम प्रतिदिन सैकड़ों बड़ी छवि फ़ाइलों का उपयोग और प्रसंस्करण करते हैं। प्रारंभ में, हमें तृतीय-पक्ष टूल, ओपन-सोर्स लाइब्रेरी या सामान्य प्रयोजन क्लाउड सेवाओं का उपयोग करके इस डेटा को ग्रहण करने, संसाधित करने और विश्लेषण करने के लिए बहुत सारे मैन्युअल काम और प्रयास का निवेश करना पड़ा। कुछ मामलों में, हमें प्रत्येक विशिष्ट परियोजना के लिए पाइपलाइन बनाने में 2 महीने तक का समय लग सकता है। अब, की भू-स्थानिक क्षमताओं का उपयोग करके अमेज़न SageMaker, हमने इस समय को घटाकर केवल 1-2 सप्ताह कर दिया है।

समय की यह बचत हमारे उपयोग के मामलों को अधिक कुशलता से वितरित करने के लिए भू-स्थानिक डेटा पाइपलाइनों को स्वचालित करने के साथ-साथ अन्य भौगोलिक क्षेत्रों में समान परियोजनाओं को गति देने और सुधारने के लिए अंतर्निहित पुन: प्रयोज्य घटकों का उपयोग करने का परिणाम है, जबकि अन्य उपयोग के लिए समान सिद्ध चरणों को लागू करना है। समान डेटा पर आधारित मामले।

इस पोस्ट में, हम आमतौर पर उपयोग की जाने वाली कुछ तकनीकों का वर्णन करने के लिए एक उदाहरण उपयोग के मामले से गुजरते हैं, और दिखाते हैं कि अन्य सेजमेकर सुविधाओं के साथ संयोजन में सेजमेकर भू-स्थानिक कार्यात्मकताओं का उपयोग करके इन्हें लागू करने से मापने योग्य लाभ कैसे मिलते हैं। हम कोड उदाहरण भी शामिल करते हैं ताकि आप इन्हें अपने विशिष्ट उपयोग के मामलों में अनुकूलित कर सकें।

समाधान का अवलोकन

नए समाधान विकसित करने के लिए एक विशिष्ट रिमोट सेंसिंग परियोजना के लिए ऑप्टिकल उपग्रहों द्वारा ली गई इमेजरी के चरण-दर-चरण विश्लेषण की आवश्यकता होती है जैसे कि पहरेदार or लैंडसैट, मौसम पूर्वानुमान या विशिष्ट फ़ील्ड गुणों सहित अन्य डेटा के संयोजन में। उपग्रह चित्र हमें हमारे उपयोगकर्ताओं को विभिन्न कार्यों को पूरा करने में मदद करने के लिए हमारे डिजिटल खेती समाधानों में उपयोग की जाने वाली बहुमूल्य जानकारी प्रदान करते हैं:

• अपने खेतों में बीमारियों का शीघ्र पता लगाना
• लागू किए जाने वाले सही पोषण और उपचार की योजना बनाना
• सिंचाई की योजना बनाने के लिए मौसम और पानी के बारे में जानकारी प्राप्त करना
• फसल की उपज की भविष्यवाणी करना
• अन्य फसल प्रबंधन कार्य करना

इन लक्ष्यों को प्राप्त करने के लिए, हमारे विश्लेषणों को आम तौर पर विभिन्न तकनीकों के साथ उपग्रह छवियों के प्रीप्रोसेसिंग की आवश्यकता होती है जो भू-स्थानिक डोमेन में आम हैं।

सेजमेकर भू-स्थानिक की क्षमताओं को प्रदर्शित करने के लिए, हमने एमएल विभाजन मॉडल के माध्यम से कृषि क्षेत्रों की पहचान करने का प्रयोग किया। इसके अतिरिक्त, हमने पहले से मौजूद सेजमेकर भू-स्थानिक मॉडल की खोज की और भूमि उपयोग और भूमि कवर वर्गीकरण, या फसल वर्गीकरण जैसे भू-स्थानिक कार्यों पर अपना खुद का मॉडल (बीवाईओएम) कार्यक्षमता लाएं, प्रक्रिया में अतिरिक्त चरणों के रूप में अक्सर पैनोप्टिक या सिमेंटिक विभाजन तकनीकों की आवश्यकता होती है।

निम्नलिखित अनुभागों में, हम सेजमेकर भू-स्थानिक क्षमताओं के साथ इन चरणों को कैसे निष्पादित करें, इसके कुछ उदाहरण देखेंगे। आप इन्हें निम्नलिखित में उपलब्ध एंड-टू-एंड उदाहरण नोटबुक में भी अनुसरण कर सकते हैं गिटहब भंडार.

जैसा कि पहले उल्लेख किया गया है, हमने भूमि कवर वर्गीकरण उपयोग मामले का चयन किया है, जिसमें पृथ्वी की सतह पर किसी दिए गए भौगोलिक क्षेत्र पर भौतिक कवरेज के प्रकार की पहचान करना शामिल है, जो वनस्पति, पानी या बर्फ सहित वर्गों के एक सेट पर व्यवस्थित है। यह उच्च-रिज़ॉल्यूशन वर्गीकरण हमें उच्च सटीकता के साथ खेतों और उसके आसपास के स्थान के विवरण का पता लगाने की अनुमति देता है, जिसे बाद में फसल वर्गीकरण में परिवर्तन का पता लगाने जैसे अन्य विश्लेषणों के साथ जोड़ा जा सकता है।

क्लाइंट सेटअप

सबसे पहले, आइए मान लें कि हमारे पास किसी दिए गए भौगोलिक क्षेत्र में खेती की जाने वाली फसलों वाले उपयोगकर्ता हैं जिन्हें हम भू-स्थानिक निर्देशांक के बहुभुज के भीतर पहचान सकते हैं। इस पोस्ट के लिए, हम जर्मनी पर एक उदाहरण क्षेत्र को परिभाषित करते हैं। हम एक निश्चित समय सीमा भी परिभाषित कर सकते हैं, उदाहरण के लिए 2022 के पहले महीनों में। निम्नलिखित कोड देखें:

### Coordinates for the polygon of your area of interest...
coordinates = [
    [9.181602157004177, 53.14038825707946],
    [9.181602157004177, 52.30629767547948],
    [10.587520893823973, 52.30629767547948],
    [10.587520893823973, 53.14038825707946],
    [9.181602157004177, 53.14038825707946],
]
### Time-range of interest...
time_start = "2022-01-01T12:00:00Z"
time_end = "2022-05-01T12:00:00Z"

हमारे उदाहरण में, हम प्रोग्रामेटिक या कोड इंटरैक्शन के माध्यम से सेजमेकर जियोस्पेशियल एसडीके के साथ काम करते हैं, क्योंकि हम कोड पाइपलाइन बनाने में रुचि रखते हैं जिन्हें हमारी प्रक्रिया में आवश्यक विभिन्न चरणों के साथ स्वचालित किया जा सकता है। ध्यान दें कि आप सेजमेकर जियोस्पेशियल के साथ प्रदान किए गए ग्राफिकल एक्सटेंशन के माध्यम से यूआई के साथ भी काम कर सकते हैं अमेज़ॅन सैजमेकर स्टूडियो यदि आप इस दृष्टिकोण को पसंद करते हैं, जैसा कि निम्नलिखित स्क्रीनशॉट में दिखाया गया है। जियोस्पेशियल स्टूडियो यूआई तक पहुंचने के लिए, सेजमेकर स्टूडियो लॉन्चर खोलें और चुनें भू-स्थानिक संसाधनों का प्रबंधन करें. आप दस्तावेज़ में अधिक विवरण देख सकते हैं अमेज़ॅन सेजमेकर भू-स्थानिक क्षमताओं के साथ आरंभ करें.

यहां आप सेजमेकर भू-स्थानिक सुविधाओं के साथ चलाए जाने वाले अर्थ ऑब्जर्वेशन जॉब्स (ईओजे) के परिणामों को ग्राफ़िक रूप से बना, मॉनिटर और विज़ुअलाइज़ कर सकते हैं।

हमारे उदाहरण पर वापस जाएं, सेजमेकर जियोस्पेशियल एसडीके के साथ इंटरैक्ट करने के लिए पहला कदम क्लाइंट को सेट करना है। हम के साथ एक सत्र स्थापित करके ऐसा कर सकते हैं botocore पुस्तकालय:

import boto3
gsClient = boto3.client('sagemaker-geospatial')

इस बिंदु से, हम रुचि के किसी भी ईओजे को चलाने के लिए क्लाइंट का उपयोग कर सकते हैं।

डेटा प्राप्त करना

इस उपयोग के मामले में, हम अपने दिए गए भौगोलिक क्षेत्र के लिए उपग्रह इमेजरी एकत्र करके शुरुआत करते हैं। रुचि के स्थान के आधार पर, उपलब्ध उपग्रहों द्वारा कम या ज्यादा बार-बार कवरेज किया जा सकता है, जिसकी इमेजरी को आमतौर पर उसी रूप में व्यवस्थित किया जाता है जिसे आमतौर पर कहा जाता है। रेखापुंज संग्रह.

सेजमेकर की भू-स्थानिक क्षमताओं के साथ, आपके पास सीधे भू-स्थानिक डेटा प्राप्त करने के लिए उच्च-गुणवत्ता वाले डेटा स्रोतों तक सीधी पहुंच है, जिसमें वे भी शामिल हैं AWS डेटा एक्सचेंज और AWS पर ओपन डाटा की रजिस्ट्री, दूसरों के बीच में। हम सेजमेकर द्वारा पहले से उपलब्ध कराए गए रैस्टर संग्रहों को सूचीबद्ध करने के लिए निम्नलिखित कमांड चला सकते हैं:

list_raster_data_collections_resp = gsClient.list_raster_data_collections()

यह लैंडसैट C2L2 सरफेस रिफ्लेक्शन (SR), लैंडसैट C2L2 सरफेस टेम्परेचर (ST), या सेंटिनल 2A और 2B सहित उपलब्ध विभिन्न रैस्टर संग्रहों का विवरण देता है। सुविधाजनक रूप से, लेवल 2ए इमेजरी पहले से ही क्लाउड-ऑप्टिमाइज़्ड जियो टीआईएफएफ (सीओजी) में अनुकूलित है। निम्नलिखित कोड देखें:

…
{'Name': 'Sentinel 2 L2A COGs',
  'Arn': 'arn:aws:sagemaker-geospatial:us-west-2:378778860802:raster-data-collection/public/nmqj48dcu3g7ayw8',
  'Type': 'PUBLIC',
  'Description': 'Sentinel-2a and Sentinel-2b imagery, processed to Level 2A (Surface Reflectance) and converted to Cloud-Optimized GeoTIFFs'
…

आइए, अपना उदाहरण स्थापित करके, इस अंतिम को अपने उदाहरण के रूप में लें data_collection_arn सेंटिनल 2 एल2ए सीओजी के संग्रह एआरएन के लिए पैरामीटर।

हम अपनी रुचि के क्षेत्र (एओआई) के रूप में परिभाषित बहुभुज के निर्देशांक को पारित करके किसी दिए गए भौगोलिक स्थान के लिए उपलब्ध इमेजरी भी खोज सकते हैं। यह आपको उपलब्ध छवि टाइलों की कल्पना करने की अनुमति देता है जो निर्दिष्ट एओआई सहित आपके द्वारा सबमिट किए गए बहुभुज को कवर करते हैं अमेज़न सरल भंडारण सेवा (अमेज़ॅन एस3) इन छवियों के लिए यूआरआई। ध्यान दें कि उपग्रह इमेजरी आम तौर पर अलग-अलग रूप में प्रदान की जाती है बैंड अवलोकन की तरंग दैर्ध्य के अनुसार; हम इस पर बाद में पोस्ट में और अधिक चर्चा करेंगे।

response = gsClient.search_raster_data_collection(**eoj_input_config, Arn=data_collection_arn)

पूर्ववर्ती कोड उपलब्ध विभिन्न छवि टाइलों के लिए S3 URI लौटाता है, जिसे आप सीधे जियो टीआईएफएफ के साथ संगत किसी भी लाइब्रेरी के साथ देख सकते हैं जैसे कि रैस्टरियो. उदाहरण के लिए, आइए दो ट्रू कलर इमेज (टीसीआई) टाइल्स की कल्पना करें।

…
'visual': {'Href': 'https://sentinel-cogs.s3.us-west-2.amazonaws.com/sentinel-s2-l2a-cogs/32/U/NC/2022/3/S2A_32UNC_20220325_0_L2A/TCI.tif'},
…

प्रसंस्करण तकनीक

कुछ सबसे आम प्रीप्रोसेसिंग तकनीकें जिन्हें हम लागू करते हैं उनमें क्लाउड रिमूवल, जियो मोज़ेक, टेम्पोरल स्टैटिस्टिक्स, बैंड गणित या स्टैकिंग शामिल हैं। इन सभी प्रक्रियाओं को अब मैन्युअल कोडिंग करने या जटिल और महंगे तृतीय-पक्ष टूल का उपयोग करने की आवश्यकता के बिना, सेजमेकर में ईओजे के उपयोग के माध्यम से सीधे किया जा सकता है। इससे हमारी डेटा प्रोसेसिंग पाइपलाइनों का निर्माण 50% तेज हो जाता है। सेजमेकर भू-स्थानिक क्षमताओं के साथ, हम इन प्रक्रियाओं को विभिन्न इनपुट प्रकारों पर चला सकते हैं। उदाहरण के लिए:

• के माध्यम से सेवा में शामिल किसी भी रैस्टर संग्रह के लिए सीधे क्वेरी चलाएँ RasterDataCollectionQuery प्राचल
• Amazon S3 में संग्रहीत इमेजरी को इनपुट के रूप में पास करें DataSourceConfig प्राचल
• बस पिछले ईओजे के परिणामों को इसके माध्यम से श्रृंखलाबद्ध करें PreviousEarthObservationJobArn प्राचल

यह लचीलापन आपको किसी भी प्रकार की प्रसंस्करण पाइपलाइन बनाने की अनुमति देता है जिसकी आपको आवश्यकता है।

निम्नलिखित आरेख उन प्रक्रियाओं को दर्शाता है जिन्हें हम अपने उदाहरण में शामिल करते हैं।

हमारे उदाहरण में, हम इनपुट के रूप में एक रैस्टर डेटा संग्रह क्वेरी का उपयोग करते हैं, जिसके लिए हम अपने एओआई और रुचि की समय सीमा के निर्देशांक पास करते हैं। हम अधिकतम 2% क्लाउड कवरेज का प्रतिशत भी निर्दिष्ट करते हैं, क्योंकि हम अपने भौगोलिक क्षेत्र का स्पष्ट और शोर-मुक्त अवलोकन चाहते हैं। निम्नलिखित कोड देखें:

eoj_input_config = {
    "RasterDataCollectionQuery": {
        "RasterDataCollectionArn": data_collection_arn,
        "AreaOfInterest": {
            "AreaOfInterestGeometry": {"PolygonGeometry": {"Coordinates": [coordinates]}}
        },
        "TimeRangeFilter": {"StartTime": time_start, "EndTime": time_end},
        "PropertyFilters": {
            "Properties": [
                {"Property": {"EoCloudCover": {"LowerBound": 0, "UpperBound": 2}}}
            ]
        },
    }
}

समर्थित क्वेरी सिंटैक्स पर अधिक जानकारी के लिए, देखें एक पृथ्वी अवलोकन कार्य बनाएँ.

क्लाउड गैप हटाना

उच्च बादल कवरेज के कारण उपग्रह अवलोकन अक्सर कम उपयोगी होते हैं। क्लाउड गैप फिलिंग या क्लाउड रिमूवल छवियों से क्लाउड पिक्सल को बदलने की प्रक्रिया है, जिसे आगे के प्रसंस्करण चरणों के लिए डेटा तैयार करने के लिए विभिन्न तरीकों से किया जा सकता है।

सेजमेकर भू-स्थानिक क्षमताओं के साथ, हम इसे निर्दिष्ट करके प्राप्त कर सकते हैं CloudRemovalConfig हमारे कार्य के विन्यास में पैरामीटर।

eoj_config =  {
    'CloudRemovalConfig': {
        'AlgorithmName': 'INTERPOLATION',
        'InterpolationValue': '-9999'
    }
}

ध्यान दें कि हम अपने उदाहरण में एक निश्चित मान के साथ एक इंटरपोलेशन एल्गोरिदम का उपयोग कर रहे हैं, लेकिन अन्य कॉन्फ़िगरेशन समर्थित हैं, जैसा कि बताया गया है एक पृथ्वी अवलोकन कार्य बनाएँ दस्तावेज़ीकरण. इंटरपोलेशन इसे आसपास के पिक्सल पर विचार करके, बादल वाले पिक्सल को बदलने के लिए एक मूल्य का अनुमान लगाने की अनुमति देता है।

अब हम अपने ईओजे को अपने इनपुट और जॉब कॉन्फ़िगरेशन के साथ चला सकते हैं:

response = gsClient.start_earth_observation_job(
    Name =  'cloudremovaljob',
    ExecutionRoleArn = role,
    InputConfig = eoj_input_config,
    JobConfig = eoj_config,
)

इनपुट क्षेत्र और प्रसंस्करण मापदंडों के आधार पर इस कार्य को पूरा होने में कुछ मिनट लगते हैं।

जब यह पूरा हो जाता है, तो ईओजे के परिणाम सेवा-स्वामित्व वाले स्थान पर संग्रहीत होते हैं, जहां से हम या तो परिणामों को अमेज़ॅन एस 3 में निर्यात कर सकते हैं, या इन्हें किसी अन्य ईओजे के लिए इनपुट के रूप में श्रृंखलाबद्ध कर सकते हैं। हमारे उदाहरण में, हम निम्नलिखित कोड चलाकर परिणामों को Amazon S3 पर निर्यात करते हैं:

response = gsClient.export_earth_observation_job(
    Arn = cr_eoj_arn,
    ExecutionRoleArn = role,
    OutputConfig = {
        'S3Data': {
            'S3Uri': f's3://{bucket}/{prefix}/cloud_removal/',
            'KmsKeyId': ''
        }
    }
)

अब हम व्यक्तिगत वर्णक्रमीय बैंड के लिए हमारे निर्दिष्ट अमेज़ॅन एस3 स्थान में संग्रहीत परिणामी इमेजरी की कल्पना करने में सक्षम हैं। उदाहरण के लिए, आइए लौटाई गई दो नीली बैंड छवियों का निरीक्षण करें।

वैकल्पिक रूप से, आप स्टूडियो में उपलब्ध भू-स्थानिक एक्सटेंशन का उपयोग करके ईओजे के परिणामों को ग्राफिक रूप से भी देख सकते हैं, जैसा कि निम्नलिखित स्क्रीनशॉट में दिखाया गया है।

अस्थायी आँकड़े

क्योंकि उपग्रह लगातार पृथ्वी के चारों ओर परिक्रमा करते हैं, किसी दिए गए भौगोलिक क्षेत्र की छवियां विशिष्ट अस्थायी आवृत्ति के साथ विशिष्ट समय सीमा पर ली जाती हैं, जैसे कि उपग्रह के आधार पर दैनिक, हर 5 दिन या 2 सप्ताह में। अस्थायी सांख्यिकी प्रक्रिया हमें अलग-अलग समय पर लिए गए अलग-अलग अवलोकनों को जोड़कर एक समग्र दृश्य तैयार करने में सक्षम बनाती है, जैसे कि वार्षिक माध्य, या दिए गए क्षेत्र के लिए एक विशिष्ट समय सीमा में सभी अवलोकनों का माध्य।

सेजमेकर भू-स्थानिक क्षमताओं के साथ, हम इसे सेट करके ऐसा कर सकते हैं TemporalStatisticsConfig पैरामीटर. हमारे उदाहरण में, हम नियर इन्फ्रारेड (एनआईआर) बैंड के लिए वार्षिक औसत एकत्रीकरण प्राप्त करते हैं, क्योंकि यह बैंड कैनोपी के शीर्ष के नीचे वनस्पति घनत्व अंतर प्रकट कर सकता है:

eoj_config =  {
    'TemporalStatisticsConfig': {
        'GroupBy': 'YEARLY',
        'Statistics': ['MEAN'],
        'TargetBands': ['nir']
    }
}

इस कॉन्फिगरेशन के साथ ईओजे चलाने के कुछ मिनटों के बाद, हम निम्नलिखित उदाहरणों की तरह इमेजरी प्राप्त करने के लिए परिणामों को अमेज़ॅन एस 3 पर निर्यात कर सकते हैं, जिसमें हम अलग-अलग रंग की तीव्रता के साथ दर्शाए गए विभिन्न वनस्पति घनत्वों का निरीक्षण कर सकते हैं। ध्यान दें कि ईओजे निर्दिष्ट समय सीमा और निर्देशांक के लिए उपलब्ध उपग्रह डेटा के आधार पर टाइल्स के रूप में कई छवियां तैयार कर सकता है।

बैंड गणित

पृथ्वी अवलोकन उपग्रहों को विभिन्न तरंग दैर्ध्य में प्रकाश का पता लगाने के लिए डिज़ाइन किया गया है, जिनमें से कुछ मानव आंखों के लिए अदृश्य हैं। प्रत्येक रेंज में अलग-अलग तरंग दैर्ध्य पर प्रकाश स्पेक्ट्रम के विशिष्ट बैंड होते हैं, जो अंकगणित के साथ मिलकर क्षेत्र की विशेषताओं जैसे वनस्पति स्वास्थ्य, तापमान या बादलों की उपस्थिति और कई अन्य के बारे में समृद्ध जानकारी वाली छवियां उत्पन्न कर सकते हैं। यह एक प्रक्रिया में किया जाता है जिसे आमतौर पर बैंड गणित या बैंड अंकगणित कहा जाता है।

सेजमेकर भू-स्थानिक क्षमताओं के साथ, हम इसे सेट करके चला सकते हैं BandMathConfig पैरामीटर. उदाहरण के लिए, आइए निम्नलिखित कोड चलाकर नमी सूचकांक छवियां प्राप्त करें:

eoj_config =  {
    'BandMathConfig': {
        'CustomIndices': {
            'Operations': [
                {
                    'Name': 'moisture',
                    'Equation': '(nir08 - swir16) / (nir08 + swir16)'
                }
            ]
        }
    }
}

इस कॉन्फिगरेशन के साथ ईओजे चलाने के कुछ मिनटों के बाद, हम परिणाम निर्यात कर सकते हैं और छवियां प्राप्त कर सकते हैं, जैसे कि निम्नलिखित दो उदाहरण।

स्टैकिंग

बैंड गणित के समान, मूल बैंड से समग्र छवियां बनाने के लिए बैंड को एक साथ संयोजित करने की प्रक्रिया को स्टैकिंग कहा जाता है। उदाहरण के लिए, हम एओआई की वास्तविक रंगीन छवि तैयार करने के लिए उपग्रह छवि के लाल, नीले और हरे प्रकाश बैंड को एक साथ रख सकते हैं।

सेजमेकर भू-स्थानिक क्षमताओं के साथ, हम इसे सेट करके ऐसा कर सकते हैं StackConfig पैरामीटर. आइए निम्नलिखित कमांड के साथ पिछले उदाहरण के अनुसार आरजीबी बैंड को स्टैक करें:

eoj_config =  {
    'StackConfig': {
        'OutputResolution': {
            'Predefined': 'HIGHEST'
        },
        'TargetBands': ['red', 'green', 'blue']
    }
}

इस कॉन्फिगरेशन के साथ ईओजे चलाने के कुछ मिनटों के बाद, हम परिणाम निर्यात कर सकते हैं और छवियां प्राप्त कर सकते हैं।

सिमेंटिक विभाजन मॉडल

हमारे काम के हिस्से के रूप में, हम आमतौर पर पूर्व-संसाधित इमेजरी पर अनुमान लगाने के लिए एमएल मॉडल का उपयोग करते हैं, जैसे कि बादलों वाले क्षेत्रों का पता लगाना या छवियों के प्रत्येक क्षेत्र में भूमि के प्रकार को वर्गीकृत करना।

सेजमेकर भू-स्थानिक क्षमताओं के साथ, आप अंतर्निहित विभाजन मॉडल पर भरोसा करके ऐसा कर सकते हैं।

हमारे उदाहरण के लिए, आइए निर्दिष्ट करके भूमि कवर विभाजन मॉडल का उपयोग करें LandCoverSegmentationConfig पैरामीटर. यह सेजमेकर में किसी बुनियादी ढांचे को प्रशिक्षित करने या होस्ट करने की आवश्यकता के बिना, अंतर्निहित मॉडल का उपयोग करके इनपुट पर अनुमान चलाता है:

response = gsClient.start_earth_observation_job(
    Name =  'landcovermodeljob',
    ExecutionRoleArn = role,
    InputConfig = eoj_input_config,
    JobConfig = {
        'LandCoverSegmentationConfig': {},
    },
)

इस कॉन्फ़िगरेशन के साथ कुछ मिनटों तक कार्य चलाने के बाद, हम परिणाम निर्यात कर सकते हैं और छवियां प्राप्त कर सकते हैं।

पिछले उदाहरणों में, छवियों में प्रत्येक पिक्सेल एक भूमि प्रकार वर्ग से मेल खाता है, जैसा कि निम्नलिखित किंवदंती में दिखाया गया है।

यह हमें दृश्य में विशिष्ट प्रकार के क्षेत्रों जैसे वनस्पति या पानी की सीधे पहचान करने की अनुमति देता है, जो अतिरिक्त विश्लेषण के लिए मूल्यवान अंतर्दृष्टि प्रदान करता है।

सेजमेकर के साथ अपना स्वयं का मॉडल लाएँ

यदि सेजमेकर के साथ प्रदान किए गए अत्याधुनिक भू-स्थानिक मॉडल हमारे उपयोग के मामले के लिए पर्याप्त नहीं हैं, तो हम अनुमान के लिए सेजमेकर पर ऑनबोर्ड किए गए किसी भी कस्टम मॉडल के साथ अब तक दिखाए गए किसी भी प्रीप्रोसेसिंग चरण के परिणामों को भी श्रृंखलाबद्ध कर सकते हैं, जैसा कि समझाया गया है इस में सेजमेकर स्क्रिप्ट मोड उदाहरण। हम इसे सेजमेकर में समर्थित किसी भी अनुमान मोड के साथ कर सकते हैं, जिसमें रीयल-टाइम सेजमेकर एंडपॉइंट्स के साथ सिंक्रोनस, सेजमेकर एसिंक्रोनस एंडपॉइंट्स के साथ एसिंक्रोनस, सेजमेकर बैच ट्रांसफॉर्म के साथ बैच या ऑफलाइन, और सेजमेकर सर्वरलेस इंट्रेंस के साथ सर्वरलेस शामिल है। आप इन मोड के बारे में अधिक विवरण यहां देख सकते हैं अनुमान के लिए मॉडल तैनात करें दस्तावेज़ीकरण. निम्नलिखित चित्र उच्च-स्तरीय वर्कफ़्लो को दर्शाता है।

हमारे उदाहरण के लिए, मान लें कि हमने भूमि कवर वर्गीकरण और फसल प्रकार वर्गीकरण करने के लिए दो मॉडल शामिल किए हैं।

हमें बस अपने प्रशिक्षित मॉडल आर्टिफैक्ट की ओर इशारा करना है, हमारे उदाहरण में एक PyTorch मॉडल, जो निम्नलिखित कोड के समान है:

from sagemaker.pytorch import PyTorchModel
import datetime

model = PyTorchModel(
    name=model_name, ### Set a model name
    model_data=MODEL_S3_PATH, ### Location of the custom model in S3
    role=role,
    entry_point='inference.py', ### Your inference entry-point script
    source_dir='code', ### Folder with any dependencies
    image_uri=image_uri, ### URI for your AWS DLC or custom container
    env={
        'TS_MAX_REQUEST_SIZE': '100000000',
        'TS_MAX_RESPONSE_SIZE': '100000000',
        'TS_DEFAULT_RESPONSE_TIMEOUT': '1000',
    }, ### Optional – Set environment variables for max size and timeout
)

predictor = model.deploy(
    initial_instance_count = 1, ### Your number of instances
    instance_type = 'ml.g4dn.8xlarge', ### Your instance type
    async_inference_config=sagemaker.async_inference.AsyncInferenceConfig(
        output_path=f"s3://{bucket}/{prefix}/output",
        max_concurrent_invocations_per_instance=2,
    ), ### Optional – Async config if using SageMaker Async Endpoints
)

predictor.predict(data) ### Your images for inference

यह आपको आपके द्वारा उपयोग किए जा रहे मॉडल के आधार पर, अनुमान के बाद परिणामी छवियां प्राप्त करने की अनुमति देता है।

हमारे उदाहरण में, कस्टम लैंड कवर सेगमेंटेशन चलाते समय, मॉडल निम्नलिखित के समान छवियां उत्पन्न करता है, जहां हम इनपुट और भविष्यवाणी छवियों की तुलना उसके संबंधित लीजेंड से करते हैं।

 .

निम्नलिखित एक फसल वर्गीकरण मॉडल का एक और उदाहरण है, जहां हम मूल बनाम परिणामी पैनोप्टिक और सिमेंटिक विभाजन परिणामों की तुलना, इसके संबंधित किंवदंती के साथ दिखाते हैं।

भू-स्थानिक पाइपलाइनों को स्वचालित करना

अंत में, हम भू-स्थानिक डेटा प्रोसेसिंग और अनुमान पाइपलाइनों का निर्माण करके पिछले चरणों को भी स्वचालित कर सकते हैं अमेज़न SageMaker पाइपलाइन. हम बस प्रत्येक प्रीप्रोसेसिंग चरण को इसके उपयोग के माध्यम से श्रृंखलाबद्ध करते हैं लैम्ब्डा चरण और कॉलबैक चरण पाइपलाइनों में. उदाहरण के लिए, आप सेजमेकर भू-स्थानिक सुविधाओं में अंतर्निहित सिमेंटिक सेगमेंटेशन मॉडल में से एक के साथ ईओजे चलाने के लिए ट्रांसफॉर्म स्टेप का उपयोग करके, या सीधे लैम्ब्डा स्टेप्स और कॉलबैक स्टेप्स के दूसरे संयोजन के माध्यम से एक अंतिम अनुमान चरण भी जोड़ सकते हैं।

ध्यान दें कि हम पाइपलाइनों में लैम्ब्डा स्टेप्स और कॉलबैक स्टेप्स का उपयोग कर रहे हैं क्योंकि ईओजे एसिंक्रोनस हैं, इसलिए इस प्रकार के चरण हमें प्रोसेसिंग कार्य की निगरानी करने और संदेशों के माध्यम से पूरा होने पर पाइपलाइन को फिर से शुरू करने की अनुमति देते हैं। अमेज़ॅन सरल कतार सेवा (अमेज़न SQS) कतार।

आप नोटबुक की जांच कर सकते हैं गिटहब भंडार इस कोड के विस्तृत उदाहरण के लिए।

अब हम स्टूडियो के माध्यम से अपनी भू-स्थानिक पाइपलाइन के आरेख की कल्पना कर सकते हैं और पाइपलाइनों में रन की निगरानी कर सकते हैं, जैसा कि निम्नलिखित स्क्रीनशॉट में दिखाया गया है।

निष्कर्ष

इस पोस्ट में, हमने xarvio डिजिटल फार्मिंग सॉल्यूशंस से हमारे उन्नत उत्पादों के लिए भू-स्थानिक डेटा पाइपलाइनों के निर्माण के लिए सेजमेकर भू-स्थानिक क्षमताओं के साथ लागू की गई प्रक्रियाओं का सारांश प्रस्तुत किया है। सेजमेकर जियोस्पेशियल का उपयोग करने से पूर्व-निर्मित एपीआई के उपयोग के माध्यम से हमारे जियोस्पेशियल कार्य की दक्षता 50% से अधिक बढ़ गई है, जो एमएल के लिए हमारे प्रीप्रोसेसिंग और मॉडलिंग चरणों को तेज और सरल बनाता है।

अगले चरण के रूप में, हम अपनी समाधान पाइपलाइनों के स्वचालन को जारी रखने के लिए अपने कैटलॉग से सेजमेकर में और अधिक मॉडल शामिल कर रहे हैं, और सेवा विकसित होने के साथ सेजमेकर की अधिक भू-स्थानिक सुविधाओं का उपयोग करना जारी रखेंगे।

हम आपको इस पोस्ट में दिए गए एंड-टू-एंड उदाहरण नोटबुक को अपनाकर और सेवा के बारे में अधिक जानकर सेजमेकर भू-स्थानिक क्षमताओं को आज़माने के लिए प्रोत्साहित करते हैं। अमेज़न सेजमेकर भू-स्थानिक क्षमताएं क्या है?.

लेखक के बारे में

जूलियन ब्लाउ जर्मनी के कोलोन में स्थित बीएएसएफ डिजिटल फार्मिंग जीएमबीएच में डेटा वैज्ञानिक हैं। वह भू-स्थानिक डेटा और मशीन लर्निंग का उपयोग करके बीएएसएफ के वैश्विक ग्राहक आधार की जरूरतों को संबोधित करते हुए कृषि के लिए डिजिटल समाधान विकसित करता है। काम के बाहर, वह यात्रा करना और दोस्तों और परिवार के साथ बाहर रहना पसंद करता है।

एंटोनियो रोड्रिगेज वह स्पेन में स्थित अमेज़ॅन वेब सर्विसेज में एक आर्टिफिशियल इंटेलिजेंस और मशीन लर्निंग स्पेशलिस्ट सॉल्यूशंस आर्किटेक्ट हैं। वह सभी आकार की कंपनियों को नवाचार के माध्यम से उनकी चुनौतियों का समाधान करने में मदद करता है, और एडब्ल्यूएस क्लाउड और एआई/एमएल सेवाओं के साथ नए व्यावसायिक अवसर पैदा करता है। काम के अलावा, वह अपने परिवार के साथ समय बिताना और अपने दोस्तों के साथ खेल खेलना पसंद करते हैं।