کس طرح xarvio ڈیجیٹل فارمنگ سلوشنز Amazon SageMaker جغرافیائی صلاحیتوں کے ساتھ اپنی ترقی کو تیز کرتا ہے

یہ xarvio ڈیجیٹل فارمنگ سلوشنز کے ڈیٹا سائنٹسٹ جولین بلاؤ کی شریک تحریر کردہ ایک مہمان پوسٹ ہے۔ BASF ڈیجیٹل فارمنگ GmbH، اور Antonio Rodriguez، AWS میں AI/ML ماہر حل آرکیٹیکٹ

xarvio ڈیجیٹل فارمنگ سلوشنز BASF ڈیجیٹل فارمنگ GmbH کا ایک برانڈ ہے، جو BASF ایگریکلچرل سلوشنز ڈویژن کا حصہ ہے۔ xarvio ڈیجیٹل فارمنگ سلوشنز کاشتکاروں کو فصل کی پیداوار کو بہتر بنانے میں مدد کے لیے درست ڈیجیٹل فارمنگ مصنوعات پیش کرتا ہے۔ عالمی سطح پر دستیاب، xarvio پروڈکٹس مشین لرننگ (ML)، امیج ریکگنیشن ٹیکنالوجی، اور جدید فصل اور بیماریوں کے ماڈلز کا استعمال کرتے ہیں، سیٹلائٹ اور موسمی اسٹیشن کے آلات کے ڈیٹا کے ساتھ، انفرادی شعبوں کی ضروریات کو پورا کرنے کے لیے درست اور بروقت زرعی سفارشات فراہم کرنے کے لیے۔ xarvio مصنوعات مقامی کاشتکاری کے حالات کے مطابق بنائی گئی ہیں، ترقی کے مراحل کی نگرانی کر سکتی ہیں، اور بیماریوں اور کیڑوں کو پہچان سکتی ہیں۔ وہ کارکردگی میں اضافہ کرتے ہیں، وقت بچاتے ہیں، خطرات کو کم کرتے ہیں، اور منصوبہ بندی اور فیصلہ سازی کے لیے اعلیٰ بھروسہ فراہم کرتے ہیں۔

ہم مختلف جغرافیائی اعداد و شمار کے ساتھ کام کرتے ہیں، بشمول ان علاقوں کی سیٹلائٹ امیجری جہاں ہمارے صارفین کے فیلڈز واقع ہیں، ہمارے استعمال کے کچھ معاملات کے لیے۔ لہذا، ہم روزانہ سیکڑوں بڑی امیج فائلوں کو استعمال اور ان پر کارروائی کرتے ہیں۔ ابتدائی طور پر، ہمیں تھرڈ پارٹی ٹولز، اوپن سورس لائبریریوں، یا عمومی مقصد کی کلاؤڈ سروسز کا استعمال کرتے ہوئے اس ڈیٹا کو ہضم کرنے، اس پر کارروائی کرنے اور تجزیہ کرنے کے لیے بہت زیادہ دستی کام اور کوششیں لگانی پڑیں۔ کچھ صورتوں میں، ہمارے لیے ہر مخصوص پروجیکٹ کے لیے پائپ لائنیں بنانے میں 2 مہینے لگ سکتے ہیں۔ اب، کی جغرافیائی صلاحیتوں کو استعمال کرتے ہوئے ایمیزون سیج میکرہم نے اس وقت کو کم کر کے صرف 1-2 ہفتے کر دیا ہے۔

یہ وقت کی بچت جغرافیائی ڈیٹا پائپ لائنوں کو خودکار کرنے کا نتیجہ ہے تاکہ ہمارے استعمال کے معاملات کو زیادہ مؤثر طریقے سے فراہم کیا جا سکے، ساتھ ہی دوسرے جغرافیائی علاقوں میں اسی طرح کے منصوبوں کو تیز کرنے اور بہتر بنانے کے لیے بلٹ ان دوبارہ قابل استعمال اجزاء کا استعمال کرتے ہوئے، دوسرے استعمال کے لیے انہی ثابت قدموں کا اطلاق کرتے ہوئے اسی طرح کے اعداد و شمار پر مبنی مقدمات.

اس پوسٹ میں، ہم عام طور پر استعمال کی جانے والی کچھ تکنیکوں کو بیان کرنے کے لیے ایک مثال کے استعمال کے کیس سے گزرتے ہیں، اور یہ ظاہر کرتے ہیں کہ SageMaker کی دیگر خصوصیات کے ساتھ مل کر SageMaker جغرافیائی افعال کو استعمال کرتے ہوئے ان کو کس طرح نافذ کرنا قابل پیمائش فوائد فراہم کرتا ہے۔ ہم کوڈ کی مثالیں بھی شامل کرتے ہیں تاکہ آپ ان کو اپنے مخصوص استعمال کے معاملات میں ڈھال سکیں۔

حل کا جائزہ

نئے حل تیار کرنے کے لیے ایک عام ریموٹ سینسنگ پراجیکٹ کے لیے آپٹیکل سیٹلائٹس کے ذریعے لی گئی تصویروں کے مرحلہ وار تجزیہ کی ضرورت ہوتی ہے جیسے پرہری or لینڈسات، دوسرے ڈیٹا کے ساتھ مل کر، بشمول موسم کی پیشن گوئی یا مخصوص فیلڈ کی خصوصیات۔ سیٹلائٹ امیجز ہمیں ہمارے ڈیجیٹل فارمنگ سلوشنز میں استعمال ہونے والی قیمتی معلومات فراہم کرتی ہیں تاکہ ہمارے صارفین کو مختلف کاموں کو پورا کرنے میں مدد ملے:

• اپنے کھیتوں میں بیماریوں کا جلد پتہ لگانا
• لاگو کرنے کے لئے صحیح تغذیہ اور علاج کی منصوبہ بندی کرنا
• آبپاشی کی منصوبہ بندی کے لیے موسم اور پانی کے بارے میں بصیرت حاصل کرنا
• فصل کی پیداوار کی پیشن گوئی
• فصل کے انتظام کے دیگر کاموں کو انجام دینا

ان اہداف کو حاصل کرنے کے لیے، ہمارے تجزیوں میں عام طور پر مختلف تکنیکوں کے ساتھ سیٹلائٹ امیجز کی پری پروسیسنگ کی ضرورت ہوتی ہے جو کہ جغرافیائی ڈومین میں عام ہیں۔

SageMaker geospatial کی صلاحیتوں کو ظاہر کرنے کے لیے، ہم نے ML segmentation ماڈلز کے ذریعے زرعی شعبوں کی شناخت کے ساتھ تجربہ کیا۔ مزید برآں، ہم نے پہلے سے موجود SageMaker جغرافیائی ماڈلز کی کھوج کی اور جغرافیائی کاموں جیسے کہ زمین کے استعمال اور زمین کے احاطہ کی درجہ بندی، یا فصلوں کی درجہ بندی پر آپ کے اپنے ماڈل (BYOM) کی فعالیت کو تلاش کیا، جس میں اکثر اضافی اقدامات کے طور پر panoptic یا semantic segmentation کی تکنیک کی ضرورت ہوتی ہے۔

مندرجہ ذیل حصوں میں، ہم SageMaker جغرافیائی صلاحیتوں کے ساتھ ان اقدامات کو انجام دینے کے طریقے کی کچھ مثالوں سے گزرتے ہیں۔ آپ مندرجہ ذیل میں دستیاب مثال سے آخر تک کی نوٹ بک میں بھی ان کی پیروی کر سکتے ہیں۔ GitHub ذخیرہ.

جیسا کہ پہلے ذکر کیا گیا ہے، ہم نے زمین کے احاطہ کی درجہ بندی کے استعمال کے کیس کا انتخاب کیا، جس میں زمین کی سطح پر کسی مخصوص جغرافیائی علاقے پر موجود جسمانی کوریج کی اس قسم کی شناخت پر مشتمل ہوتا ہے، جو پودوں، پانی یا برف سمیت کلاسوں کے ایک سیٹ پر منظم ہوتا ہے۔ یہ اعلیٰ ریزولیوشن درجہ بندی ہمیں کھیتوں کے محل وقوع اور اس کے گردونواح کی تفصیلات کا اعلیٰ درستگی کے ساتھ پتہ لگانے کی اجازت دیتی ہے، جسے بعد میں دیگر تجزیوں جیسے کہ فصل کی درجہ بندی میں تبدیلی کا پتہ لگانے کے ساتھ جکڑا جا سکتا ہے۔

کلائنٹ سیٹ اپ

سب سے پہلے، آئیے فرض کریں کہ ہمارے پاس ایسے صارفین ہیں جن کی فصلیں کسی مخصوص جغرافیائی علاقے میں کاشت کی جا رہی ہیں جنہیں ہم جغرافیائی نقاط کے کثیرالاضلاع میں شناخت کر سکتے ہیں۔ اس پوسٹ کے لیے، ہم جرمنی پر ایک مثال کے علاقے کی وضاحت کرتے ہیں۔ ہم ایک مقررہ وقت کی حد بھی متعین کر سکتے ہیں، مثال کے طور پر 2022 کے پہلے مہینوں میں۔ درج ذیل کوڈ کو دیکھیں:

### Coordinates for the polygon of your area of interest...
coordinates = [
    [9.181602157004177, 53.14038825707946],
    [9.181602157004177, 52.30629767547948],
    [10.587520893823973, 52.30629767547948],
    [10.587520893823973, 53.14038825707946],
    [9.181602157004177, 53.14038825707946],
]
### Time-range of interest...
time_start = "2022-01-01T12:00:00Z"
time_end = "2022-05-01T12:00:00Z"

ہماری مثال میں، ہم SageMaker geospatial SDK کے ساتھ پروگرامیٹک یا کوڈ کے تعامل کے ذریعے کام کرتے ہیں، کیونکہ ہم کوڈ پائپ لائنز بنانے میں دلچسپی رکھتے ہیں جو ہمارے عمل میں درکار مختلف مراحل کے ساتھ خودکار ہو سکیں۔ نوٹ کریں کہ آپ SageMaker geospatial کے ساتھ فراہم کردہ گرافیکل ایکسٹینشن کے ذریعے UI کے ساتھ بھی کام کر سکتے ہیں۔ ایمیزون سیج میکر اسٹوڈیو اگر آپ اس نقطہ نظر کو ترجیح دیتے ہیں، جیسا کہ درج ذیل اسکرین شاٹس میں دکھایا گیا ہے۔ Geospatial Studio UI تک رسائی کے لیے، SageMaker اسٹوڈیو لانچر کھولیں اور منتخب کریں۔ جغرافیائی وسائل کا نظم کریں۔. آپ دستاویزات میں مزید تفصیلات دیکھ سکتے ہیں۔ Amazon SageMaker Geospatial صلاحیتوں کے ساتھ شروع کریں۔.

یہاں آپ ارتھ آبزرویشن جابز (EOJs) کے نتائج کو گرافی طور پر تخلیق، نگرانی اور تصور کر سکتے ہیں جنہیں آپ SageMaker جغرافیائی خصوصیات کے ساتھ چلاتے ہیں۔

ہماری مثال پر واپس، SageMaker geospatial SDK کے ساتھ تعامل کا پہلا مرحلہ کلائنٹ کو ترتیب دینا ہے۔ ہم اس کے ساتھ ایک سیشن قائم کرکے ایسا کرسکتے ہیں۔ botocore لائبریری:

import boto3
gsClient = boto3.client('sagemaker-geospatial')

اس مقام سے، ہم کلائنٹ کو دلچسپی کے کسی بھی EOJ کو چلانے کے لیے استعمال کر سکتے ہیں۔

ڈیٹا حاصل کرنا

اس استعمال کے معاملے کے لیے، ہم اپنے دیے گئے جغرافیائی علاقے کے لیے سیٹلائٹ کی تصاویر جمع کرکے شروع کرتے ہیں۔ دلچسپی کے مقام پر منحصر ہے، دستیاب سیٹلائٹس کی طرف سے کم و بیش بار بار کوریج ہو سکتی ہے، جس میں اس کی تصویروں کو منظم کیا جاتا ہے جسے عام طور پر کہا جاتا ہے۔ راسٹر کے مجموعے.

SageMaker کی جغرافیائی صلاحیتوں کے ساتھ، آپ کو براہ راست جغرافیائی ڈیٹا حاصل کرنے کے لیے اعلیٰ معیار کے ڈیٹا ذرائع تک براہ راست رسائی حاصل ہے، بشمول وہ AWS ڈیٹا ایکسچینج اور AWS پر اوپن ڈیٹا کی رجسٹری، دوسروں کے درمیان. ہم سیج میکر کے ذریعہ پہلے سے فراہم کردہ راسٹر مجموعوں کی فہرست کے لئے درج ذیل کمانڈ چلا سکتے ہیں۔

list_raster_data_collections_resp = gsClient.list_raster_data_collections()

یہ دستیاب مختلف راسٹر مجموعوں کی تفصیلات واپس کرتا ہے، بشمول Landsat C2L2 سرفیس ریفلیکٹنس (SR)، Landsat C2L2 سرفیس ٹمپریچر (ST)، یا سینٹینیل 2A اور 2B۔ آسانی سے، لیول 2A کی منظر کشی کو پہلے سے ہی Cloud-Optimized GeoTIFFs (COGs) میں بہتر بنایا گیا ہے۔ درج ذیل کوڈ دیکھیں:

…
{'Name': 'Sentinel 2 L2A COGs',
  'Arn': 'arn:aws:sagemaker-geospatial:us-west-2:378778860802:raster-data-collection/public/nmqj48dcu3g7ayw8',
  'Type': 'PUBLIC',
  'Description': 'Sentinel-2a and Sentinel-2b imagery, processed to Level 2A (Surface Reflectance) and converted to Cloud-Optimized GeoTIFFs'
…

آئیے اس آخری کو اپنی مثال کے طور پر لیتے ہیں، اپنی ترتیب سے data_collection_arn سینٹینیل 2 L2A COGs کے مجموعہ ARN کا پیرامیٹر۔

ہم ایک کثیرالاضلاع کے نقاط کو پاس کر کے ایک دیئے گئے جغرافیائی محل وقوع کے لیے دستیاب تصویروں کو بھی تلاش کر سکتے ہیں جسے ہم نے اپنی دلچسپی کے علاقے (AOI) کے طور پر بیان کیا ہے۔ یہ آپ کو دستیاب تصویری ٹائلوں کا تصور کرنے کی اجازت دیتا ہے جو آپ کے مخصوص AOI کے لیے جمع کردہ کثیرالاضلاع کا احاطہ کرتا ہے، بشمول ایمیزون سادہ اسٹوریج سروس (Amazon S3) ان تصاویر کے لیے URIs۔ نوٹ کریں کہ سیٹلائٹ کی تصاویر عام طور پر مختلف میں فراہم کی جاتی ہیں۔ بینڈ مشاہدے کی طول موج کے مطابق؛ ہم بعد میں پوسٹ میں اس پر مزید بحث کریں گے۔

response = gsClient.search_raster_data_collection(**eoj_input_config, Arn=data_collection_arn)

پچھلا کوڈ دستیاب مختلف امیج ٹائلز کے لیے S3 URIs واپس کرتا ہے، جسے آپ جیو ٹی ایف ایف کے ساتھ ہم آہنگ کسی بھی لائبریری کے ساتھ براہ راست تصور کر سکتے ہیں جیسے rasterio. مثال کے طور پر، آئیے دو ٹرو کلر امیج (TCI) ٹائلوں کو دیکھیں۔

…
'visual': {'Href': 'https://sentinel-cogs.s3.us-west-2.amazonaws.com/sentinel-s2-l2a-cogs/32/U/NC/2022/3/S2A_32UNC_20220325_0_L2A/TCI.tif'},
…

پروسیسنگ کی تکنیک

کچھ عام پری پروسیسنگ تکنیک جو ہم لاگو کرتے ہیں ان میں کلاؤڈ ہٹانا، جیو موزیک، وقتی اعدادوشمار، بینڈ میتھ، یا اسٹیکنگ شامل ہیں۔ یہ تمام عمل اب براہ راست SageMaker میں EOJs کے استعمال کے ذریعے کیے جا سکتے ہیں، بغیر دستی کوڈنگ یا پیچیدہ اور مہنگے تھرڈ پارٹی ٹولز کا استعمال کیے بغیر۔ یہ ہماری ڈیٹا پروسیسنگ پائپ لائنوں کو بنانے میں 50% تیز تر بناتا ہے۔ SageMaker جغرافیائی صلاحیتوں کے ساتھ، ہم ان عملوں کو مختلف قسم کے ان پٹ پر چلا سکتے ہیں۔ مثال کے طور پر:

• کے ذریعے سروس کے ساتھ شامل کسی بھی راسٹر کلیکشن کے لیے براہ راست ایک سوال چلائیں۔ RasterDataCollectionQuery پیرامیٹر
• ایمیزون ایس 3 میں ان پٹ کے طور پر محفوظ کردہ امیجری پاس کریں۔ DataSourceConfig پیرامیٹر
• بس کے ذریعے پچھلے EOJ کے نتائج کو زنجیر بنائیں PreviousEarthObservationJobArn پیرامیٹر

یہ لچک آپ کو کسی بھی قسم کی پروسیسنگ پائپ لائن بنانے کی اجازت دیتی ہے جس کی آپ کو ضرورت ہے۔

درج ذیل خاکہ ان عملوں کی وضاحت کرتا ہے جن کا ہم اپنی مثال میں احاطہ کرتے ہیں۔

ہماری مثال میں، ہم ایک راسٹر ڈیٹا اکٹھا کرنے کے استفسار کو بطور ان پٹ استعمال کرتے ہیں، جس کے لیے ہم اپنے AOI کے نقاط اور دلچسپی کی ٹائم رینج کو پاس کرتے ہیں۔ ہم 2% کی زیادہ سے زیادہ کلاؤڈ کوریج کا ایک فیصد بھی بتاتے ہیں، کیونکہ ہم اپنے جغرافیائی علاقے کا واضح اور شور سے پاک مشاہدات چاہتے ہیں۔ درج ذیل کوڈ دیکھیں:

eoj_input_config = {
    "RasterDataCollectionQuery": {
        "RasterDataCollectionArn": data_collection_arn,
        "AreaOfInterest": {
            "AreaOfInterestGeometry": {"PolygonGeometry": {"Coordinates": [coordinates]}}
        },
        "TimeRangeFilter": {"StartTime": time_start, "EndTime": time_end},
        "PropertyFilters": {
            "Properties": [
                {"Property": {"EoCloudCover": {"LowerBound": 0, "UpperBound": 2}}}
            ]
        },
    }
}

معاون استفسار نحو کے بارے میں مزید معلومات کے لیے، رجوع کریں۔ ارتھ آبزرویشن جاب بنائیں.

کلاؤڈ گیپ کو ہٹانا

زیادہ بادل کوریج کی وجہ سے سیٹلائٹ مشاہدات اکثر کم مفید ہوتے ہیں۔ کلاؤڈ گیپ فلنگ یا کلاؤڈ ریموول تصاویر سے ابر آلود پکسلز کو تبدیل کرنے کا عمل ہے، جو ڈیٹا کو مزید پروسیسنگ کے مراحل کے لیے تیار کرنے کے لیے مختلف طریقوں سے کیا جا سکتا ہے۔

SageMaker جغرافیائی صلاحیتوں کے ساتھ، ہم اسے a کی وضاحت کر کے حاصل کر سکتے ہیں۔ CloudRemovalConfig ہمارے کام کی ترتیب میں پیرامیٹر۔

eoj_config =  {
    'CloudRemovalConfig': {
        'AlgorithmName': 'INTERPOLATION',
        'InterpolationValue': '-9999'
    }
}

نوٹ کریں کہ ہم اپنی مثال میں ایک مقررہ قدر کے ساتھ ایک انٹرپولیشن الگورتھم استعمال کر رہے ہیں، لیکن دیگر کنفیگریشنز بھی تعاون یافتہ ہیں، جیسا کہ اس میں وضاحت کی گئی ہے۔ ارتھ آبزرویشن جاب بنائیں دستاویزات انٹرپولیشن اسے آس پاس کے پکسلز پر غور کر کے ابر آلود پکسلز کو تبدیل کرنے کی قدر کا اندازہ لگانے کی اجازت دیتا ہے۔

اب ہم اپنے ان پٹ اور جاب کنفیگریشن کے ساتھ اپنا EOJ چلا سکتے ہیں:

response = gsClient.start_earth_observation_job(
    Name =  'cloudremovaljob',
    ExecutionRoleArn = role,
    InputConfig = eoj_input_config,
    JobConfig = eoj_config,
)

ان پٹ ایریا اور پروسیسنگ پیرامیٹرز کے لحاظ سے اس کام کو مکمل ہونے میں چند منٹ لگتے ہیں۔

جب یہ مکمل ہو جاتا ہے، EOJ کے نتائج سروس کی ملکیت والے مقام پر محفوظ کیے جاتے ہیں، جہاں سے ہم نتائج کو یا تو Amazon S3 میں ایکسپورٹ کر سکتے ہیں، یا کسی اور EOJ کے لیے ان پٹ کے طور پر ان کا سلسلہ کر سکتے ہیں۔ ہماری مثال میں، ہم درج ذیل کوڈ کو چلا کر Amazon S3 کو نتائج برآمد کرتے ہیں:

response = gsClient.export_earth_observation_job(
    Arn = cr_eoj_arn,
    ExecutionRoleArn = role,
    OutputConfig = {
        'S3Data': {
            'S3Uri': f's3://{bucket}/{prefix}/cloud_removal/',
            'KmsKeyId': ''
        }
    }
)

اب ہم انفرادی سپیکٹرل بینڈز کے لیے اپنے مخصوص Amazon S3 مقام میں ذخیرہ شدہ نتیجہ خیز تصویروں کو دیکھنے کے قابل ہو گئے ہیں۔ مثال کے طور پر، آئیے بلیو بینڈ کی دو تصاویر کا معائنہ کرتے ہیں۔

متبادل کے طور پر، آپ اسٹوڈیو میں دستیاب جغرافیائی توسیعات کا استعمال کرکے EOJ کے نتائج کو گرافی طور پر بھی چیک کرسکتے ہیں، جیسا کہ درج ذیل اسکرین شاٹس میں دکھایا گیا ہے۔

وقتی اعدادوشمار

چونکہ سیٹلائٹ مسلسل زمین کے گرد چکر لگاتے ہیں، اس لیے دلچسپی کے دیے گئے جغرافیائی علاقے کی تصاویر مخصوص وقتی فریکوئنسی کے ساتھ مخصوص وقتی فریموں پر لی جاتی ہیں، جیسے کہ روزانہ، ہر 5 دن، یا 2 ہفتے، سیٹلائٹ کے لحاظ سے۔ وقتی اعداد و شمار کا عمل ہمیں اس قابل بناتا ہے کہ مختلف اوقات میں لیے گئے مختلف مشاہدات کو یکجا کر کے ایک مجموعی نقطہ نظر پیدا کر سکیں، جیسے کہ سالانہ اوسط، یا کسی مخصوص وقت کی حد میں تمام مشاہدات کا اوسط، دیے گئے علاقے کے لیے۔

SageMaker جغرافیائی صلاحیتوں کے ساتھ، ہم اسے ترتیب دے کر کر سکتے ہیں۔ TemporalStatisticsConfig پیرامیٹر ہماری مثال میں، ہم Near Infrared (NIR) بینڈ کے لیے سالانہ اوسط جمع حاصل کرتے ہیں، کیونکہ یہ بینڈ چھتوں کے اوپری حصے کے نیچے پودوں کی کثافت کے فرق کو ظاہر کر سکتا ہے:

eoj_config =  {
    'TemporalStatisticsConfig': {
        'GroupBy': 'YEARLY',
        'Statistics': ['MEAN'],
        'TargetBands': ['nir']
    }
}

اس کنفیگریشن کے ساتھ EOJ چلانے کے چند منٹوں کے بعد، ہم مندرجہ ذیل مثالوں کی طرح امیجری حاصل کرنے کے لیے نتائج کو Amazon S3 پر ایکسپورٹ کر سکتے ہیں، جس میں ہم مختلف پودوں کی کثافتوں کا مشاہدہ کر سکتے ہیں جن کی نمائندگی مختلف رنگوں کی شدت کے ساتھ کی گئی ہے۔ نوٹ کریں کہ EOJ ٹائل کے طور پر ایک سے زیادہ تصاویر تیار کر سکتا ہے، یہ سیٹلائٹ ڈیٹا کے مطابق وقت کی حد اور متعین کردہ نقاط کے لیے دستیاب ہے۔

بینڈ ریاضی

زمین کے مشاہدے کے مصنوعی سیاروں کو مختلف طول موجوں میں روشنی کا پتہ لگانے کے لیے ڈیزائن کیا گیا ہے، جن میں سے کچھ انسانی آنکھ سے پوشیدہ ہیں۔ ہر رینج میں مختلف طول موجوں پر روشنی کے طیف کے مخصوص بینڈ ہوتے ہیں، جو ریاضی کے ساتھ مل کر میدان کی خصوصیات جیسے پودوں کی صحت، درجہ حرارت، یا بادلوں کی موجودگی کے بارے میں بھرپور معلومات کے ساتھ تصاویر تیار کر سکتے ہیں۔ یہ ایک ایسے عمل میں انجام دیا جاتا ہے جسے عام طور پر بینڈ ریاضی یا بینڈ ریاضی کہا جاتا ہے۔

SageMaker جغرافیائی صلاحیتوں کے ساتھ، ہم اسے ترتیب دے کر چلا سکتے ہیں۔ BandMathConfig پیرامیٹر مثال کے طور پر، آئیے درج ذیل کوڈ کو چلا کر نمی انڈیکس کی تصاویر حاصل کریں:

eoj_config =  {
    'BandMathConfig': {
        'CustomIndices': {
            'Operations': [
                {
                    'Name': 'moisture',
                    'Equation': '(nir08 - swir16) / (nir08 + swir16)'
                }
            ]
        }
    }
}

اس ترتیب کے ساتھ EOJ چلانے کے چند منٹ بعد، ہم نتائج برآمد کر سکتے ہیں اور تصاویر حاصل کر سکتے ہیں، جیسے کہ درج ذیل دو مثالیں۔

Stacking

بینڈ ریاضی کی طرح، اصل بینڈوں سے جامع امیجز بنانے کے لیے بینڈوں کو ایک ساتھ جوڑنے کے عمل کو اسٹیکنگ کہا جاتا ہے۔ مثال کے طور پر، ہم AOI کی حقیقی رنگین تصویر بنانے کے لیے سیٹلائٹ امیج کے سرخ، نیلے اور سبز روشنی والے بینڈ کو اسٹیک کر سکتے ہیں۔

SageMaker جغرافیائی صلاحیتوں کے ساتھ، ہم اسے ترتیب دے کر کر سکتے ہیں۔ StackConfig پیرامیٹر آئیے درج ذیل کمانڈ کے ساتھ پچھلی مثال کے مطابق آر جی بی بینڈز کو اسٹیک کریں:

eoj_config =  {
    'StackConfig': {
        'OutputResolution': {
            'Predefined': 'HIGHEST'
        },
        'TargetBands': ['red', 'green', 'blue']
    }
}

اس ترتیب کے ساتھ EOJ چلانے کے چند منٹوں کے بعد، ہم نتائج برآمد کر سکتے ہیں اور تصاویر حاصل کر سکتے ہیں۔

سیمنٹک سیگمنٹیشن ماڈلز

اپنے کام کے حصے کے طور پر، ہم عام طور پر ML ماڈلز کا استعمال پہلے سے پروسیس شدہ تصویروں کے بارے میں اندازہ لگانے کے لیے کرتے ہیں، جیسے کہ ابر آلود علاقوں کا پتہ لگانا یا تصاویر کے ہر علاقے میں زمین کی قسم کی درجہ بندی کرنا۔

SageMaker جغرافیائی صلاحیتوں کے ساتھ، آپ بلٹ ان سیگمنٹیشن ماڈلز پر انحصار کر کے ایسا کر سکتے ہیں۔

ہماری مثال کے طور پر، آئیے اس کی وضاحت کرتے ہوئے زمین کے احاطہ کے سیگمنٹیشن ماڈل کا استعمال کریں۔ LandCoverSegmentationConfig پیرامیٹر یہ SageMaker میں کسی بھی انفراسٹرکچر کی تربیت یا میزبانی کرنے کی ضرورت کے بغیر، بلٹ ان ماڈل کا استعمال کرتے ہوئے ان پٹ پر انفرنسز چلاتا ہے:

response = gsClient.start_earth_observation_job(
    Name =  'landcovermodeljob',
    ExecutionRoleArn = role,
    InputConfig = eoj_input_config,
    JobConfig = {
        'LandCoverSegmentationConfig': {},
    },
)

اس ترتیب کے ساتھ کام چلانے کے چند منٹ بعد، ہم نتائج برآمد کر سکتے ہیں اور تصاویر حاصل کر سکتے ہیں۔

پچھلی مثالوں میں، تصاویر میں ہر پکسل زمین کی قسم کی کلاس سے مطابقت رکھتا ہے، جیسا کہ درج ذیل لیجنڈ میں دکھایا گیا ہے۔

اس سے ہمیں منظر میں مخصوص قسم کے علاقوں کی شناخت کرنے کی اجازت ملتی ہے جیسے کہ پودوں یا پانی، اضافی تجزیوں کے لیے قیمتی بصیرت فراہم کرتے ہیں۔

SageMaker کے ساتھ اپنا ماڈل لائیں۔

اگر سیج میکر کے ساتھ فراہم کردہ جدید ترین جغرافیائی ماڈلز ہمارے استعمال کے معاملے کے لیے کافی نہیں ہیں، تو ہم اب تک دکھائے گئے کسی بھی پری پروسیسنگ مراحل کے نتائج کو تخمینہ کے لیے سیج میکر کو آن بورڈ کیے گئے کسی بھی حسب ضرورت ماڈل کے ساتھ بھی جوڑ سکتے ہیں، جیسا کہ وضاحت کی گئی ہے۔ اس میں سیج میکر اسکرپٹ موڈ مثال. ہم یہ SageMaker میں تعاون یافتہ کسی بھی انفرنس موڈ کے ساتھ کر سکتے ہیں، بشمول ریئل ٹائم SageMaker اینڈ پوائنٹس کے ساتھ ہم وقت ساز، SageMaker کے غیر مطابقت پذیر اینڈ پوائنٹس کے ساتھ غیر مطابقت پذیر، SageMaker بیچ ٹرانسفارمز کے ساتھ بیچ یا آف لائن، اور SageMaker سرور لیس انفرنس کے ساتھ سرور کے بغیر۔ آپ ان طریقوں کے بارے میں مزید تفصیلات میں چیک کر سکتے ہیں۔ اندازہ کے لیے ماڈلز تعینات کریں۔ دستاویزات درج ذیل خاکہ اعلیٰ سطح میں کام کے بہاؤ کو واضح کرتا ہے۔

ہماری مثال کے طور پر، فرض کریں کہ ہم نے زمین کے احاطہ کی درجہ بندی اور فصل کی قسم کی درجہ بندی کرنے کے لیے دو ماڈلز کو آن بورڈ کیا ہے۔

ہمیں صرف اپنے تربیت یافتہ ماڈل آرٹفیکٹ کی طرف اشارہ کرنا ہے، ہماری مثال میں ایک PyTorch ماڈل، جو درج ذیل کوڈ کی طرح ہے:

from sagemaker.pytorch import PyTorchModel
import datetime

model = PyTorchModel(
    name=model_name, ### Set a model name
    model_data=MODEL_S3_PATH, ### Location of the custom model in S3
    role=role,
    entry_point='inference.py', ### Your inference entry-point script
    source_dir='code', ### Folder with any dependencies
    image_uri=image_uri, ### URI for your AWS DLC or custom container
    env={
        'TS_MAX_REQUEST_SIZE': '100000000',
        'TS_MAX_RESPONSE_SIZE': '100000000',
        'TS_DEFAULT_RESPONSE_TIMEOUT': '1000',
    }, ### Optional – Set environment variables for max size and timeout
)

predictor = model.deploy(
    initial_instance_count = 1, ### Your number of instances
    instance_type = 'ml.g4dn.8xlarge', ### Your instance type
    async_inference_config=sagemaker.async_inference.AsyncInferenceConfig(
        output_path=f"s3://{bucket}/{prefix}/output",
        max_concurrent_invocations_per_instance=2,
    ), ### Optional – Async config if using SageMaker Async Endpoints
)

predictor.predict(data) ### Your images for inference

یہ آپ کو اندازہ لگانے کے بعد نتیجے میں آنے والی تصاویر حاصل کرنے کی اجازت دیتا ہے، اس ماڈل پر منحصر ہے جو آپ استعمال کر رہے ہیں۔

ہماری مثال میں، اپنی مرضی کے مطابق لینڈ کور سیگمنٹیشن چلاتے وقت، ماڈل مندرجہ ذیل سے ملتی جلتی تصاویر تیار کرتا ہے، جہاں ہم ان پٹ اور پیشین گوئی کی تصاویر کا اس کے متعلقہ لیجنڈ سے موازنہ کرتے ہیں۔

 .

مندرجہ ذیل فصل کی درجہ بندی کے ماڈل کی ایک اور مثال ہے، جہاں ہم اصل بمقابلہ نتیجے میں پیناپٹک اور سیمنٹک سیگمنٹیشن کے نتائج کا موازنہ دکھاتے ہیں، اس کے متعلقہ لیجنڈ کے ساتھ۔

جغرافیائی پائپ لائنوں کو خودکار کرنا

آخر میں، ہم جغرافیائی ڈیٹا پروسیسنگ اور انفرنس پائپ لائنز بنا کر پچھلے مراحل کو بھی خودکار کر سکتے ہیں۔ ایمیزون سیج میکر پائپ لائنز. کے استعمال کے ذریعے درکار ہر پری پروسیسنگ مرحلہ کو ہم صرف زنجیر بناتے ہیں۔ لیمبڈا اسٹیپس اور کال بیک کے اقدامات پائپ لائنوں میں مثال کے طور پر، آپ ٹرانسفارم سٹیپ کا استعمال کرتے ہوئے یا براہ راست لیمبڈا اسٹیپس اور کال بیک اسٹیپس کے کسی دوسرے امتزاج کے ذریعے، SageMaker جغرافیائی خصوصیات میں بلٹ ان سیمنٹک سیگمنٹیشن ماڈلز میں سے ایک کے ساتھ EOJ کو چلانے کے لیے حتمی تخمینہ کا مرحلہ بھی شامل کر سکتے ہیں۔

نوٹ کریں کہ ہم پائپ لائنز میں لیمبڈا اسٹیپس اور کال بیک اسٹیپس استعمال کر رہے ہیں کیونکہ EOJs متضاد ہیں، اس لیے اس قسم کا مرحلہ ہمیں پروسیسنگ جاب کے چلنے کی نگرانی کرنے اور پائپ لائن کو دوبارہ شروع کرنے کی اجازت دیتا ہے جب یہ پیغامات کے ذریعے مکمل ہو جائے۔ ایمیزون سادہ قطار سروس (ایمیزون SQS) قطار۔

آپ نوٹ بک کو میں چیک کر سکتے ہیں۔ GitHub ذخیرہ اس کوڈ کی تفصیلی مثال کے لیے۔

اب ہم سٹوڈیو کے ذریعے اپنی جغرافیائی پائپ لائن کے خاکے کو دیکھ سکتے ہیں اور پائپ لائنز میں رنز کی نگرانی کر سکتے ہیں، جیسا کہ درج ذیل اسکرین شاٹ میں دکھایا گیا ہے۔

نتیجہ

اس پوسٹ میں، ہم نے xarvio ڈیجیٹل فارمنگ سلوشنز سے ہماری جدید مصنوعات کے لیے جغرافیائی ڈیٹا پائپ لائنز بنانے کے لیے SageMaker جغرافیائی صلاحیتوں کے ساتھ لاگو کیے گئے عمل کا خلاصہ پیش کیا۔ SageMaker geospatial کے استعمال سے ہمارے جغرافیائی کام کی کارکردگی میں 50% سے زیادہ اضافہ ہوا، پہلے سے بنائے گئے APIs کے استعمال سے جو ML کے لیے ہمارے پری پروسیسنگ اور ماڈلنگ کے مراحل کو تیز اور آسان بناتے ہیں۔

اگلے قدم کے طور پر، ہم اپنے کیٹلاگ سے SageMaker پر مزید ماڈلز بھیج رہے ہیں تاکہ ہماری حل پائپ لائنوں کی آٹومیشن کو جاری رکھا جا سکے، اور سروس کے تیار ہوتے ہی SageMaker کی مزید جغرافیائی خصوصیات کا استعمال جاری رکھیں گے۔

ہم آپ کی حوصلہ افزائی کرتے ہیں کہ اس پوسٹ میں فراہم کردہ اینڈ ٹو اینڈ مثال نوٹ بک کو اپنا کر، اور سروس کے بارے میں مزید جان کر SageMaker کی جغرافیائی صلاحیتوں کو آزمائیں Amazon SageMaker Geospatial صلاحیتیں کیا ہیں؟.

مصنفین کے بارے میں

جولین بلاؤ BASF Digital Farming GmbH میں ڈیٹا سائنٹسٹ ہے، جو کولون، جرمنی میں واقع ہے۔ وہ جغرافیائی ڈیٹا اور مشین لرننگ کا استعمال کرتے ہوئے BASF کے عالمی کسٹمر بیس کی ضروریات کو پورا کرتے ہوئے زراعت کے لیے ڈیجیٹل حل تیار کرتا ہے۔ کام سے باہر، وہ دوستوں اور کنبہ کے ساتھ سفر کرنے اور باہر رہنے میں لطف اندوز ہوتا ہے۔

انتونیو روڈریگ ایمیزون ویب سروسز میں مصنوعی ذہانت اور مشین لرننگ اسپیشلسٹ سولیوشن آرکیٹیکٹ ہے، جو اسپین سے باہر ہے۔ وہ تمام سائز کی کمپنیوں کو جدت کے ذریعے اپنے چیلنجوں کو حل کرنے میں مدد کرتا ہے، اور AWS Cloud اور AI/ML سروسز کے ساتھ نئے کاروباری مواقع پیدا کرتا ہے۔ کام کے علاوہ، وہ اپنے خاندان کے ساتھ وقت گزارنا اور اپنے دوستوں کے ساتھ کھیل کھیلنا پسند کرتا ہے۔