Amazon SageMaker geospatial ক্ষমতা ব্যবহার করে অন্তর্দৃষ্টি পেতে গতিশীলতা ডেটা ব্যবহার করুন | আমাজন ওয়েব সার্ভিসেস

ভূ-স্থানিক ডেটা হল পৃথিবীর পৃষ্ঠের নির্দিষ্ট অবস্থান সম্পর্কে ডেটা। এটি সামগ্রিকভাবে একটি ভৌগলিক অঞ্চলকে প্রতিনিধিত্ব করতে পারে বা এটি একটি ভৌগলিক এলাকার সাথে সম্পর্কিত একটি ঘটনাকে প্রতিনিধিত্ব করতে পারে। কয়েকটি শিল্পে ভূ-স্থানিক ডেটা বিশ্লেষণের চেষ্টা করা হয়। এটি একটি স্থানিক দৃষ্টিকোণ থেকে ডেটা কোথায় বিদ্যমান এবং কেন এটি সেখানে বিদ্যমান তা বোঝা জড়িত।

দুই ধরনের ভূ-স্থানিক ডেটা রয়েছে: ভেক্টর ডেটা এবং রাস্টার ডেটা। রাস্টার ডেটা হল একটি গ্রিড হিসাবে উপস্থাপিত কোষগুলির একটি ম্যাট্রিক্স, যা বেশিরভাগ ফটোগ্রাফ এবং উপগ্রহ চিত্রের প্রতিনিধিত্ব করে। এই পোস্টে, আমরা ভেক্টর ডেটার উপর ফোকাস করি, যা অক্ষাংশ এবং দ্রাঘিমাংশের ভৌগলিক স্থানাঙ্ক হিসাবে উপস্থাপিত হয় সেইসাথে রেখা এবং বহুভুজ (ক্ষেত্রগুলি) তাদের সংযুক্ত বা বেষ্টন করে। গতিশীলতার অন্তর্দৃষ্টি অর্জনে ভেক্টর ডেটার প্রচুর ব্যবহার রয়েছে। ব্যবহারকারীর মোবাইল ডেটা এটির একটি অনুরূপ উপাদান, এবং এটি বেশিরভাগই SDKs বা অনুরূপ ইন্টিগ্রেশন ব্যবহার করে GPS বা অ্যাপ প্রকাশকদের ব্যবহার করে মোবাইল ডিভাইসের ভৌগলিক অবস্থান থেকে উদ্ভূত। এই পোস্টের উদ্দেশ্যে, আমরা হিসাবে এই তথ্য উল্লেখ গতিশীল তথ্য.

এটি একটি দুই পর্বের সিরিজ। এই প্রথম পোস্টে, আমরা গতিশীলতা ডেটা, এর উত্স এবং এই ডেটার একটি সাধারণ স্কিমা উপস্থাপন করি। তারপরে আমরা বিভিন্ন ব্যবহারের ক্ষেত্রে আলোচনা করি এবং অন্বেষণ করি যে আপনি কীভাবে ডেটা পরিষ্কার করতে AWS পরিষেবাগুলি ব্যবহার করতে পারেন, কীভাবে মেশিন লার্নিং (ML) এই প্রচেষ্টায় সহায়তা করতে পারে এবং কীভাবে আপনি ভিজ্যুয়াল এবং অন্তর্দৃষ্টি তৈরিতে ডেটার নৈতিক ব্যবহার করতে পারেন। দ্বিতীয় পোস্টটি আরও প্রযুক্তিগত প্রকৃতির হবে এবং নমুনা কোডের পাশাপাশি এই ধাপগুলিকে বিস্তারিতভাবে কভার করবে। এই পোস্টে একটি নমুনা ডেটাসেট বা নমুনা কোড নেই, বরং এটি একটি ডেটা এগ্রিগেটর থেকে কেনার পরে ডেটা কীভাবে ব্যবহার করতে হয় তা কভার করে৷

তুমি ব্যবহার করতে পার আমাজন সেজমেকার ভূ-স্থানিক ক্ষমতা একটি বেস মানচিত্রে গতিশীলতার ডেটা ওভারলে করা এবং সহযোগিতাকে সহজ করার জন্য স্তরযুক্ত ভিজ্যুয়ালাইজেশন প্রদান করা। GPU-চালিত ইন্টারেক্টিভ ভিজ্যুয়ালাইজার এবং পাইথন নোটবুকগুলি একটি একক উইন্ডোতে লক্ষ লক্ষ ডেটা পয়েন্ট অন্বেষণ করার এবং অন্তর্দৃষ্টি এবং ফলাফলগুলি ভাগ করে নেওয়ার একটি বিরামহীন উপায় প্রদান করে৷

সূত্র এবং স্কিমা

গতিশীলতা ডেটার কয়েকটি উত্স রয়েছে। জিপিএস পিংস এবং অ্যাপ প্রকাশক ছাড়াও, অন্যান্য উত্সগুলি ডেটাসেট বাড়াতে ব্যবহার করা হয়, যেমন Wi-Fi অ্যাক্সেস পয়েন্ট, মোবাইল ডিভাইসে বিজ্ঞাপন পরিবেশনের মাধ্যমে প্রাপ্ত বিড স্ট্রিম ডেটা এবং ব্যবসার দ্বারা স্থাপন করা নির্দিষ্ট হার্ডওয়্যার ট্রান্সমিটার (উদাহরণস্বরূপ, ফিজিক্যাল স্টোরগুলিতে ) ব্যবসার জন্য নিজেরাই এই ডেটা সংগ্রহ করা প্রায়শই কঠিন হয়, তাই তারা ডেটা অ্যাগ্রিগেটরদের কাছ থেকে এটি কিনতে পারে। ডেটা অ্যাগ্রিগেটররা বিভিন্ন উত্স থেকে গতিশীলতার ডেটা সংগ্রহ করে, এটি পরিষ্কার করে, শব্দ যোগ করে এবং নির্দিষ্ট ভৌগলিক অঞ্চলের জন্য প্রতিদিন ডেটা উপলব্ধ করে। ডেটার প্রকৃতির কারণে এবং এটি পাওয়া কঠিন হওয়ার কারণে, এই ডেটার নির্ভুলতা এবং গুণমান উল্লেখযোগ্যভাবে পরিবর্তিত হতে পারে, এবং দৈনিক সক্রিয় ব্যবহারকারী, মোট দৈনিক পিংস, এর মতো মেট্রিক্স ব্যবহার করে এটি মূল্যায়ন ও যাচাই করা ব্যবসার উপর নির্ভর করে। এবং ডিভাইস প্রতি গড় দৈনিক পিং। নিম্নলিখিত সারণীটি দেখায় যে ডেটা এগ্রিগেটরদের দ্বারা প্রেরিত একটি দৈনিক ডেটা ফিডের একটি সাধারণ স্কিমা কেমন হতে পারে৷

গুণ	বিবরণ
আইডি বা MAID	ডিভাইসের মোবাইল বিজ্ঞাপন আইডি (MAID) (হ্যাশ করা)
Lat	ডিভাইসের অক্ষাংশ
LNG	ডিভাইসের দ্রাঘিমাংশ
জিওহ্যাশ	ডিভাইসের জিওহ্যাশ অবস্থান
ডিভাইসের ধরন	ডিভাইসের অপারেটিং সিস্টেম = IDFA বা GAID
অনুভূমিক_নির্ভুলতা	অনুভূমিক জিপিএস স্থানাঙ্কের যথার্থতা (মিটারে)
টাইমস্ট্যাম্প	ইভেন্টের টাইমস্ট্যাম্প
ip	আইপি ঠিকানা
অল্টার	ডিভাইসের উচ্চতা (মিটারে)
স্পীড	ডিভাইসের গতি (মিটার/সেকেন্ডে)
দেশ	মূল দেশের জন্য ISO দুই-সংখ্যার কোড
অবস্থা	রাষ্ট্রের প্রতিনিধিত্বকারী কোড
শহর	শহরের প্রতিনিধিত্বকারী কোড
জিপকোড	যেখানে ডিভাইস আইডি দেখা যাচ্ছে তার পিনকোড
বাহক	ডিভাইসের বাহক
device_manufacturer	ডিভাইসের নির্মাতা

ব্যবহারের ক্ষেত্রে

বিভিন্ন শিল্পে গতিশীলতা ডেটার ব্যাপক প্রয়োগ রয়েছে। নিম্নলিখিত কিছু সাধারণ ব্যবহারের ক্ষেত্রে রয়েছে:

• ঘনত্ব মেট্রিক্স - পাদদেশের ট্র্যাফিক বিশ্লেষণকে জনসংখ্যার ঘনত্বের সাথে একত্রিত করা যেতে পারে কার্যক্রম পর্যবেক্ষণ করতে এবং আগ্রহের পয়েন্টে (POIs) পরিদর্শন করতে। এই মেট্রিক্সগুলি কতগুলি ডিভাইস বা ব্যবহারকারী সক্রিয়ভাবে একটি ব্যবসা বন্ধ করছে এবং জড়িত রয়েছে তার একটি চিত্র উপস্থাপন করে, যা সাইট নির্বাচনের জন্য বা এমনকি একটি ইভেন্টের আশেপাশে চলাফেরার প্যাটার্ন বিশ্লেষণের জন্যও ব্যবহার করা যেতে পারে (উদাহরণস্বরূপ, খেলার দিনের জন্য ভ্রমণকারীরা)। এই ধরনের অন্তর্দৃষ্টি প্রাপ্ত করার জন্য, ইনকামিং কাঁচা ডেটা একটি এক্সট্রাক্ট, ট্রান্সফর্ম, এবং লোড (ETL) প্রক্রিয়ার মধ্য দিয়ে যায় যাতে ডিভাইস লোকেশন পিংসের ক্রমাগত স্ট্রীম থেকে ক্রিয়াকলাপ বা ব্যস্ততা সনাক্ত করা যায়। আমরা এমএল মডেল ব্যবহার করে ক্লাস্টারিং পিং দ্বারা ব্যবহারকারী বা মোবাইল ডিভাইস দ্বারা তৈরি স্টপগুলি সনাক্ত করে কার্যকলাপগুলি বিশ্লেষণ করতে পারি আমাজন সেজমেকার.
• ট্রিপ এবং ট্রাজেক্টোরিজ - একটি ডিভাইসের দৈনিক অবস্থান ফিড ক্রিয়াকলাপ (স্টপ) এবং ট্রিপ (আন্দোলন) এর সংগ্রহ হিসাবে প্রকাশ করা যেতে পারে। একজোড়া ক্রিয়াকলাপ তাদের মধ্যে একটি ভ্রমণের প্রতিনিধিত্ব করতে পারে এবং ভৌগলিক স্থানে চলন্ত যন্ত্র দ্বারা ট্রিপটি ট্রেসিং প্রকৃত ট্র্যাজেক্টোরি ম্যাপিং করতে পারে। ব্যবহারকারীর গতিবিধির ট্র্যাজেক্টরি প্যাটার্নগুলি আকর্ষণীয় অন্তর্দৃষ্টি যেমন ট্র্যাফিক প্যাটার্ন, জ্বালানী খরচ, শহর পরিকল্পনা এবং আরও অনেক কিছুর দিকে নিয়ে যেতে পারে। এটি একটি বিলবোর্ডের মতো বিজ্ঞাপনের পয়েন্টগুলি থেকে নেওয়া রুট বিশ্লেষণ করার জন্য ডেটা প্রদান করতে পারে, সরবরাহ শৃঙ্খল ক্রিয়াকলাপগুলিকে অপ্টিমাইজ করার জন্য সবচেয়ে দক্ষ ডেলিভারি রুটগুলি সনাক্ত করতে পারে, বা প্রাকৃতিক দুর্যোগে (উদাহরণস্বরূপ, হারিকেন ইভাক্যুয়েশন) সরিয়ে নেওয়ার রুটগুলি বিশ্লেষণ করতে পারে৷
• ক্যাচমেন্ট এলাকা বিশ্লেষণ - একটি ক্যাচমেন্ট এলাকা এমন জায়গাগুলিকে বোঝায় যেখান থেকে একটি প্রদত্ত এলাকা তার দর্শকদের আকর্ষণ করে, যারা গ্রাহক বা সম্ভাব্য গ্রাহক হতে পারে। খুচরা ব্যবসাগুলি একটি নতুন দোকান খোলার জন্য সর্বোত্তম অবস্থান নির্ধারণ করতে এই তথ্য ব্যবহার করতে পারে, বা দুটি দোকানের অবস্থানগুলি ওভারল্যাপিং ক্যাচমেন্ট এলাকাগুলির সাথে একে অপরের খুব কাছাকাছি এবং একে অপরের ব্যবসায় বাধা দিচ্ছে কিনা তা নির্ধারণ করতে পারে৷ তারা প্রকৃত গ্রাহকরা কোথা থেকে আসছে তাও খুঁজে বের করতে পারে, সম্ভাব্য গ্রাহকদের সনাক্ত করতে পারে যারা কর্মক্ষেত্রে বা বাড়িতে ভ্রমণের এলাকা দিয়ে যায়, প্রতিযোগীদের জন্য অনুরূপ পরিদর্শন মেট্রিক্স বিশ্লেষণ করে এবং আরও অনেক কিছু। মার্কেটিং টেক (MarTech) এবং Advertisement Tech (AdTech) কোম্পানিগুলি একটি ব্র্যান্ডের দোকানের কাছাকাছি শ্রোতাদের চিহ্নিত করে বা বাড়ির বাইরে বিজ্ঞাপনের জন্য পারফরম্যান্সের ভিত্তিতে স্টোরগুলিকে র‌্যাঙ্ক করার জন্য বিপণন প্রচারাভিযান অপ্টিমাইজ করতে এই বিশ্লেষণটি ব্যবহার করতে পারে।

বাণিজ্যিক রিয়েল এস্টেটের জন্য অবস্থানের বুদ্ধিমত্তা তৈরি করা, ফুটফলের সংখ্যা সহ স্যাটেলাইট চিত্রের ডেটা বৃদ্ধি করা, রেস্তোরাঁর জন্য ডেলিভারি হাব চিহ্নিত করা, আশেপাশের এলাকা থেকে সরিয়ে নেওয়ার সম্ভাবনা নির্ধারণ করা, মহামারী চলাকালীন মানুষের চলাচলের ধরণগুলি আবিষ্কার করা এবং আরও অনেক কিছু ব্যবহার করা হয়েছে।

চ্যালেঞ্জ এবং নৈতিক ব্যবহার

গতিশীলতা ডেটার নৈতিক ব্যবহার অনেক আকর্ষণীয় অন্তর্দৃষ্টির দিকে নিয়ে যেতে পারে যা সংস্থাগুলিকে তাদের ক্রিয়াকলাপ উন্নত করতে, কার্যকর বিপণন সম্পাদন করতে বা এমনকি একটি প্রতিযোগিতামূলক সুবিধা অর্জন করতে সহায়তা করতে পারে। এই ডেটা নৈতিকভাবে ব্যবহার করতে, বেশ কয়েকটি ধাপ অনুসরণ করতে হবে।

এটি নিজেই ডেটা সংগ্রহের সাথে শুরু হয়। যদিও বেশিরভাগ গতিশীলতা ডেটা ব্যক্তিগতভাবে সনাক্তযোগ্য তথ্য (PII) যেমন নাম এবং ঠিকানা থেকে মুক্ত থাকে, তথ্য সংগ্রহকারী এবং সমষ্টিকারীদের অবশ্যই তাদের ডেটা সংগ্রহ, ব্যবহার, সংরক্ষণ এবং ভাগ করার জন্য ব্যবহারকারীর সম্মতি থাকতে হবে। GDPR এবং CCPA-এর মতো ডেটা গোপনীয়তা আইনগুলি মেনে চলতে হবে কারণ তারা ব্যবহারকারীদের কীভাবে ব্যবসাগুলি তাদের ডেটা ব্যবহার করতে পারে তা নির্ধারণ করার ক্ষমতা দেয়। এই প্রথম পদক্ষেপটি গতিশীলতা ডেটার নৈতিক এবং দায়িত্বশীল ব্যবহারের দিকে একটি উল্লেখযোগ্য পদক্ষেপ, তবে আরও কিছু করা যেতে পারে।

প্রতিটি ডিভাইসে একটি হ্যাশড মোবাইল অ্যাডভারটাইজিং আইডি (MAID) বরাদ্দ করা হয়, যা পৃথক পিংগুলিকে অ্যাঙ্কর করতে ব্যবহৃত হয়। এটি ব্যবহার করে আরও অস্পষ্ট করা যেতে পারে অ্যামাজন ম্যাকি, Amazon S3 অবজেক্ট Lambda, অ্যামাজন সমঝোতা, বা এমনকি AWS গ্লু স্টুডিও PII রূপান্তর সনাক্ত করুন। আরো তথ্যের জন্য, পড়ুন AWS পরিষেবা ব্যবহার করে PHI এবং PII ডেটা সনাক্ত করার সাধারণ কৌশল.

PII ছাড়াও, ব্যবহারকারীর বাড়ির অবস্থানের পাশাপাশি সামরিক ঘাঁটি বা উপাসনালয়ের মতো অন্যান্য সংবেদনশীল অবস্থানগুলিকে মাস্ক করার জন্য বিবেচনা করা উচিত।

নৈতিক ব্যবহারের জন্য চূড়ান্ত পদক্ষেপ হল Amazon SageMaker থেকে শুধুমাত্র একত্রিত মেট্রিক্স আহরণ এবং রপ্তানি করা। এর মানে হল ব্যক্তিগত ভ্রমণের ধরণগুলির বিপরীতে গড় সংখ্যা বা দর্শকের মোট সংখ্যার মতো মেট্রিক্স পাওয়া; দৈনিক, সাপ্তাহিক, মাসিক বা বার্ষিক প্রবণতা পাওয়া; অথবা জনগণনার ডেটার মতো সর্বজনীনভাবে উপলব্ধ ডেটার উপর গতিশীলতার প্যাটারগুলিকে সূচীকরণ।

সমাধান ওভারভিউ

আগেই উল্লেখ করা হয়েছে, আপনি গতিশীলতার ডেটা বিশ্লেষণের জন্য যে AWS পরিষেবাগুলি ব্যবহার করতে পারেন সেগুলি হল Amazon S3, Amazon Macie, AWS Glue, S3 অবজেক্ট Lambda, Amazon Comprehend, এবং Amazon SageMaker geospatial ক্ষমতা৷ Amazon SageMaker ভূ-স্থানিক ক্ষমতাগুলি ডেটা বিজ্ঞানী এবং এমএল ইঞ্জিনিয়ারদের জন্য জিওস্পেশিয়াল ডেটা ব্যবহার করে মডেল তৈরি, প্রশিক্ষণ এবং স্থাপন করা সহজ করে তোলে৷ আপনি দক্ষতার সাথে বড় আকারের ভূ-স্থানিক ডেটাসেটগুলিকে রূপান্তর করতে বা সমৃদ্ধ করতে পারেন, প্রাক-প্রশিক্ষিত ML মডেলগুলির সাথে মডেল বিল্ডিংকে ত্বরান্বিত করতে পারেন, এবং 3D অ্যাক্সিলারেটেড গ্রাফিক্স এবং অন্তর্নির্মিত ভিজ্যুয়ালাইজেশন সরঞ্জামগুলি ব্যবহার করে একটি ইন্টারেক্টিভ মানচিত্রে মডেল ভবিষ্যদ্বাণী এবং ভূ-স্থানিক ডেটা অন্বেষণ করতে পারেন৷

নিম্নলিখিত রেফারেন্স আর্কিটেকচারটি জিওস্পেশিয়াল ডেটা সহ ML ব্যবহার করে একটি ওয়ার্কফ্লো চিত্রিত করে।

এই ওয়ার্কফ্লোতে, বিভিন্ন ডেটা উত্স থেকে কাঁচা ডেটা একত্রিত করা হয় এবং একটিতে সংরক্ষণ করা হয় আমাজন সিম্পল স্টোরেজ সার্ভিস (S3) বালতি। Amazon Macie এই S3 বালতিতে ব্যবহার করা হয় সনাক্ত করতে এবং সংশোধন করতে এবং PII করতে। AWS Glue তারপরে কাঁচা ডেটা পরিষ্কার এবং প্রয়োজনীয় বিন্যাসে রূপান্তর করতে ব্যবহৃত হয়, তারপর পরিবর্তিত এবং পরিষ্কার করা ডেটা একটি পৃথক S3 বালতিতে সংরক্ষণ করা হয়। AWS Glue এর মাধ্যমে সম্ভব নয় এমন ডেটা ট্রান্সফরমেশনের জন্য আপনি ব্যবহার করেন এডাব্লুএস ল্যাম্বদা কাঁচা ডেটা পরিবর্তন এবং পরিষ্কার করতে। ডেটা পরিষ্কার হয়ে গেলে, আপনি প্রিপড জিওস্পেশিয়াল ডেটাতে এমএল মডেল তৈরি, প্রশিক্ষণ এবং স্থাপন করতে Amazon SageMaker ব্যবহার করতে পারেন। এছাড়াও আপনি ব্যবহার করতে পারেন ভূ-স্থানিক প্রক্রিয়াকরণ কাজ ডেটা প্রিপ্রসেস করার জন্য Amazon SageMaker ভূ-স্থানিক ক্ষমতার বৈশিষ্ট্য—উদাহরণস্বরূপ, একটি পাইথন ফাংশন এবং এসকিউএল স্টেটমেন্ট ব্যবহার করে কাঁচা গতিশীলতা ডেটা থেকে কার্যকলাপ সনাক্ত করা। ডেটা বিজ্ঞানীরা Amazon SageMaker নোটবুকের মাধ্যমে সংযোগ করে এই প্রক্রিয়াটি সম্পন্ন করতে পারেন। আপনিও ব্যবহার করতে পারেন অ্যামাজন কুইকসাইট ডেটা থেকে ব্যবসার ফলাফল এবং অন্যান্য গুরুত্বপূর্ণ মেট্রিক্স কল্পনা করতে।

Amazon SageMaker ভূ-স্থানিক ক্ষমতা এবং ভূ-স্থানিক প্রক্রিয়াকরণের কাজ

ডেটা প্রাপ্ত হওয়ার পরে এবং প্রতিদিনের ফিডের সাথে অ্যামাজন এস 3 এ খাওয়ানো হয় এবং যে কোনও সংবেদনশীল ডেটা পরিষ্কার করার পরে, এটি একটি ব্যবহার করে অ্যামাজন সেজমেকারে আমদানি করা যেতে পারে। অ্যামাজন সেজমেকার স্টুডিও একটি ভূ-স্থানিক চিত্র সহ নোটবুক। নিম্নলিখিত স্ক্রিনশটটি একটি CSV ফাইল হিসাবে Amazon S3 এ আপলোড করা এবং তারপর একটি পান্ডাস ডেটা ফ্রেমে লোড করা প্রতিদিনের ডিভাইস পিংসের একটি নমুনা দেখায়৷ জিওস্পেশিয়াল ইমেজ সহ অ্যামাজন সেজমেকার স্টুডিও নোটবুকটি জিডিএএল, জিওপান্ডাস, ফিওনা এবং শেপলির মতো জিওস্পেশিয়াল লাইব্রেরিগুলির সাথে আগে থেকে লোড করা হয় এবং এই ডেটা প্রক্রিয়া এবং বিশ্লেষণ করা সহজ করে তোলে।

এই নমুনা ডেটাসেটে 400,000 মে, 5,000-এ ফিনিক্স, অ্যারিজোনার একটি জনপ্রিয় শপিং মল কমপ্লেক্স অ্যারোহেড মল পরিদর্শন করা ব্যবহারকারীদের কাছ থেকে রেকর্ড করা 14,000টি অনন্য স্থান থেকে 15টি ডিভাইস থেকে আনুমানিক 2023 দৈনিক ডিভাইস পিং রয়েছে। ডেটা স্কিমা। দ্য MAID কলাম ডিভাইস আইডি উপস্থাপন করে এবং প্রতিটি MAID প্রতি মিনিটে পিং তৈরি করে ডিভাইসের অক্ষাংশ এবং দ্রাঘিমাংশ রিলে করে, নমুনা ফাইলে রেকর্ড করা হয়েছে Lat এবং Lng কলাম.

ফোরস্কয়ার স্টুডিও দ্বারা চালিত Amazon SageMaker জিওস্পেশিয়াল ক্ষমতার ম্যাপ ভিজ্যুয়ালাইজেশন টুলের স্ক্রিনশটগুলি নিম্নরূপ, যা সকাল 7:00 AM থেকে 6:00 PM এর মধ্যে মলে আসা ডিভাইসগুলি থেকে পিংসের বিন্যাস চিত্রিত করে৷

নিম্নলিখিত স্ক্রিনশটটি মল এবং আশেপাশের এলাকা থেকে পিংগুলি দেখায়৷

নিম্নলিখিতটি মলের বিভিন্ন দোকানের ভিতর থেকে পিংগুলি দেখায়৷

স্ক্রিনশটের প্রতিটি বিন্দু নির্দিষ্ট সময়ে একটি প্রদত্ত ডিভাইস থেকে একটি পিং চিত্রিত করে। পিংগুলির একটি ক্লাস্টার জনপ্রিয় স্থানগুলিকে প্রতিনিধিত্ব করে যেখানে ডিভাইসগুলি সংগ্রহ করা বা থামানো হয়েছে, যেমন স্টোর বা রেস্তোরাঁ।

প্রাথমিক ETL-এর অংশ হিসাবে, এই কাঁচা ডেটা AWS Glue ব্যবহার করে টেবিলে লোড করা যেতে পারে। আপনি ডেটার স্কিমা সনাক্ত করতে একটি AWS গ্লু ক্রলার তৈরি করতে পারেন এবং ডেটা উত্স হিসাবে Amazon S3-এ কাঁচা ডেটা অবস্থান নির্দেশ করে টেবিল তৈরি করতে পারেন৷

উপরে উল্লিখিত হিসাবে, কাঁচা ডেটা (দৈনিক ডিভাইসের পিংগুলি), এমনকি প্রাথমিক ETL-এর পরেও, ডিভাইসের অবস্থান নির্দেশ করে জিপিএস পিংগুলির একটি অবিচ্ছিন্ন স্ট্রিম প্রতিনিধিত্ব করবে। এই ডেটা থেকে অ্যাকশনেবল ইনসাইট বের করতে, আমাদের স্টপ এবং ট্রিপ (ট্র্যাজেক্টরি) শনাক্ত করতে হবে। এটি ব্যবহার করে অর্জন করা যেতে পারে ভূ-স্থানিক প্রক্রিয়াকরণ কাজ সেজমেকার ভূ-স্থানিক ক্ষমতার বৈশিষ্ট্য। আমাজন সেজমেকার প্রসেসিং উদ্দেশ্য-নির্মিত জিওস্পেশিয়াল কন্টেইনারের সাথে ডেটা প্রসেসিং ওয়ার্কলোড চালানোর জন্য সেজমেকারে একটি সরলীকৃত, পরিচালিত অভিজ্ঞতা ব্যবহার করে। সেজমেকার প্রসেসিং কাজের জন্য অন্তর্নিহিত অবকাঠামো সম্পূর্ণরূপে সেজমেকার দ্বারা পরিচালিত হয়। এই বৈশিষ্ট্যটি একটি সেজমেকার প্রসেসিং কাজের উপর একটি জিওস্পেশিয়াল এমএল কন্টেইনার চালিয়ে Amazon S3 এ সঞ্চিত জিওস্পেশিয়াল ডেটাতে চালানোর জন্য কাস্টম কোডকে সক্ষম করে। আপনি ওপেন সোর্স লাইব্রেরির সাথে কাস্টম কোড লিখে ওপেন বা প্রাইভেট জিওস্পেশিয়াল ডেটাতে কাস্টম অপারেশন চালাতে পারেন এবং সেজমেকার প্রসেসিং কাজ ব্যবহার করে স্কেলে অপারেশন চালাতে পারেন। ধারক-ভিত্তিক পদ্ধতিটি সাধারণত ব্যবহৃত ওপেন সোর্স লাইব্রেরিগুলির সাথে উন্নয়ন পরিবেশের প্রমিতকরণের চারপাশে প্রয়োজনীয়তার সমাধান করে।

এই ধরনের বড় মাপের কাজের চাপ চালানোর জন্য, আপনার একটি নমনীয় কম্পিউট ক্লাস্টার প্রয়োজন যা একটি শহর ব্লক প্রক্রিয়াকরণের জন্য দশ হাজার উদাহরণ থেকে গ্রহ-স্কেল প্রক্রিয়াকরণের জন্য হাজার হাজার উদাহরণে স্কেল করতে পারে। একটি DIY কম্পিউট ক্লাস্টার ম্যানুয়ালি পরিচালনা করা ধীর এবং ব্যয়বহুল। এই বৈশিষ্ট্যটি বিশেষভাবে সহায়ক যখন গতিশীলতা ডেটাসেটে কয়েকটি শহর থেকে একাধিক রাজ্য বা এমনকি দেশ জড়িত থাকে এবং একটি দ্বি-পদক্ষেপ ML পদ্ধতি চালানোর জন্য ব্যবহার করা যেতে পারে।

প্রথম ধাপটি হল ঘনত্ব-ভিত্তিক স্থানিক ক্লাস্টারিং অফ নয়েজ (DBSCAN) অ্যালগরিদম ব্যবহার করে পিংস থেকে ক্লাস্টার স্টপ। পরবর্তী ধাপ হল চিহ্নিত স্টপের সঠিকতা আরও উন্নত করতে সহায়তা ভেক্টর মেশিন (SVMs) পদ্ধতি ব্যবহার করা এবং এছাড়াও একটি POI বনাম স্টপ ছাড়া একটি (যেমন বাসা বা কাজের) সাথে স্টপগুলিকে আলাদা করা। আপনি ক্রমাগত স্টপগুলি চিহ্নিত করে এবং উত্স এবং গন্তব্য স্টপের মধ্যে পথ ম্যাপ করে প্রতিদিনের ডিভাইস পিংগুলি থেকে ট্রিপ এবং ট্র্যাজেক্টোরি তৈরি করতে সেজমেকার প্রসেসিং কাজটিও ব্যবহার করতে পারেন।

জিওস্পেশিয়াল প্রসেসিং কাজের সাথে স্কেল এ কাঁচা ডেটা (দৈনিক ডিভাইস পিংস) প্রক্রিয়া করার পরে, স্টপ নামে নতুন ডেটাসেটের নিম্নলিখিত স্কিমা থাকা উচিত।

গুণ	বিবরণ
আইডি বা MAID	ডিভাইসের মোবাইল বিজ্ঞাপন আইডি (হ্যাশ করা)
Lat	স্টপ ক্লাস্টারের সেন্ট্রয়েডের অক্ষাংশ
LNG	স্টপ ক্লাস্টারের সেন্ট্রোয়েডের দ্রাঘিমাংশ
জিওহ্যাশ	POI এর জিওহ্যাশ অবস্থান
ডিভাইসের ধরন	ডিভাইসের অপারেটিং সিস্টেম (IDFA বা GAID)
টাইমস্ট্যাম্প	স্টপ শুরুর সময়
dwell_time	থামার সময় (সেকেন্ডে)
ip	আইপি ঠিকানা
অল্টার	ডিভাইসের উচ্চতা (মিটারে)
দেশ	মূল দেশের জন্য ISO দুই-সংখ্যার কোড
অবস্থা	রাষ্ট্রের প্রতিনিধিত্বকারী কোড
শহর	শহরের প্রতিনিধিত্বকারী কোড
জিপকোড	যেখানে ডিভাইস আইডি দেখা যাচ্ছে তার জিপ কোড
বাহক	ডিভাইসের বাহক
device_manufacturer	ডিভাইসের নির্মাতা

প্রতি ডিভাইসে পিংস গুচ্ছ করে স্টপগুলিকে একত্রিত করা হয়। ঘনত্ব-ভিত্তিক ক্লাস্টারিং পরামিতিগুলির সাথে একত্রিত হয় যেমন স্টপ থ্রেশহোল্ড 300 সেকেন্ড এবং স্টপের মধ্যে ন্যূনতম দূরত্ব 50 মিটার। এই পরামিতিগুলি আপনার ব্যবহারের ক্ষেত্রে অনুযায়ী সামঞ্জস্য করা যেতে পারে।

নিম্নলিখিত স্ক্রিনশটটি 15,000 পিংস থেকে চিহ্নিত প্রায় 400,000 স্টপ দেখায়৷ পূর্ববর্তী স্কিমার একটি উপসেট পাশাপাশি উপস্থিত রয়েছে, যেখানে কলাম Dwell Time স্টপ সময়কাল প্রতিনিধিত্ব করে, এবং Lat এবং Lng কলামগুলি অবস্থান প্রতি ডিভাইস প্রতি স্টপ ক্লাস্টারের সেন্ট্রোয়েডের অক্ষাংশ এবং দ্রাঘিমাংশের প্রতিনিধিত্ব করে।

ইটিএল-এর পরে, ডেটা Parquet ফাইল ফর্ম্যাটে সংরক্ষণ করা হয়, যা একটি কলামার স্টোরেজ ফর্ম্যাট যা প্রচুর পরিমাণে ডেটা প্রক্রিয়া করা সহজ করে তোলে।

নিম্নলিখিত স্ক্রিনশটটি মল এবং আশেপাশের এলাকায় প্রতি ডিভাইস পিংস থেকে একত্রিত স্টপগুলি দেখায়।

স্টপ শনাক্ত করার পরে, এই ডেটাসেটটি সর্বজনীনভাবে উপলব্ধ POI ডেটা বা কাস্টম POI ডেটার সাথে যুক্ত করা যেতে পারে যা ব্র্যান্ডগুলির সাথে জড়িত হওয়ার মতো কার্যকলাপগুলি সনাক্ত করতে ব্যবহারের ক্ষেত্রে নির্দিষ্ট করে৷

নিচের স্ক্রিনশটটি অ্যারোহেড মলের অভ্যন্তরে প্রধান POI (স্টোর এবং ব্র্যান্ড) এ চিহ্নিত স্টপগুলি দেখায়৷

হোম জিপ কোডগুলি ডেটাসেটে তাদের ভ্রমণের অংশ হলে গোপনীয়তা বজায় রাখার জন্য প্রতিটি দর্শকের বাড়ির অবস্থান মাস্ক করতে ব্যবহার করা হয়েছে। এই ধরনের ক্ষেত্রে অক্ষাংশ এবং দ্রাঘিমাংশ হল জিপ কোডের সেন্ট্রোয়েডের সংশ্লিষ্ট স্থানাঙ্ক।

নিম্নলিখিত স্ক্রিনশট এই ধরনের কার্যকলাপের একটি চাক্ষুষ উপস্থাপনা. বাম চিত্রটি স্টোরের স্টপগুলিকে ম্যাপ করে এবং ডান চিত্রটি মলের লেআউট সম্পর্কে ধারণা দেয়।

এই ফলস্বরূপ ডেটাসেটটি বিভিন্ন উপায়ে কল্পনা করা যেতে পারে, যা আমরা নিম্নলিখিত বিভাগে আলোচনা করব।

ঘনত্ব মেট্রিক্স

আমরা ক্রিয়াকলাপ এবং পরিদর্শনের ঘনত্ব গণনা এবং কল্পনা করতে পারি।

উদাহরণ 1 - নিম্নলিখিত স্ক্রিনশটটি মলের সেরা 15টি পরিদর্শন করা স্টোর দেখায়।

উদাহরণ 2 - নিচের স্ক্রিনশটটি প্রতি ঘণ্টায় অ্যাপল স্টোরে ভিজিটের সংখ্যা দেখায়।

ট্রিপ এবং ট্রাজেক্টোরিজ

পূর্বে উল্লিখিত হিসাবে, একজোড়া ক্রমাগত ক্রিয়াকলাপ একটি ভ্রমণের প্রতিনিধিত্ব করে। ক্রিয়াকলাপ ডেটা থেকে ট্রিপগুলি পেতে আমরা নিম্নলিখিত পদ্ধতি ব্যবহার করতে পারি। এখানে, উইন্ডো ফাংশন তৈরি করতে SQL এর সাথে ব্যবহার করা হয় trips টেবিল, স্ক্রিনশটে দেখানো হয়েছে।

পরে trips টেবিল তৈরি করা হয়, একটি POI ট্রিপ নির্ধারণ করা যেতে পারে.

উদাহরণ 1 - নিম্নলিখিত স্ক্রিনশটটি শীর্ষ 10টি স্টোর দেখায় যেগুলি অ্যাপল স্টোরের দিকে ট্র্যাফিকের দিকে পরিচালিত করে।

উদাহরণ 2 - নীচের স্ক্রিনশটটি অ্যারোহেড মলের সমস্ত ভ্রমণ দেখায়।

উদাহরণ 3 - নিম্নলিখিত ভিডিওটি মলের ভিতরে চলাফেরার ধরণগুলি দেখায়।

উদাহরণ 4 - নিম্নলিখিত ভিডিওটি মলের বাইরে চলাফেরার ধরণগুলি দেখায়।

ক্যাচমেন্ট এলাকা বিশ্লেষণ

আমরা একটি POI তে সমস্ত পরিদর্শন বিশ্লেষণ করতে পারি এবং ক্যাচমেন্ট এলাকা নির্ধারণ করতে পারি।

উদাহরণ 1 - নিম্নলিখিত স্ক্রিনশটটি ম্যাসির দোকানে সমস্ত পরিদর্শন দেখায়৷

উদাহরণ 2 - নিচের স্ক্রিনশটটি দেখায় যেখান থেকে ভিজিট হয়েছে সেখান থেকে সেরা 10টি হোম এরিয়ার জিপ কোড (সীমানা হাইলাইট করা হয়েছে)।

ডেটা গুণমান পরীক্ষা

আমরা গুণমানের জন্য দৈনিক ইনকামিং ডেটা ফিড পরীক্ষা করতে পারি এবং কুইকসাইট ড্যাশবোর্ড এবং ডেটা বিশ্লেষণ ব্যবহার করে অসঙ্গতি সনাক্ত করতে পারি। নিম্নলিখিত স্ক্রিনশট একটি উদাহরণ ড্যাশবোর্ড দেখায়.

উপসংহার

গ্রাহকের অন্তর্দৃষ্টি অর্জন এবং প্রতিযোগিতামূলক সুবিধা পাওয়ার জন্য গতিশীলতা ডেটা এবং এর বিশ্লেষণ একটি বিশেষ ক্ষেত্র হিসাবে রয়ে গেছে কারণ এটি একটি সামঞ্জস্যপূর্ণ এবং সঠিক ডেটাসেট প্রাপ্ত করা কঠিন। যাইহোক, এই ডেটা সংস্থাগুলিকে বিদ্যমান বিশ্লেষণে প্রসঙ্গ যোগ করতে এবং এমনকি গ্রাহকের গতিবিধির আশেপাশে নতুন অন্তর্দৃষ্টি তৈরি করতে সহায়তা করতে পারে। Amazon SageMaker জিওস্পেশিয়াল ক্ষমতা এবং জিওস্পেশিয়াল প্রসেসিং কাজগুলি এই ব্যবহারের ক্ষেত্রে বাস্তবায়ন করতে এবং একটি স্বজ্ঞাত এবং অ্যাক্সেসযোগ্য উপায়ে অন্তর্দৃষ্টি পেতে সাহায্য করতে পারে।

এই পোস্টে, আমরা প্রদর্শন করেছি কিভাবে গতিশীলতার ডেটা পরিষ্কার করতে AWS পরিষেবাগুলি ব্যবহার করতে হয় এবং তারপরে ML মডেলগুলি ব্যবহার করে স্টপ, অ্যাক্টিভিটি এবং ট্রিপের মতো ডেরিভেটিভ ডেটাসেট তৈরি করতে Amazon SageMaker জিওস্পেশিয়াল ক্ষমতা ব্যবহার করতে হয়। তারপরে আমরা আন্দোলনের ধরণগুলি কল্পনা করতে এবং অন্তর্দৃষ্টি তৈরি করতে ডেরিভেটিভ ডেটাসেটগুলি ব্যবহার করেছি।

আপনি Amazon SageMaker জিওস্পেশিয়াল ক্ষমতা দুটি উপায়ে শুরু করতে পারেন:

আরো জানতে, এখানে যান আমাজন সেজমেকার ভূ-স্থানিক ক্ষমতা এবং Amazon SageMaker geospatial দিয়ে শুরু করা. এছাড়াও, আমাদের পরিদর্শন করুন গিটহুব রেপো, যেটিতে Amazon SageMaker জিওস্পেশিয়াল ক্ষমতার উপর একাধিক উদাহরণ নোটবুক রয়েছে।

---

লেখক সম্পর্কে

জিমি ম্যাথিউস AI/ML প্রযুক্তিতে দক্ষতা সহ একজন AWS সলিউশন আর্কিটেক্ট। জিমি বোস্টনের বাইরে অবস্থিত এবং এন্টারপ্রাইজ গ্রাহকদের সাথে কাজ করে কারণ তারা ক্লাউড গ্রহণ করে তাদের ব্যবসায় রূপান্তর করে এবং তাদের দক্ষ এবং টেকসই সমাধান তৈরি করতে সহায়তা করে। তিনি তার পরিবার, গাড়ি এবং মিশ্র মার্শাল আর্ট সম্পর্কে উত্সাহী।

গিরিশ কেশব তিনি AWS-এর একজন সলিউশন আর্কিটেক্ট, গ্রাহকদেরকে তাদের ক্লাউড মাইগ্রেশন যাত্রায় আধুনিকীকরণ এবং নিরাপদে ও দক্ষতার সাথে কাজের চাপ চালাতে সাহায্য করে। অ্যাপ্লিকেশন নিরাপত্তা, মেশিন লার্নিং, খরচ অপ্টিমাইজেশান এবং স্থায়িত্ব সম্পর্কে তাদের গাইড করার জন্য তিনি প্রযুক্তি দলের নেতাদের সাথে কাজ করেন। তিনি সান ফ্রান্সিসকোতে বসবাস করেন এবং ভ্রমণ, হাইকিং, খেলাধুলা দেখতে এবং ক্রাফ্ট ব্রিউয়ারি অন্বেষণ করতে পছন্দ করেন।

রমেশ জেটি AWS এন্টারপ্রাইজ গ্রাহকদের তাদের ডেটা সম্পদ নগদীকরণে সহায়তা করার উপর দৃষ্টি নিবদ্ধ করে সলিউশন আর্কিটেকচারের একজন সিনিয়র নেতা। তিনি এক্সিকিউটিভ এবং ইঞ্জিনিয়ারদের অত্যন্ত পরিমাপযোগ্য, নির্ভরযোগ্য এবং সাশ্রয়ী ক্লাউড সমাধানগুলি ডিজাইন এবং তৈরি করার পরামর্শ দেন, বিশেষত মেশিন লার্নিং, ডেটা এবং বিশ্লেষণের উপর দৃষ্টি নিবদ্ধ করে। তার অবসর সময়ে তিনি তার পরিবারের সাথে দুর্দান্ত আউটডোর, বাইক চালানো এবং হাইকিং উপভোগ করেন।

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
• প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
• প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
• উত্স: https://aws.amazon.com/blogs/machine-learning/use-mobility-data-to-derive-insights-using-amazon-sagemaker-geospatial-capabilities/