นี่เป็นครั้งแรกในซีรีส์สองตอนบน on ความจริงของ Amazon SageMaker เวิร์กโฟลว์การติดฉลากแบบลำดับชั้นและแดชบอร์ด ในส่วนที่ 1 เราดูที่การสร้างเวิร์กโฟลว์การติดฉลากแบบหลายขั้นตอนสำหรับการจัดหมวดหมู่ฉลากแบบลำดับชั้นโดยใช้ ฟังก์ชันขั้นตอนของ AWS. ในส่วนที่ 2 (เร็วๆ นี้) เราจะดูวิธีสร้างแดชบอร์ดสำหรับการวิเคราะห์คำอธิบายประกอบชุดข้อมูลและตัววัดประสิทธิภาพของผู้ปฏิบัติงานใน Data Lake ที่สร้างขึ้นเป็นผลลัพธ์จากเวิร์กโฟลว์ที่ซับซ้อนและรับข้อมูลเชิงลึก
การติดฉลากข้อมูลมักต้องการออบเจ็กต์ข้อมูลเดียวเพื่อรวมคำอธิบายประกอบหลายประเภทหรือ หลายประเภทเช่น กล่อง 2 มิติ (กรอบล้อมรอบ) เส้น และมาสก์การแบ่งส่วน ทั้งหมดนี้อยู่ในภาพเดียว นอกจากนี้ ในการสร้างแบบจำลองแมชชีนเลิร์นนิงคุณภาพสูง (ML) โดยใช้ข้อมูลที่ติดป้ายกำกับ คุณต้องมีวิธีตรวจสอบคุณภาพของป้ายกำกับ คุณสามารถทำได้โดยการสร้างเวิร์กโฟลว์ที่มีการตรวจสอบและปรับข้อมูลที่มีป้ายกำกับตามความจำเป็น โพสต์นี้จะแนะนำโซลูชันเพื่อจัดการกับความท้าทายในการติดฉลากทั้งสองโดยใช้ชุดข้อมูลยานยนต์ และคุณสามารถขยายโซลูชันนี้เพื่อใช้กับชุดข้อมูลประเภทใดก็ได้
สำหรับกรณีการใช้งานของเรา สมมติว่าคุณมีข้อมูลวิดีโอยานยนต์จำนวนมากที่ถ่ายจากมุมหนึ่งหรือหลายมุมบนยานพาหนะที่กำลังเคลื่อนที่ (เช่น บางส่วน ฉากติดตามวัตถุหลายวัตถุ (MOT)) และคุณต้องการใส่คำอธิบายประกอบข้อมูลโดยใช้คำอธิบายประกอบหลายประเภท คุณวางแผนที่จะใช้ข้อมูลนี้เพื่อฝึกระบบควบคุมความเร็วอัตโนมัติ อัลกอริธึม ML ในการรักษาช่องทางเดินรถ เมื่อพิจารณาจากงานที่ต้องทำ คุณจำเป็นต้องใช้ป้ายกำกับคุณภาพสูงในการฝึกโมเดล
ขั้นแรก คุณต้องระบุประเภทของคำอธิบายประกอบที่คุณต้องการเพิ่มลงในเฟรมวิดีโอของคุณ วัตถุที่สำคัญที่สุดบางอย่างที่ต้องติดป้ายกำกับสำหรับกรณีการใช้งานนี้คือยานพาหนะอื่นๆ ในโครง ขอบเขตถนน และเลน เมื่อต้องการทำเช่นนี้ คุณกำหนด a อนุกรมวิธานฉลากลำดับชั้นซึ่งกำหนดประเภทของป้ายกำกับที่คุณต้องการเพิ่มให้กับวิดีโอแต่ละรายการ และลำดับที่คุณต้องการเพิ่มป้ายกำกับ งานติดฉลากการติดตามวิดีโอ Ground Truth รองรับกรอบคำอธิบายประกอบ รูปหลายเหลี่ยม รูปหลายเหลี่ยม และจุดสำคัญ ในกรณีการใช้งานนี้ ยานพาหนะจะได้รับการอธิบายโดยใช้กล่อง 2 มิติ หรือdimensional ขอบกล่องและขอบเขตของถนนและส่วนโค้งจะมีคำอธิบายประกอบด้วยชุดของส่วนของเส้นที่ยืดหยุ่นได้ ซึ่งเรียกว่า เส้น.
ประการที่สอง คุณต้องสร้างเวิร์กโฟลว์เพื่อรับรองคุณภาพของฉลาก ในการทำเช่นนี้ คุณสามารถสร้างเวิร์กโฟลว์การตรวจสอบเพื่อตรวจสอบว่าป้ายชื่อที่สร้างโดยไปป์ไลน์ของคุณมีคุณภาพสูงพอที่จะเป็นประโยชน์สำหรับการฝึกโมเดล ในเวิร์กโฟลว์การตรวจสอบนี้ คุณสามารถปรับปรุงความถูกต้องของฉลากได้อย่างมากโดยการสร้างไปป์ไลน์การตรวจทานแบบหลายขั้นตอนที่อนุญาตให้ตรวจสอบคำอธิบายประกอบ และหากจำเป็น ให้ปรับปรุงโดยผู้ตรวจทานคนที่สองซึ่งอาจเป็นผู้เชี่ยวชาญในเรื่อง
ตามขนาดของชุดข้อมูลและออบเจ็กต์ข้อมูล คุณควรพิจารณาเวลาและทรัพยากรที่จำเป็นในการสร้างและบำรุงรักษาไปป์ไลน์นี้ด้วย ตามหลักการแล้ว คุณต้องการให้งานการติดฉลากชุดนี้เริ่มต้นโดยอัตโนมัติ โดยต้องการเพียงการดำเนินการของมนุษย์เพื่อระบุข้อมูลอินพุตและเวิร์กโฟลว์
วิธีแก้ปัญหาที่ใช้ในโพสต์นี้ใช้ Ground Truth การก่อตัวของ AWS Cloud, ฟังก์ชันขั้นตอนและ อเมซอน ไดนาโมดีบี เพื่อสร้างชุดงานการติดฉลากที่ทำงานแบบคู่ขนานและเป็นลำดับชั้น คุณใช้อนุกรมวิธานป้ายชื่อแบบลำดับชั้นเพื่อสร้างงานการติดฉลากของรูปแบบต่างๆ (polylines และ bounding box) และคุณเพิ่มขั้นตอนการตรวจทานโดยเจ้าหน้าที่รองเพื่อปรับปรุงคุณภาพคำอธิบายประกอบและผลลัพธ์สุดท้าย
สำหรับโพสต์นี้ เราสาธิตวิธีแก้ปัญหาในบริบทของพื้นที่ยานยนต์ แต่คุณสามารถใช้ไปป์ไลน์ทั่วไปนี้กับไปป์ไลน์ที่เกี่ยวข้องกับรูปภาพ วิดีโอ ข้อความ และอื่นๆ ได้อย่างง่ายดาย นอกจากนี้ เราสาธิตเวิร์กโฟลว์ที่ขยายได้ ซึ่งช่วยให้คุณลดจำนวนเฟรมทั้งหมดที่ต้องตรวจสอบโดยเจ้าหน้าที่โดยเพิ่มการตรวจสอบคุณภาพอัตโนมัติและรักษาคุณภาพข้อมูลตามขนาด ในกรณีการใช้งานนี้ เราใช้การตรวจสอบเหล่านี้เพื่อค้นหาความผิดปกติในข้อมูลอนุกรมเวลาของ MOT เช่น คำอธิบายประกอบการติดตามวัตถุวิดีโอ
เราอธิบายกรณีการใช้งานที่เราสร้างคำอธิบายประกอบหลายประเภทสำหรับฉากยานยนต์ โดยเฉพาะอย่างยิ่ง เราเรียกใช้งานการติดฉลากสี่งานต่อวิดีโอคลิปอินพุต: การติดฉลากเริ่มต้นของยานพาหนะ การติดฉลากเริ่มต้นของช่องจราจร จากนั้นงานปรับแต่งต่องานเริ่มต้นโดยมีพนักงานประกันคุณภาพแยกต่างหาก
เราสาธิตจุดต่อขยายต่างๆ ในเวิร์กโฟลว์ Step Function ที่ให้คุณเรียกใช้ได้ การตรวจสอบการประกันคุณภาพอัตโนมัติ. ซึ่งช่วยให้สามารถกรองคลิประหว่างและหลังงานเสร็จสิ้น ซึ่งอาจส่งผลให้มีคำอธิบายประกอบคุณภาพสูงโดยมีค่าใช้จ่ายเพียงเล็กน้อย
บริการของ AWS ที่ใช้ในการปรับใช้โซลูชันนี้
โซลูชันนี้สร้างและจัดการงานการติดฉลาก Ground Truth เพื่อติดป้ายกำกับเฟรมวิดีโอโดยใช้คำอธิบายประกอบหลายประเภท Ground Truth รองรับชุดข้อมูลวิดีโอแบบเนทีฟผ่านเฟรมวิดีโอ ประเภทงานติดตามวัตถุ.
งานนี้อนุญาตให้ผู้ปฏิบัติงานสร้างคำอธิบายประกอบข้ามชุดเฟรมวิดีโอ โดยให้เครื่องมือในการคาดคะเนตำแหน่งถัดไปของกรอบล้อมรอบในเฟรมที่ตามมา นอกจากนี้ยังรองรับคำอธิบายประกอบหลายประเภท เช่น bounding box หรือ polylines through ไฟล์การกำหนดค่าหมวดหมู่ฉลาก ให้ในระหว่างการสร้างงาน เราใช้เครื่องมือเหล่านี้ในบทช่วยสอนนี้ เรียกใช้งานสำหรับกล่องขอบรถและงานสำหรับเส้นหลายช่อง
เราใช้ Step Functions เพื่อจัดการงานการติดฉลาก โซลูชันนี้จะสรุปการสร้างงานการติดฉลาก เพื่อให้คุณระบุเวิร์กโฟลว์โดยรวมที่คุณต้องการเรียกใช้โดยใช้การจัดหมวดหมู่ฉลากแบบลำดับชั้น และการจัดการงานทั้งหมดจะได้รับการจัดการโดย Step Functions
โซลูชันนี้ใช้งานโดยใช้เทมเพลต CloudFormation ที่คุณสามารถปรับใช้ในบัญชี AWS ของคุณได้ อินเทอร์เฟซของโซลูชันคือ API ที่จัดการโดย Amazon API Gateway Amazonซึ่งให้ความสามารถในการส่งงานคำอธิบายประกอบไปยังโซลูชัน ซึ่งจะถูกแปลเป็นงานการติดฉลาก Ground Truth
ค่าใช้จ่ายโดยประมาณ
การปรับใช้และใช้โซลูชันนี้ คุณต้องเสียค่าใช้จ่ายสูงสุดประมาณ 20 เหรียญสหรัฐฯ นอกเหนือจากต้นทุนการติดฉลากโดยเจ้าหน้าที่ เนื่องจากใช้เฉพาะทรัพยากรการประมวลผลที่มีการจัดการเต็มรูปแบบตามต้องการเท่านั้น บริการจัดเก็บข้อมูลอย่างง่ายของ Amazon (อเมซอน เอส3) AWS แลมบ์ดา, อเมซอน SageMaker, เกตเวย์ API, บริการแจ้งเตือนแบบง่ายของ Amazon (อเมซอน SNS) บริการ Amazon Simple Queue (อเมซอน SQS) AWS กาวและฟังก์ชั่นขั้นตอนรวมอยู่ใน AWS ฟรีเทียร์โดยมีค่าใช้จ่ายสำหรับการใช้งานเพิ่มเติม สำหรับข้อมูลเพิ่มเติม โปรดดูหน้าราคาต่อไปนี้:
ราคา Ground Truth ขึ้นอยู่กับประเภทของพนักงานที่คุณใช้ หากคุณเป็นผู้ใช้ใหม่ของ Ground Truth เราขอแนะนำให้คุณใช้บุคลากรส่วนตัวและรวมตัวคุณเองเป็นผู้ปฏิบัติงานเพื่อทดสอบการกำหนดค่างานการติดฉลากของคุณ ดูข้อมูลเพิ่มเติมได้ที่ ราคา Amazon SageMaker Ground Truth.
ภาพรวมโซลูชัน
ในซีรีส์สองส่วนนี้ เราจะพูดถึงรูปแบบสถาปัตยกรรมที่ช่วยให้คุณสร้างไปป์ไลน์สำหรับการประสานเวิร์กโฟลว์การติดฉลากข้อมูลแบบหลายขั้นตอน โดยให้ผู้ปฏิบัติงานเพิ่มคำอธิบายประกอบประเภทต่างๆ ควบคู่กันไปโดยใช้ Ground Truth คุณยังเรียนรู้วิธีวิเคราะห์คำอธิบายประกอบชุดข้อมูลที่สร้างโดยเวิร์กโฟลว์รวมถึงประสิทธิภาพของผู้ปฏิบัติงาน โพสต์แรกครอบคลุมเวิร์กโฟลว์ Step Functions ที่ทำให้เวิร์กโฟลว์การติดฉลากข้อมูล ML ขั้นสูงเป็นไปโดยอัตโนมัติโดยใช้ Ground Truth สำหรับการจัดหมวดหมู่ป้ายกำกับและลำดับชั้น โพสต์ที่สองอธิบายวิธีสร้าง Data Lake บนคำอธิบายประกอบชุดข้อมูลจาก Ground Truth และตัววัดตัวปฏิบัติงาน และใช้ Data Lake เหล่านี้เพื่อรับข้อมูลเชิงลึกหรือวิเคราะห์ประสิทธิภาพของผู้ปฏิบัติงานและคุณภาพคำอธิบายประกอบชุดข้อมูลโดยใช้การวิเคราะห์ขั้นสูง
ไดอะแกรมต่อไปนี้แสดงเวิร์กโฟลว์แบบลำดับชั้น ซึ่งคุณสามารถใช้เพื่อเรียกใช้กลุ่มของงานการติดฉลากในขั้นตอนตามลำดับ หรือ ระดับซึ่งงานการติดฉลากแต่ละงานในระดับเดียวจะทำงานแบบขนานกัน
สารละลายประกอบด้วยสองส่วนหลัก:
- ใช้ API เพื่อทริกเกอร์เวิร์กโฟลว์การประสาน
- รันแต่ละขั้นตอนของเวิร์กโฟลว์เพื่อให้ได้ไปป์ไลน์การติดฉลาก
ทริกเกอร์เวิร์กโฟลว์การประสานด้วย API
เทมเพลต CloudFormation ที่เปิดตัวในโซลูชันนี้ใช้ API Gateway เพื่อแสดงปลายทางเพื่อให้คุณทริกเกอร์งานการติดฉลากแบทช์ หลังจากที่คุณส่งคำขอโพสต์ไปยังปลายทาง API Gateway แล้ว จะเรียกใช้ฟังก์ชัน Lambda เพื่อทริกเกอร์เวิร์กโฟลว์
ตารางต่อไปนี้ประกอบด้วย API ที่ผู้ใช้เผชิญหน้าหลักสองรายการที่เกี่ยวข้องกับการรันแบตช์ ซึ่งแสดงถึงงานการติดฉลากหลายระดับ
URL | ประเภทคำขอ | รายละเอียด |
{endpointUrl}/แบทช์/สร้าง | POST | API ทริกเกอร์งานการติดฉลากชุดใหม่ |
{endpointUrl}/แบทช์/แสดง | GET | APIs อธิบายสถานะปัจจุบันของการรันงานแบตช์ |
เรียกใช้เวิร์กโฟลว์
สำหรับการจัดขั้นตอน เราใช้ Step Functions เป็นโซลูชันที่มีการจัดการ เมื่อมีการทริกเกอร์ API การสร้างงานแบบแบตช์ ฟังก์ชัน Lambda จะทริกเกอร์เวิร์กโฟลว์ของ Step Functions ดังต่อไปนี้ สิ่งนี้จะเริ่มต้นการประมวลผลอินพุตคำอธิบายประกอบ
มาพูดถึงขั้นตอนในรายละเอียดเพิ่มเติมกัน
ขั้นตอนการแปลงร่าง
ขั้นตอนแรกคือการประมวลผลข้อมูลล่วงหน้า การใช้งานปัจจุบันแปลงอินพุตโน้ตบุ๊กเป็น ประเภทข้อมูลไฟล์รายการภายใน แชร์ข้ามหลายขั้นตอน ขณะนี้ขั้นตอนนี้ไม่ได้ดำเนินการประมวลผลที่ซับซ้อนใดๆ แต่คุณสามารถปรับแต่งขั้นตอนนี้เพิ่มเติมได้โดยเพิ่มตรรกะการประมวลผลข้อมูลล่วงหน้าที่กำหนดเองลงในฟังก์ชันนี้ ตัวอย่างเช่น หากชุดข้อมูลของคุณถูกเข้ารหัสในวิดีโอดิบ คุณสามารถทำการแยกเฟรมและสร้างรายการภายในการแปลงแทนที่จะทำในสมุดบันทึกแยกต่างหาก อีกทางหนึ่ง หากคุณกำลังใช้โซลูชันนี้เพื่อสร้างไปป์ไลน์การติดฉลากบนคลาวด์แบบจุด 3 มิติ คุณอาจต้องการเพิ่มตรรกะเพื่อดึงข้อมูลท่าทางในระบบพิกัดโลกโดยใช้กล้องและเมทริกซ์ภายนอก LiDAR
TriggerLabelingFirstLevel
เมื่อการประมวลผลข้อมูลล่วงหน้าเสร็จสิ้น การดำเนินการ Ground Truth API CreateLabelingงาน ใช้เพื่อเปิดงานการติดฉลาก งานการติดฉลากเหล่านี้มีหน้าที่ในการใส่คำอธิบายประกอบชุดข้อมูลที่เชื่อมโยงกับระดับแรก
CheckForFirstLevel เสร็จสมบูรณ์
ขั้นตอนนี้รอให้ FIRST_LEVEL
งานการติดฉลาก Ground Truth ที่เรียกจาก TriggerLabelingFirstStep
. เมื่อทริกเกอร์งานเสร็จสมบูรณ์ ขั้นตอนนี้รอให้งานการติดฉลากที่สร้างขึ้นทั้งหมดเสร็จสมบูรณ์ ฟังก์ชัน Listener ภายนอก Lambda จะตรวจสอบสถานะของงานการติดป้ายกำกับ และเมื่องานการติดฉลากที่รอดำเนินการเสร็จสิ้นทั้งหมด sendTokenSucess
API เพื่อส่งสัญญาณไปยังสถานะนี้เพื่อดำเนินการในขั้นตอนต่อไป กรณีความล้มเหลวได้รับการจัดการโดยใช้ส่วนคำสั่งข้อผิดพลาดและระยะหมดเวลาที่เหมาะสมในข้อกำหนดขั้นตอน
ส่งSNSระดับที่สองและตรวจสอบการตอบกลับ
ขั้นตอนนี้ดำเนินการภายหลังการประมวลผลในผลลัพธ์ของงานระดับแรก ตัวอย่างเช่น หากความต้องการของคุณคือส่งเฟรมเพียง 10% ไปยังงานการปรับปรุง คุณสามารถใช้ตรรกะนี้ได้ที่นี่โดยกรองชุดของผลลัพธ์จากงานแรก
ทริกเกอร์การติดฉลากSecondLevel
เมื่อข้อมูลหลังการประมวลผลจากระดับแรกเสร็จสิ้น CreateLabelingJobs
ใช้เพื่อเริ่มงานการติดป้ายกำกับเพื่อให้คำอธิบายประกอบเสร็จสมบูรณ์ในระดับที่สอง ในขั้นตอนนี้ พนักงานส่วนตัวจะตรวจสอบคุณภาพของคำอธิบายประกอบของงานการติดฉลากระดับแรกและอัปเดตคำอธิบายประกอบตามความจำเป็น
ตรวจสอบสำหรับระดับที่สองเสร็จสมบูรณ์
ขั้นตอนนี้เป็นขั้นตอนรอเดียวกับ CheckForFirstLevelComplete
, แต่ขั้นตอนนี้เพียงแค่รองานที่สร้างขึ้นจากระดับที่สอง
ส่งThirdLevelSNSAndCheckResponse
ขั้นตอนนี้เป็นขั้นตอนหลังการประมวลผลเดียวกับ SendSecondLevelSNSAndCheckResponse
, แต่ขั้นตอนนี้จะทำการประมวลผลภายหลังของเอาต์พุตและฟีดระดับที่สองเป็นอินพุตสำหรับงานการติดฉลากระดับที่สาม
ทริกเกอร์การติดฉลากระดับที่สาม
นี่เป็นตรรกะเดียวกับ TriggerLabelingSecondLevel
, แต่งานการติดฉลากถูกทริกเกอร์ซึ่งมีคำอธิบายประกอบเป็นระดับที่สาม ในขั้นตอนนี้ พนักงานส่วนตัวกำลังอัปเดตคำอธิบายประกอบสำหรับคุณภาพของงานการติดฉลากระดับที่สอง
คัดลอกบันทึกและส่งแบทช์เสร็จสมบูรณ์
ฟังก์ชันแลมบ์ดานี้จะบันทึกและส่งข้อความ SNS เพื่อแจ้งผู้ใช้ว่าแบตช์เสร็จสมบูรณ์ นอกจากนี้ยังเป็นตัวยึดตำแหน่งสำหรับตรรกะหลังการประมวลผลที่คุณอาจต้องการเรียกใช้ การประมวลผลภายหลังทั่วไปรวมถึงการแปลงข้อมูลที่ติดฉลากให้อยู่ในรูปแบบที่เข้ากันได้กับรูปแบบข้อมูลเฉพาะลูกค้า
เบื้องต้น
ก่อนเริ่มต้น ตรวจสอบให้แน่ใจว่าคุณมีข้อกำหนดเบื้องต้นดังต่อไปนี้:
- An บัญชี AWS.
- โน๊ตบุ๊ค AWS Identity และการจัดการการเข้าถึง บทบาท (IAM) ที่มีสิทธิ์ที่จำเป็นในการดำเนินการแนะนำนี้ บทบาท IAM ของคุณต้องมีสิทธิ์ที่จำเป็นแนบมาด้วย หากคุณไม่ต้องการการอนุญาตแบบละเอียด ให้แนบนโยบายที่มีการจัดการของ AWS ต่อไปนี้:
AmazonS3FullAccess
AmazonAPIGatewayInvokeFullAccess
AmazonSageMakerFullAccess
- ความคุ้นเคยกับ Ground Truth, AWS CloudFormation และ Step Functions
- นักปราชญ์ ลูกทีม. สำหรับโพสต์นี้เราใช้บุคลากรส่วนตัว คุณสามารถสร้างทีมงานได้บนคอนโซล SageMaker หมายเหตุ Amazon Cognito Co ตัวระบุพูลผู้ใช้และตัวระบุไคลเอ็นต์ของแอปหลังจากสร้างพนักงานของคุณแล้ว คุณใช้ค่าเหล่านี้เพื่อบอกการปรับใช้สแต็ก CloudFormation ว่าพนักงานคนใดเพื่อสร้างทีมงาน ซึ่งเป็นตัวแทนของกลุ่มผู้ติดป้ายกำกับ คุณสามารถหาค่าเหล่านี้ได้ใน สรุปบุคลากรส่วนตัว บนคอนโซลหลังจากที่คุณสร้างทีมงานของคุณ หรือเมื่อคุณโทร อธิบายทีมงาน.
GIF ต่อไปนี้สาธิตวิธีสร้างบุคลากรส่วนตัว สำหรับคำแนะนำทีละขั้นตอน โปรดดูที่ สร้าง Amazon Cognito Workforce โดยใช้หน้า Labeling Workforces.
เปิด CloudFormation stack
ตอนนี้เราได้เห็นโครงสร้างของโซลูชันแล้ว เราปรับใช้มันในบัญชีของเรา เพื่อให้เราสามารถเรียกใช้เวิร์กโฟลว์ตัวอย่างได้ ขั้นตอนการปรับใช้ทั้งหมดของเราได้รับการจัดการโดย AWS CloudFormation ซึ่งจะสร้างทรัพยากรใน Lambda, Step Functions, DynamoDB และ API Gateway สำหรับคุณ
คุณสามารถเปิดใช้สแต็กในภูมิภาค AWS ได้ us-east-1
บนคอนโซล CloudFormation โดยเลือก เรียกใช้ Stack:
บนคอนโซล CloudFormation เลือก ถัดไป แล้วแก้ไขพารามิเตอร์เทมเพลตต่อไปนี้เพื่อปรับแต่งโซลูชัน
คุณสามารถค้นหา CognitoUserPoolClientId และ CognitoUserPoolId ในคอนโซล SageMaker
- CognitoUserPoolClientId: รหัสไคลเอ็นต์แอปของพนักงานส่วนตัวของคุณ
- CognitoUserPoolId: ID ของกลุ่มผู้ใช้ที่เชื่อมโยงกับพนักงานส่วนตัวของคุณ
ในการค้นหาค่าเหล่านี้ในคอนโซล:
- เปิดคอนโซล SageMaker ที่ https://console.aws.amazon.com/sagemaker/
- เลือก พนักงานติดฉลาก ในบานหน้าต่างนำทาง
- เลือก ส่วนตัว
- ใช้ค่าใน สรุปทีมงานส่วนตัว ใช้ ลูกค้าแอป สำหรับ CognitoUserPoolClientId และ use กลุ่มผู้ใช้ Amazon Cognito สำหรับ CognitoUserPoolId
สำหรับบทช่วยสอนนี้ คุณสามารถใช้ค่าเริ่มต้นสำหรับพารามิเตอร์ต่อไปนี้
- GlueJobTriggerCron: นิพจน์ Cron ที่จะใช้เมื่อตั้งเวลาการรายงานงาน cron ของ AWS Glue ผลลัพธ์จากคำอธิบายประกอบที่สร้างด้วย SageMaker Ground Truth และตัววัดประสิทธิภาพของผู้ปฏิบัติงานจะใช้เพื่อสร้างแดชบอร์ดใน Amazon QuickSight ซึ่งจะอธิบายโดยละเอียดในตอนที่สอง ผลลัพธ์จากคำอธิบายประกอบของ SageMaker และตัววัดประสิทธิภาพของผู้ปฏิบัติงานจะแสดงขึ้นในการสืบค้น Athena หลังจากประมวลผลข้อมูลด้วย AWS Glue ตามค่าเริ่มต้น งาน cron ของ AWS Glue จะทำงานทุกชั่วโมง
- งานเสร็จหมดเวลา: จำนวนวินาทีที่รอก่อนที่จะถือว่างานการติดฉลากล้มเหลวและย้ายไปยังสถานะ BatchError
- ระดับการบันทึก: ใช้ภายในและสามารถละเว้นได้ ระดับการบันทึกเพื่อเปลี่ยนการใช้คำฟุ่มเฟือยของบันทึก ยอมรับค่า DEBUG และ PROD
คำนำหน้า: คำนำหน้าที่จะใช้เมื่อตั้งชื่อทรัพยากรที่ใช้ในการสร้างและจัดการงานการติดฉลากและตัวชี้วัดของผู้ปฏิบัติงาน
ในการเปิดใช้สแต็กในภูมิภาค AWS อื่น ให้ใช้คำแนะนำที่พบใน README ของ พื้นที่เก็บข้อมูล GitHub.
หลังจากที่คุณปรับใช้โซลูชัน ทีมงานใหม่สองทีมจะอยู่ในบุคลากรส่วนตัวที่คุณสร้างไว้ก่อนหน้านี้: smgt-workflow-first-level
และ smgt-workflow-second-level
. เหล่านี้เป็นทีมงานเริ่มต้นที่ใช้โดยโซลูชันหากไม่มีการระบุการแทนที่และ smgt-workflow-second-level
ทีมงานใช้สำหรับติดฉลากงานระดับสองและระดับสาม คุณควรเพิ่มตัวเองในทีมงานทั้งสองเพื่อดูงานการติดฉลากที่สร้างโดยโซลูชัน หากต้องการเรียนรู้วิธีเพิ่มตัวเองในทีมงานส่วนตัว โปรดดูที่ เพิ่มหรือลบคนงาน.
คุณต้องไปที่คอนโซล API เกตเวย์ และค้นหา API ที่ปรับใช้ซึ่งนำหน้าด้วย smgt-workflow
และจด ID ไว้ สมุดบันทึกจำเป็นต้องอ้างอิง ID นี้ เพื่อให้สามารถระบุ URL ของ API ที่จะเรียก
เปิดตัวโน๊ตบุ๊ค
หลังจากที่คุณปรับใช้โซลูชันในบัญชีของคุณ คุณก็พร้อมที่จะเปิดใช้งานสมุดบันทึกเพื่อโต้ตอบกับมันและเริ่มเวิร์กโฟลว์ใหม่ ในส่วนนี้ เราจะดำเนินการตามขั้นตอนต่อไปนี้:
- ตั้งค่าและเข้าถึงอินสแตนซ์โน้ตบุ๊ก
- รับชุดข้อมูลตัวอย่าง
- เตรียมไฟล์อินพุต Ground Truth
ตั้งค่าอินสแตนซ์โน้ตบุ๊ก SageMaker
ในสมุดบันทึกตัวอย่างนี้ คุณจะได้เรียนรู้วิธีจับคู่อนุกรมวิธานอย่างง่ายซึ่งประกอบด้วยคลาสรถและคลาสเลนกับไฟล์การกำหนดค่าหมวดหมู่ป้ายกำกับ Ground Truth ไฟล์การกำหนดค่าหมวดหมู่ป้ายกำกับใช้เพื่อกำหนดป้ายกำกับที่ผู้ปฏิบัติงานใช้ในการใส่คำอธิบายประกอบรูปภาพของคุณ ถัดไป คุณจะได้เรียนรู้วิธีเปิดใช้และกำหนดค่าโซลูชันที่เรียกใช้ไปป์ไลน์โดยใช้เทมเพลต CloudFormation คุณยังสามารถปรับแต่งโค้ดนี้เพิ่มเติมได้ ตัวอย่างเช่น โดยการปรับแต่งการเรียก API การสร้างแบทช์เพื่อเรียกใช้การติดฉลากสำหรับประเภทงานที่แตกต่างกัน
ในการสร้างอินสแตนซ์สมุดบันทึกและเข้าถึงสมุดบันทึกที่ใช้ในโพสต์นี้ ให้ทำตามขั้นตอนต่อไปนี้:
- สร้างอินสแตนซ์สมุดบันทึก ด้วยพารามิเตอร์ต่อไปนี้:
- ใช้ ml.t2.medium เพื่อเปิดอินสแตนซ์โน้ตบุ๊ก
- เพิ่มขนาดโวลุ่มที่เก็บข้อมูล ML เป็นอย่างน้อย 10 GB
- เลือกบทบาท IAM ของสมุดบันทึกที่อธิบายไว้ในข้อกำหนดเบื้องต้น บทบาทนี้ช่วยให้โน้ตบุ๊กของคุณสามารถอัปโหลดชุดข้อมูลของคุณไปยัง Amazon S3 และเรียกใช้ API โซลูชันได้
- เปิด Jupyter Lab หรือ Jupyter ไปที่ เข้าถึงอินสแตนซ์โน้ตบุ๊กของคุณ.
- ใน Jupyter ให้เลือก ตัวอย่าง SageMaker ใน Jupyter Lab เลือกไอคอน SageMaker
- Choose งานติดฉลากความจริงพื้น Ground แล้วเลือกงาน sagemaker_ground_truth_workflows.ipynb.
- หากคุณกำลังใช้ Jupyter ให้เลือก ใช้ เพื่อคัดลอกสมุดบันทึกไปยังอินสแตนซ์ของคุณและเรียกใช้ หากคุณอยู่ในแล็บ Jupyter ให้เลือก สร้างสำเนา.
รับชุดข้อมูลตัวอย่าง
ทำตามขั้นตอนต่อไปนี้เพื่อตั้งค่าชุดข้อมูลของคุณ:
- ดาวน์โหลด MOT17.zip โดยใช้ ดาวน์โหลดชุดข้อมูล ส่วนของสมุดบันทึก
การดาวน์โหลดนี้มีขนาดประมาณ 5 GB และใช้เวลาหลายนาที
- เปิดเครื่องรูด MOT17.zip โดยใช้โน๊ตบุ๊ค's เปิดเครื่องรูดชุดข้อมูล
- ภายใต้ คัดลอกข้อมูลไปยัง S3 ให้เรียกใช้เซลล์เพื่อคัดลอกชุดข้อมูลเฟรมวิดีโอหนึ่งชุดไปยัง Amazon S3
เตรียมไฟล์อินพุต Ground Truth
ในการใช้โซลูชัน เราต้องสร้างไฟล์รายการ ไฟล์นี้บอก Ground Truth ว่าชุดข้อมูลของคุณอยู่ที่ไหน เรายังต้องการไฟล์การกำหนดค่าหมวดหมู่ป้ายกำกับสองไฟล์เพื่ออธิบายชื่อป้ายกำกับของเรา และเครื่องมือการติดป้ายกำกับที่จะใช้สำหรับแต่ละไฟล์
- เรียกใช้เซลล์ภายใต้ สร้างรายการ เพื่อรับรายการเฟรมในวิดีโอจากชุดข้อมูล เราใช้ 150 เฟรมที่อัตราเฟรมครึ่งหนึ่งของวิดีโอเป็นตัวอย่าง
- ดำเนินการเซลล์ต่อไปภายใต้ สร้างรายการ เพื่อสร้างไฟล์ซีเควนซ์ที่อธิบายเฟรมวิดีโอของเรา จากนั้นจึงสร้างไฟล์รายการโดยอ้างอิงถึงไฟล์ซีเควนซ์ของเรา
- เรียกใช้เซลล์ภายใต้ สร้างไฟล์การกำหนดค่าหมวดหมู่ป้ายกำกับ เพื่อสร้างไฟล์ใหม่ XNUMX ไฟล์ ได้แก่ ไฟล์กำหนดค่าป้ายกำกับยานพาหนะ (ซึ่งใช้เครื่องมือ bounding box) และไฟล์การกำหนดค่าป้ายกำกับเลน (ซึ่งใช้เครื่องมือ polyline)
- คัดลอกไฟล์รายการและติดป้ายกำกับไฟล์การกำหนดค่าหมวดหมู่ไปยัง Amazon S3 โดยเรียกใช้ ส่งข้อมูลไปยัง S3
ณ จุดนี้ คุณได้เตรียมอินพุตทั้งหมดสำหรับงานการติดฉลากและพร้อมที่จะเริ่มใช้งานโซลูชัน
หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับงานการติดฉลากเฟรมวิดีโอ Ground Truth และการเชื่อมโยง ดูข้อมูลอ้างอิงต่อไปนี้:
เรียกใช้เวิร์กโฟลว์ตัวอย่าง
ในส่วนนี้ เราจะอธิบายขั้นตอนต่างๆ เพื่อเรียกใช้เวิร์กโฟลว์ตัวอย่างในชุดข้อมูลยานยนต์ เราสร้างเวิร์กโฟลว์หลายรูปแบบ ดำเนินการทั้งการติดฉลากเริ่มต้นและการตรวจสอบ จากนั้นดูคำอธิบายประกอบที่เสร็จสมบูรณ์ของเรา
สร้างชุดเวิร์กโฟลว์
โซลูชันนี้จะจัดการเวิร์กโฟลว์ของงานการติดฉลาก Ground Truth เพื่อเรียกใช้งานทั้งการติดตามวัตถุวิดีโอ bounding box และงาน polyline ตลอดจนสร้างงานการปรับโดยอัตโนมัติหลังจากการติดฉลากเริ่มต้น ชุดเวิร์กโฟลว์นี้มีการกำหนดค่าผ่าน batch_create
API พร้อมใช้งานสำหรับโซลูชัน
เรียกใช้เซลล์ภายใต้ สาธิตการสร้างแบทช์ ในสมุดบันทึก สิ่งนี้จะส่งผ่านรายการอินพุตและการกำหนดค่าหมวดหมู่ป้ายกำกับ S3 URI ไปยังชุดเวิร์กโฟลว์ใหม่
เซลล์ควรแสดง ID ของชุดงานเวิร์กโฟลว์ที่สร้างขึ้นใหม่ ตัวอย่างเช่น
เสร็จสิ้นภารกิจการติดฉลากรอบแรก
ในการจำลองผู้ปฏิบัติงานที่ทำการติดฉลากให้เสร็จสิ้น เราเข้าสู่ระบบในฐานะผู้ปฏิบัติงานในทีมงาน Ground Truth ระดับแรกและทำงานการติดฉลากให้เสร็จสิ้น
- เรียกใช้เซลล์ภายใต้ ลงชื่อเข้าใช้พอร์ทัลผู้ปฏิบัติงาน เพื่อรับลิงก์เพื่อเข้าสู่ระบบพอร์ทัลผู้ปฏิบัติงาน
ควรส่งคำเชิญไปยังที่อยู่อีเมลของคุณแล้ว หากคุณเชิญตัวเองให้เข้าร่วมทีมงานระดับที่หนึ่งและระดับที่สองที่สร้างโซลูชัน
- เข้าสู่ระบบและรอให้งานปรากฏในพอร์ทัลผู้ปฏิบัติงาน
ควรมีงานสองงาน งานหนึ่งลงท้ายด้วย vehicle
และหนึ่งที่ลงท้ายด้วย lane
สอดคล้องกับงานสองงานที่เราสร้างระหว่างการสร้างชุดงานเวิร์กโฟลว์
- เปิดแต่ละงานและเพิ่มป้ายจำลองโดยการเลือกและลากบนเฟรมภาพ
- Choose ส่ง ในแต่ละงาน
เสร็จสิ้นภารกิจการติดฉลากรอบที่สอง
เวิร์กโฟลว์ของเราระบุว่าเราต้องการเปิดงานการปรับปรุงอัตโนมัติสำหรับงานระดับแรกแต่ละงาน ตอนนี้เราเสร็จสิ้นงานการติดฉลากรอบที่สองแล้ว
- ยังอยู่ในพอร์ทัลคนงาน รองานด้วย
vehicle-audit
และlane-audit
ปรากฏ - เปิดแต่ละงานในพอร์ทัลผู้ปฏิบัติงาน โดยสังเกตว่าป้ายกำกับของระดับก่อนหน้ายังคงปรากฏให้เห็น
งานปรับปรุงเหล่านี้สามารถทำได้โดยกลุ่มการประกันคุณภาพที่ได้รับการฝึกอบรมมาเป็นอย่างดีในทีมงานที่แตกต่างกัน
- ปรับเปลี่ยนได้ตามต้องการแล้วเลือก ส่ง or ล้มเหลว ในแต่ละคำอธิบายประกอบ
- เสร็จแล้วเลือก ส่ง.
ดูคำอธิบายประกอบที่เสร็จสมบูรณ์
เราสามารถดูรายละเอียดเกี่ยวกับชุดงานเวิร์กโฟลว์ที่เสร็จสมบูรณ์โดยเรียกใช้ชุดการแสดง API
- เรียกใช้เซลล์ภายใต้ สาธิตการแสดงแบทช์.
สิ่งนี้จะสอบถามฐานข้อมูลของโซลูชันสำหรับเวิร์กโฟลว์ที่รันชุดงานทั้งหมดทั้งหมด และควรแสดงรหัสชุดงานของคุณเมื่อชุดงานของคุณเสร็จสมบูรณ์
- เราสามารถรับรายละเอียดเฉพาะเพิ่มเติมเกี่ยวกับแบทช์ได้โดยการเรียกใช้เซลล์ภายใต้ ชุดแสดงรายละเอียดการสาธิต.
การดำเนินการนี้ใช้ ID ของแบตช์ในระบบและส่งคืนข้อมูลสถานะและตำแหน่งของรายการอินพุตและเอาต์พุตทั้งหมดสำหรับแต่ละงานที่สร้างขึ้น
- คัดลอกและป้อนฟิลด์
jobOutputS3Url
สำหรับงานใด ๆ และตรวจสอบว่าดาวน์โหลดไฟล์รายการสำหรับงานนั้นแล้ว
ไฟล์นี้มีการอ้างอิงถึงลำดับข้อมูลอินพุตของคุณ รวมถึง S3 URI ของคำอธิบายประกอบเอาต์พุตสำหรับแต่ละลำดับ
ผลลัพธ์สุดท้าย
เมื่องานการติดฉลากทั้งหมดในไปป์ไลน์เสร็จสมบูรณ์ ข้อความ SNS จะถูกเผยแพร่บน หัวข้อ SNS สถานะเริ่มต้น. คุณ สามารถสมัครสมาชิกหัวข้อ SNS ได้ โดยใช้ที่อยู่อีเมลสำหรับตรวจสอบการทำงานของโซลูชัน ข้อความประกอบด้วยรหัสชุดงานที่ใช้ระหว่างการสร้างชุดงาน ข้อความเกี่ยวกับการเสร็จสิ้นชุดงาน และข้อมูลเดียวกัน batch/show
API ให้ภายใต้a batchInfo
สำคัญ. คุณสามารถแยกวิเคราะห์ข้อความนี้เพื่อแยกข้อมูลเมตาเกี่ยวกับงานการติดฉลากที่เสร็จสมบูรณ์ในระดับที่สองของไปป์ไลน์
ภายในแต่ละบล็อบข้อมูลเมตาของงาน a jobOutputS3Url
ฟิลด์มี URL ที่กำหนดไว้ล่วงหน้าเพื่อเข้าถึงรายการผลลัพธ์ของงานนี้โดยเฉพาะ ไฟล์ Manifest ผลลัพธ์ประกอบด้วยผลลัพธ์ของการติดฉลากข้อมูลในรูปแบบไฟล์ Manifest ที่เพิ่มขึ้น ซึ่งคุณสามารถแยกวิเคราะห์เพื่อดึงคำอธิบายประกอบโดยการทำดัชนีวัตถุ JSON ด้วย <jobName>-ref
. ฟิลด์นี้ชี้ไปที่ตำแหน่ง S3 ที่มีคำอธิบายประกอบทั้งหมดสำหรับคลิปวิดีโอที่กำหนด
ตัวอย่างเช่น สำหรับงาน bounding box the SeqLabel.json
file มีคำอธิบายประกอบของกรอบล้อมรอบสำหรับแต่ละเฟรมที่มีคำอธิบายประกอบ (ในกรณีนี้ เฉพาะเฟรมแรกเท่านั้นที่มีคำอธิบายประกอบ):
เนื่องจากข้อความ SNS ที่เสร็จสิ้นเป็นชุดมีไฟล์รายการผลลัพธ์ทั้งหมดจากงานที่เปิดใช้พร้อมกัน คุณจึงสามารถดำเนินการภายหลังการประมวลผลคำอธิบายประกอบตามข้อความนี้ ตัวอย่างเช่น หากคุณมีรูปแบบการออกหมายเลขเฉพาะสำหรับคำอธิบายประกอบเหล่านี้ซึ่งรวมกล่องขอบรถและหมายเหตุช่องทางเข้าไว้ด้วยกัน คุณจะได้รับรายการผลลัพธ์ของงานเลนและงานยานพาหนะ จากนั้นจึงรวมตามหมายเลขเฟรมและแปลงเป็นรายการที่คุณต้องการ รูปแบบสุดท้าย
หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับรูปแบบข้อมูลเอาต์พุต Ground Truth โปรดดูที่ ข้อมูลส่งออก.
ทำความสะอาด
เพื่อหลีกเลี่ยงการเรียกเก็บเงินในอนาคต ให้เรียกใช้ ทำความสะอาด ส่วนของสมุดบันทึกเพื่อลบทรัพยากรทั้งหมดรวมถึงวัตถุ S3 และกอง CloudFormation เมื่อการลบเสร็จสิ้น ตรวจสอบให้แน่ใจว่าได้หยุดและลบอินสแตนซ์โน้ตบุ๊กที่โฮสต์สคริปต์โน้ตบุ๊กปัจจุบัน
สรุป
ชุดสองส่วนนี้มีสถาปัตยกรรมอ้างอิงเพื่อสร้างเวิร์กโฟลว์การติดฉลากข้อมูลขั้นสูงที่ประกอบด้วยไปป์ไลน์การติดฉลากข้อมูลหลายขั้นตอน งานการปรับปรุง และ Data Lake สำหรับคำอธิบายประกอบชุดข้อมูลที่สอดคล้องกันและตัววัดผู้ปฏิบัติงาน ตลอดจนแดชบอร์ดที่อัปเดต
ในโพสต์นี้ คุณได้เรียนรู้วิธีนำข้อมูลเฟรมวิดีโอและเรียกใช้เวิร์กโฟลว์เพื่อเรียกใช้งานการติดป้ายกำกับ Ground Truth หลายงาน โดยสร้างคำอธิบายประกอบสองประเภทที่แตกต่างกัน (bounding box และ polylines) คุณยังได้เรียนรู้วิธีขยายไปป์ไลน์เพื่อตรวจสอบและยืนยันชุดข้อมูลที่ติดป้ายกำกับและวิธีดึงผลลัพธ์ที่ตรวจสอบแล้ว สุดท้ายนี้ คุณได้เห็นวิธีการอ้างอิงความคืบหน้าปัจจุบันของงานแบทช์โดยใช้ BatchShow API
สำหรับข้อมูลเพิ่มเติมเกี่ยวกับ Data Lake สำหรับคำอธิบายประกอบชุดข้อมูล Ground Truth และตัวชี้วัดผู้ปฏิบัติงานจาก Ground Truth ให้กลับมาตรวจสอบที่ บล็อกความจริงพื้นดิน สำหรับบล็อกโพสต์ที่สองในชุดนี้ (เร็วๆ นี้)
ลองใช้ สมุดบันทึก และปรับแต่งสำหรับชุดข้อมูลอินพุตของคุณโดยเพิ่มงานเพิ่มเติมหรือขั้นตอนการตรวจสอบ หรือโดยการปรับเปลี่ยนรูปแบบข้อมูลของงาน การปรับแต่งเพิ่มเติมของ ทางออก อาจรวมถึงแต่ไม่จำกัดเพียง:
- การเพิ่มประเภทเพิ่มเติมของคำอธิบายประกอบ เช่น มาสก์การแบ่งส่วนความหมายหรือประเด็นสำคัญ
- การเพิ่มการประกันคุณภาพอัตโนมัติและการกรองไปยังเวิร์กโฟลว์ Step Functions เพื่อส่งเฉพาะคำอธิบายประกอบคุณภาพต่ำไปยังระดับถัดไปของการตรวจสอบ
- การเพิ่มการตรวจสอบคุณภาพระดับที่สามหรือสี่สำหรับประเภทการตรวจทานเพิ่มเติมที่เชี่ยวชาญมากขึ้น
โซลูชันนี้สร้างขึ้นโดยใช้เทคโนโลยีแบบไร้เซิร์ฟเวอร์นอกเหนือจาก Step Functions ซึ่งทำให้สามารถปรับแต่งได้อย่างมากและใช้ได้กับแอปพลิเคชันที่หลากหลาย
เกี่ยวกับผู้เขียน
วิทยาสาคร รวิปาติ เป็นสถาปนิก Deep Learning ที่ ห้องปฏิบัติการโซลูชัน Amazon MLซึ่งเขาใช้ประสบการณ์มากมายในระบบแบบกระจายขนาดใหญ่และความหลงใหลในการเรียนรู้ของเครื่องเพื่อช่วยลูกค้า AWS ในอุตสาหกรรมต่างๆ เร่งการนำ AI และระบบคลาวด์ไปใช้ ก่อนหน้านี้ เขาเป็นวิศวกรแมชชีนเลิร์นนิ่งใน Connectivity Services ที่ Amazon ซึ่งช่วยสร้างแพลตฟอร์มส่วนบุคคลและการบำรุงรักษาเชิงคาดการณ์
เจเรมี เฟลแทรคโก เป็นวิศวกรพัฒนาซอฟต์แวร์ของ Amazon ML Solutions Lab ที่ Amazon Web Services เขาใช้ภูมิหลังด้านคอมพิวเตอร์วิทัศน์ วิทยาการหุ่นยนต์ และการเรียนรู้ของเครื่องเพื่อช่วยให้ลูกค้า AWS เร่งการนำ AI ไปใช้
แจซองจัง เป็นวิศวกรพัฒนาซอฟต์แวร์ ความหลงใหลของเขาอยู่ที่กระบวนการทำงานด้วยตนเองโดยอัตโนมัติโดยใช้โซลูชัน AI และเทคโนโลยี Orchestration เพื่อให้แน่ใจว่าการดำเนินธุรกิจ
ทาเลีย โชปรา เป็นนักเขียนด้านเทคนิคใน AWS ที่เชี่ยวชาญด้านแมชชีนเลิร์นนิงและปัญญาประดิษฐ์ เธอทำงานร่วมกับหลายทีมใน AWS เพื่อสร้างเอกสารทางเทคนิคและบทช่วยสอนสำหรับลูกค้าโดยใช้ Amazon SageMaker, MxNet และ AutoGluon
- "
- 100
- 107
- 3d
- 7
- 98
- เข้า
- ลงชื่อเข้าใช้
- เพิ่มเติม
- การนำมาใช้
- AI
- การรับเลี้ยงบุตรบุญธรรมของ AI
- ขั้นตอนวิธี
- ทั้งหมด
- การอนุญาต
- อเมซอน
- อเมซอน SageMaker
- ความจริงของ Amazon SageMaker
- Amazon Web Services
- การวิเคราะห์
- API
- APIs
- app
- การใช้งาน
- สถาปัตยกรรม
- ปัญญาประดิษฐ์
- การตรวจสอบบัญชี
- อัตโนมัติ
- ยานยนต์
- AWS
- บล็อก
- กล่อง
- สร้าง
- การก่อสร้าง
- ธุรกิจ
- โทรศัพท์
- กรณี
- เปลี่ยนแปลง
- โหลด
- การตรวจสอบ
- เมฆ
- การยอมรับระบบคลาวด์
- รหัส
- มา
- ร่วมกัน
- คำนวณ
- วิสัยทัศน์คอมพิวเตอร์
- การเชื่อมต่อ
- ค่าใช้จ่าย
- การสร้าง
- ล่องเรือ
- ปัจจุบัน
- สถานะปัจจุบัน
- ลูกค้า
- หน้าปัด
- ข้อมูล
- ดาต้าเลค
- คุณภาพของข้อมูล
- ฐานข้อมูล
- การเรียนรู้ลึก ๆ
- ความต้องการ
- รายละเอียด
- พัฒนาการ
- อีเมล
- ปลายทาง
- วิศวกร
- การปฏิบัติ
- ความล้มเหลว
- แฟชั่น
- ชื่อจริง
- รูป
- ฟรี
- ฟังก์ชัน
- อนาคต
- General
- GIF
- บัญชีกลุ่ม
- โปรดคลิกที่นี่เพื่ออ่านรายละเอียดเพิ่มเติม
- จุดสูง
- โฮสติ้ง
- สรุป ความน่าเชื่อถือของ Olymp Trade?
- ทำอย่างไร
- HTTPS
- AMI
- ICON
- แยกแยะ
- เอกลักษณ์
- ภาพ
- รวมทั้ง
- อุตสาหกรรม
- ข้อมูล
- ข้อมูลเชิงลึก
- Intelligence
- IT
- การสัมภาษณ์
- งาน
- คีย์
- การติดฉลาก
- ป้ายกำกับ
- ใหญ่
- เปิดตัว
- เรียนรู้
- ได้เรียนรู้
- การเรียนรู้
- ชั้น
- LIDAR
- ถูก จำกัด
- LINK
- รายการ
- ที่ตั้ง
- เรียนรู้เครื่อง
- การจัดการ
- แผนที่
- มาสก์
- กลาง
- ตัวชี้วัด
- ML
- แบบ
- ชื่อ
- การเดินเรือ
- การประกาศ
- การดำเนินงาน
- ใบสั่ง
- อื่นๆ
- แบบแผน
- การปฏิบัติ
- ส่วนบุคคล
- แพลตฟอร์ม
- นโยบาย
- สระ
- พอร์ทัล
- การตั้งราคา
- ส่วนตัว
- ผลิต
- คุณภาพ
- ดิบ
- ลด
- ความต้องการ
- แหล่งข้อมูล
- ผลสอบ
- รับคืน
- ทบทวน
- รีวิว
- หุ่นยนต์
- วิ่ง
- วิ่ง
- sagemaker
- ขนาด
- รอง
- ชุด
- serverless
- บริการ
- ชุด
- ที่ใช้ร่วมกัน
- ง่าย
- ขนาด
- So
- ซอฟต์แวร์
- การพัฒนาซอฟต์แวร์
- โซลูชัน
- ช่องว่าง
- ระยะ
- เริ่มต้น
- ข้อความที่เริ่ม
- สถานะ
- สหรัฐอเมริกา
- Status
- การเก็บรักษา
- ความสำเร็จ
- สนับสนุน
- รองรับ
- ระบบ
- ระบบ
- วิชาการ
- เทคโนโลยี
- บอก
- ทดสอบ
- เวลา
- โทเค็น
- ด้านบน
- การติดตาม
- การฝึกอบรม
- การแปลง
- การรักษาเยียวยา
- เกี่ยวกับการสอน
- บทเรียน
- การปรับปรุง
- URI
- ผู้ใช้
- พาหนะ
- ยานพาหนะ
- วีดีโอ
- วิดีโอ
- รายละเอียด
- วิสัยทัศน์
- ปริมาณ
- รอ
- เว็บ
- บริการเว็บ
- WHO
- ภายใน
- งาน
- แรงงาน
- เวิร์กโฟลว์
- กำลังแรงงาน
- โรงงาน
- โลก
- นักเขียน