Tööstusautomaatika Tysonis koos arvutinägemise, AWS Panorama ja Amazon SageMakeriga

See on esimene kaheosalisest ajaveebiseeriast, mis käsitleb seda, kuidas Tyson Foods, Inc. kasutab Amazon SageMakerit ja AWS Panoramat, et automatiseerida tööstuslikke protsesse oma lihapakenditehastes, tuues tehisintellekti rakenduste eelised servale. Esimeses osas käsitleme pakendamisliinide varude loendamise rakendust. Teises osas käsitleme nägemispõhist anomaaliate tuvastamise lahendust tööstusseadmete ennustavaks hoolduseks.

Olles üks maailma suurimaid kana-, veise- ja sealiha töötlejaid ja turundajaid, Tyson Foods, Inc., on tuntud uuenduslike lahenduste toomise poolest oma tootmis- ja pakkimistehastesse. Veebruaris 2020 Tyson teatas tema plaan tuua Computer Vision (CV) oma kanatehastesse ja käivitas AWS-i pilootprojekti, et olla teerajaja varude haldamisel. Tyson tegi koostööd Amazon ML Solutions Lab luua tipptasemel kanasalve loendamise CV-lahendus, mis annab reaalajas ülevaate pakitud varude tasemetest. Selles postituses anname ülevaate AWS-i arhitektuurist ja lahenduse täieliku ülevaate, et demonstreerida Tysoni tehases üles seatud kandikute loendustorustiku põhikomponente. Keskendume andmete kogumisele ja märgistamisele, koolitusele ja CV-mudelite kasutuselevõtule Amazon SageMaker, Apache MXNet Gluonja AWS Panoraam.

Töötase on Tyson Foodsi peamine prioriteet. Tyson rakendab oma pakkimisliinidel rangeid kvaliteedi tagamise (QA) meetmeid, tagades, et klientidele tarnitakse ainult need pakendatud tooted, mis läbivad nende kvaliteedikontrolli protokollid. Klientide nõudluse rahuldamiseks ja tootmisega seotud probleemidest ette jäämiseks jälgib Tyson tähelepanelikult pakitud kanasalvede arvu. Kuid praegused käsitsi meetodid kvaliteedikontrolli läbivate kanaplaatide loendamiseks ei ole täpsed ega anna selget ülevaadet üle-/alatootmise tasemest. Alternatiivsed strateegiad, nagu iga riiuli toodangu kogumassi jälgimine, ei anna tehase töötajatele kohest tagasisidet. Kana töötlemisvõimsusega 45,000,000 XNUMX XNUMX looma nädalas on tootmise täpsus ja tõhusus Tysoni äritegevuse jaoks kriitilise tähtsusega. CV-d saab sellistes stsenaariumides tõhusalt kasutada, et hinnata täpselt reaalajas töödeldud kana kogust, võimaldades töötajatel tuvastada võimalikke kitsaskohti pakendites ja tootmisliinides, kui need ilmnevad. See võimaldab rakendada parandusmeetmeid ja tõstab tootmise efektiivsust.

Kohapealsete videovoogude voogesitamine ja töötlemine pilves CV-rakenduste jaoks nõuab suurt võrgu ribalaiust ja asjakohase infrastruktuuri loomist. See võib olla kulukas ülesanne. AWS Panorama eemaldab need nõuded ja võimaldab Tysonil töödelda videovooge AWS Panorama Appliance'i servas. See vähendab latentsusaega pilve/pilve ja ribalaiuse kulusid, pakkudes samal ajal hõlpsasti kasutatavat liidest seadmete ja rakenduste haldamiseks äärel.

Objektide tuvastamine on üks sagedamini kasutatavaid CV-algoritme, mis suudab lokaliseerida objektide asukohta piltidel ja videotes. Seda tehnoloogiat kasutatakse praegu mitmesugustes reaalsetes rakendustes, nagu jalakäijate tuvastamine autonoomsetes sõidukites, kasvajate tuvastamine meditsiinilistel skaneeringutel, inimeste loendussüsteemid, et jälgida muu hulgas jaemüügipindade arvu. Samuti on oluline laohalduse kasutusjuhtudel, nagu Tysoni lihasalvede loendamine, jäätmete vähendamine, luues tagasisideahela tootmisprotsesside, kulude kokkuhoiu ja klientide saadetiste õigeaegse kohaletoimetamise kaudu.

Selle ajaveebipostituse järgmistes jaotistes kirjeldatakse, kuidas me kasutame ühe Tyson Foodsi tehase reaalajas videoid, et koolitada Amazon SageMakeri abil objektide tuvastamise mudelit. Seejärel juurutame selle AWS Panorama seadmega servas.

AWS Panoraam

AWS Panorama on masinõppe (ML) seade, mis võimaldab organisatsioonidel viia CV kohapealsetesse kaameratesse, et teha ennustusi kohapeal suure täpsuse ja madala latentsusajaga. AWS Panorama Appliance on riistvaraseade, mis võimaldab teil käivitada rakendusi, mis kasutavad ML-i videovoogudest andmete kogumiseks, teksti ja graafiliste ülekatetega video väljastamiseks ning teiste AWS-teenustega suhtlemiseks. Seade suudab paralleelselt käitada mitut CV-mudelit mitme videovoo vastu ja väljastada tulemusi reaalajas. See on mõeldud kasutamiseks kaubanduslikes ja tööstuslikes tingimustes.

AWS Panorama Appliance võimaldab teil käivitada iseseisvaid CV-rakendusi servas, ilma pilte AWS-i pilve saatmata. Samuti saate kasutada AWS Panorama Appliance'i AWS SDK-d, et integreerida teiste AWS-teenustega ja kasutada neid rakenduse andmete aja jooksul jälgimiseks. Rakenduste loomiseks ja juurutamiseks kasutate AWS Panorama Application CLI-d. CLI on käsurea tööriist, mis loob rakenduste vaikekaustad ja konfiguratsioonifailid, loob Dockeriga konteinereid ja laadib üles varasid.

AWS Panorama toetab mudeleid, mis on ehitatud Apache MX Net, tume võrk, GluonCV, Keras, ONNX, PyTorch, TensorFlowja TensorFlow Lite. Viitama see ajaveebipostitus, et saada lisateavet AWS Panorama rakenduste loomise kohta. Juurutusprotsessi ajal hoolitseb AWS Panorama servaplatvormile spetsiifilise mudeli kompileerimise eest Amazon SageMaker Neo kogumik. Järelduste tulemusi saab suunata AWS-teenustele, nagu Amazon S3, Amazon CloudWatch või integreerida kohapealsete ärirakendustega. Juurutamise logid salvestatakse Amazon CloudWatchi.

Järeldusskripti loogika või koolitatud mudeli muutuste jälgimiseks saab luua rakenduse uue versiooni. Rakenduse versioonid on rakenduse konfiguratsiooni muutumatud hetktõmmised. AWS Panorama salvestab teie rakenduste eelmised versioonid, et saaksite ebaõnnestunud värskendusi tagasi tõmmata või käitada erinevates seadmetes erinevaid versioone.

Lisateavet leiate jaotisest AWS Panorama leht. Näidisrakenduste loomise kohta lisateabe saamiseks vaadake AWS-i panoraamnäidised.

Lähenemine

Tehase töötaja täidab pidevalt pakitud kanaaluseid plastkastidesse ja virnastab need aja jooksul, nagu on näidatud eelmisel joonisel. Soovime tuvastada ja lugeda kõigi vertikaalselt virnastatud prügikastide koguarvu.

Koolitatud objektituvastusmudel suudab ennustada iga videokaadri juures kõigi prügikasti asetatud salve piirdekaste. Seda saab kasutada konkreetsel juhul prügikastis salvede arvu mõõtmiseks. Teame ka, et igal ajahetkel täidetakse ainult ühte prügikasti pakitud alustega; salve loendurid võnguvad pidevalt kõrgest (täitmise ajal) madalaks (kui uus prügikast takistab vaadet täidetud prügikastile).

Nende teadmiste põhjal võtame kanaaluste koguarvu loendamiseks kasutusele järgmise strateegia:

1. Hoidke kahte erinevat loendurit – kohalikku ja globaalset. Globaalne loendur salvestab salve kogusummas ja kohalik loendur salvestab maksimaalse arvu uude prügikasti pandud salve.
2. Värskendage kohalikku loendurit, kui prügikasti asetatakse uued salved.
3. Tuvastage uus prügikasti sündmus järgmistel viisidel.
   1. Salve arv antud kaadris läheb nullini. (või)
   2. Salve numbrite voog viimases n raamid langevad pidevalt.
4. Kui uus prügikasti sündmus on tuvastatud, lisage kohaliku loenduri väärtus globaalsele loendurile.
5. Lähtestage kohalik loendur nullile.

Testisime seda algoritmi mitme tunni videoga ja saime ühtsed tulemused.

Objektituvastusmudeli koolitamine Amazon SageMakeriga

Andmestiku loomine:

Kogusime AWS Panorama Appliance'i abil pakendiliinilt pildinäidiseid. Kujutiste töötlemise ja salvestamise skript pakiti rakendusena ja juurutati AWS Panoramas. Rakendus kogub videokaadreid pakendamistsooni lähedal asuvast kohapealsest kaamerast ja salvestab need 60-sekundiliste intervallidega Amazon S3 ämber; see takistab mõnesekundilise vahega sarnaste kujutiste jäädvustamist videoseerias. Samuti maskeerime pildil külgnevad piirkonnad, mis pole kasutusjuhtumi jaoks asjakohased.

Märgistasime kanaalused piiravate kastidega, kasutades Amazon SageMaker Ground Truth's voogesituse sildistamise töö. Seadistasime ka Amazon S3 sündmuste teatise, mis avaldatakse objektide loodud sündmused kuni Amazoni lihtne teavitusteenus (SNS) teema, mis toimib märgistamistöö sisendallikana. Kui AWS Panorama rakenduse skript salvestab pildi S3 ämbrisse, avaldatakse SNS-i teemale sündmuse märguanne, mis seejärel saadab selle pildi sildistamistööle. Kuna annotaatorid märgistavad iga sissetuleva pildi, salvestab Ground Truth sildid manifestifaili, mis sisaldab nii pildi S3 teed kui ka kanasalve piirdekastide koordinaate.

Teeme märgistatud piltidele mitmeid andmete suurendamisi (näiteks juhuslik müra, juhuslik kontrast ja heledus, kanalite segamine), et muuta mudel reaalse elu variatsioonide suhtes vastupidavaks. Algsed ja täiendatud pildid ühendati ühtseks andmekogumiks.

Modellikoolitus:

Kui märgistamistöö on lõpetatud, käivitame käsitsi AWS Lambda funktsiooni. See Lambda-funktsioon koondab väljundmanifesti kujutised ja neile vastavad sildid a-sse LST-fail. Meie koolitus- ja testifailides olid erinevatelt pakkimisliinidelt kogutud pildid, et vältida andmete lekkimist hindamisel. Lambda funktsioon käivitab seejärel Amazon SageMakeri koolitustöö.

Me kasutame SageMakeri skriptirežiim, mis võimaldab teil kaasa võtta oma treeningalgoritme ja otse treenida mudeleid, jäädes samal ajal Amazon SageMakeri kasutajasõbralikesse raamidesse. Koolitame mudeleid nagu SSD, Yolo-v3 (reaalajas järelduste latentsuse jaoks) erinevate magistraalvõrgu kombinatsioonidega alates GluonCV Model Zoo objektide tuvastamiseks skriptirežiimis. Närvivõrkudel on kalduvus treeningandmeid üle sobitada, mis toob kaasa kehvad tulemused. GluonCV pakub pildi normaliseerimist ja pildi suurendamist, nagu juhuslikult valitud kujutiste ümberpööramine ja kärpimine, et vähendada treeningu ajal liigset sobitamist. The mudeli koolituskood on konteineris ja kasutab meie AWS-i elastsete konteinerite registris Dockeri pilti. Treeningtöö võtab sisenditena S3 pildikausta ja LST-faili teed ning salvestab parima mudeliartefakti (.params ja .json) S3-le pärast lõpetamist.

Meie testikomplekti põhjal olid kaks parimat mudelit SSD-resnet50 ja Yolov3-darketnet53, mille mAP skoor on 0.91. Teostasime ka reaalmaailma testimisi, juurutades koos koolitatud mudeliga järeldusrakenduse AWS Panorama seadmes. Järeldusskript salvestab ennustused ja videokaadrid Amazon S3 ämbrisse. Lõime põhitõe märkimiseks veel ühe SageMaker Ground Truthi töö ja viisime seejärel läbi täiendava kvantitatiivse mudeli hindamise. Piltide põhitõde ja ennustatud piirdekasti sildid salvestati S3-sse kvalitatiivseks hindamiseks. Mudelid suutsid üldistada tegelike andmete põhjal ja andsid ühtlase jõudluse, mis sarnanes meie testikomplektiga.

Siit leiate täielikke ja terviklikke näiteid kohandatud koolitustööde loomise, tipptasemel objektituvastusmudelite koolitamise, hüperparameetrite optimeerimise (HPO) rakendamise ja mudeli juurutamise kohta Amazon SageMakeris. AWS Labsi GitHubi repo.

Lihasalve loendusrakenduse juurutamine

Enne juurutamist pakendame kõik oma varad – mudeli, järeldusskripti, kaamera ja globaalse muutuja konfiguratsiooni ühte konteinerisse, nagu on mainitud see blogipostitus. Meie pidev integreerimine ja pidev juurutamine (CI/CD) värskendab kõik järeldusskripti muudatused rakenduse uue versioonina. Kui rakenduse uus versioon on avaldatud, juurutame selle programmiliselt, kasutades Pythonis boto3 SDK-d.

Rakenduse juurutamisel loob AWS Panorama esmalt AWS SageMaker Neo kompileerimistöö, et kompileerida AWS Panorama seadme mudel. Järeldusrakenduse skript impordib seadmesse kompileeritud mudeli ja tuvastab iga kaadri juures kanalisatsiooni. Lisaks SageMaker Neo-Compilationile võimaldasime treeningjärgse kvantiseerimise, lisades os.environ['TVM_TENSORRT_USE_FP16'] = '1' lipp skriptis. See vähendab mudeli kaalu suurust ujukilt 32 ujukile 16, vähendades mudeli suurust poole võrra ja parandades latentsust ilma jõudluse halvenemiseta. Järelduste tulemused on salvestatud AWS SiteWise monitor MQTT sõnumite kaudu AWS Panorama seadmest kaudu AWS IoT tuum. Tulemused lükatakse seejärel Amazon S3-sse ja visualiseeritakse Amazon QuickSight Armatuurlauad. Tehase juhid ja töötajad saavad neid armatuurlaudu otse vaadata, et mõista reaalajas iga pakkimisliini läbilaskevõimet.

Järeldus

Kombineerides AWS-i pilveteenuse, nagu Amazon SageMaker, Amazon S3 ja servateenuse, nagu AWS Panorama, Tyson Foods Inc., lisab tehisintellekti, et automatiseerida inimmahukaid tööstusprotsesse, nagu varude loendamine oma tootmisettevõtetes. Reaalajas servajäreldusvõimalused võimaldavad Tysonil tuvastada üle-/alatootmise ja dünaamiliselt kohandada oma tootmisvoogu, et maksimeerida tõhusust. Lisaks, kuna Tyson omab äärel asuvat AWS Panorama seadet, suudab Tyson säästa ka kulusid, mis on seotud kalli võrgu ribalaiusega, et edastada videofaile pilve ja nüüd saab kõiki oma video-/pildivarasid oma võrgus kohapeal töödelda.

See ajaveebi postitus pakub teile lõpp-serva rakenduste ülevaadet ja viitearhitektuure CV-rakenduse arendamiseks koos AWS Panoramaga. Arutasime 3 erinevat serva CV rakenduse koostamise aspekti.

1. kuupäev: andmete kogumine, töötlemine ja märgistamine AWS Panorama ja Amazon SageMaker Ground Truthi abil.
2. MUDEL: mudeli koolitus ja hindamine Amazon SageMakeri ja AWS Lambda abil
3. Rakenduspakett: koolitatud mudeli, skriptide ja konfiguratsioonifailide komplekteerimine AWS Panorama jaoks.

Olge kursis selle sarja teise osaga, mis räägib sellest, kuidas Tyson kasutab AWS Panorama'i CV-põhiseks tööstusmasinate ennustavaks hoolduseks.

Click siin et alustada oma reisi AWS Panoramaga. ML Solutions Labiga koostöö tegemise kohta lisateabe saamiseks vt Amazoni masinõppelahenduste labor.

---

Autoritest

Divya Bhargavi on andmeteadlane ettevõttes Amazon ML Solutions Lab kus ta töötab klientidega erinevatest vertikaalidest ja rakendab loomingulist probleemide lahendamist, et luua klientidele väärtust tipptasemel ML/AI lahendustega.

Dilip Subramaniam on Tyson Foodsi arenevate tehnoloogiate meeskonna vanemarendaja. Ta on kirglik suuremahuliste hajutatud rakenduste loomise vastu, et lahendada äriprobleeme ja lihtsustada protsesse, kasutades oma teadmisi tarkvaraarenduses, masinõppes ja suurandmetes.

Allikas: https://aws.amazon.com/blogs/machine-learning/industrial-automation-at-tyson-with-computer-vision-aws-panorama-and-amazon-sagemaker/