Tudi po več kot sto letih od uvedbe histologija ostaja zlati standard v diagnostiki in prognozi tumorjev. Anatomski patologi ocenjujejo histologijo, da stratificirajo bolnike z rakom v različne skupine glede na njihove tumorske genotipe in fenotipe ter njihov klinični izid [1,2]. Vendar pa je človeška ocena histoloških preparatov subjektivna in ni ponovljiva [3]. Poleg tega je histološka ocena dolgotrajen proces, ki zahteva visoko usposobljene strokovnjake.
Z znatnim tehnološkim napredkom v zadnjem desetletju so tehnike, kot sta slikanje celega diapozitiva (WSI) in globoko učenje (DL), zdaj široko dostopne. WSI je skeniranje običajnih mikroskopskih steklenih stekelc za izdelavo ene same slike visoke ločljivosti iz teh preparatov. To omogoča digitalizacijo in zbiranje velikih sklopov patoloških slik, kar bi bilo prehitro zamudno in drago. Razpoložljivost takšnih naborov podatkov ustvarja nove in inovativne načine pospeševanja diagnoze z uporabo tehnik, kot je strojno učenje (ML), ki patologom pomagajo pri pospeševanju diagnoz s hitrim prepoznavanjem zanimivih značilnosti.
V tej objavi bomo raziskali, kako lahko razvijalci brez predhodnih izkušenj z ML uporabljajo Oznake po meri za ponovno odstranjevanje Amazon usposobiti model, ki razvršča celične značilnosti. Amazon Rekognition Custom Labels je značilnost Amazonsko ponovno vžiganje ki vam omogoča, da zgradite lastne specializirane zmogljivosti analize slik, ki temeljijo na ML, za odkrivanje edinstvenih predmetov in prizorov, ki so sestavni del vašega posebnega primera uporabe. Zlasti uporabljamo nabor podatkov, ki vsebuje cele slike diapozitivov karcinoma pasje dojke [1], da pokažemo, kako obdelati te slike in usposobiti model, ki zaznava mitotične figure. Ta nabor podatkov je bil uporabljen z dovoljenjem prof. dr. Marca Aubrevilla, ki se je prijazno strinjal, da nam ga lahko uporabimo za to objavo. Za več informacij glejte razdelek Zahvale na koncu te objave.
Pregled rešitve
Rešitev je sestavljena iz dveh komponent:
- Model Amazon Rekognition Custom Labels — Da omogočimo Amazon Rekognition za zaznavanje mitotskih številk, dokončamo naslednje korake:
- Vzorčite nabor podatkov WSI, da ustvarite slike ustrezne velikosti z uporabo Amazon SageMaker Studio in kodo Python, ki se izvaja na prenosnem računalniku Jupyter. Studio je spletno integrirano razvojno okolje (IDE) za ML, ki ponuja vsa orodja, ki jih potrebujete za prenos vaših modelov od eksperimentiranja do proizvodnje, hkrati pa povečuje vašo produktivnost. Uporabili bomo Studio za razdelitev slik na manjše za usposabljanje našega modela.
- Usposobite model Amazon Rekognition Custom Labels za prepoznavanje mitotskih številk v vzorcih hematoksilin-eozina z uporabo podatkov, pripravljenih v prejšnjem koraku.
- Čelna aplikacija — Za prikaz uporabe modela, kot je tisti, ki smo ga učili v prejšnjem koraku, dokončamo naslednje korake:
Naslednji diagram prikazuje arhitekturo rešitev.
Vsi potrebni viri za uvedbo izvedbe, obravnavane v tej objavi, in koda za celoten razdelek so na voljo na GitHub. Repozitorij lahko klonirate ali razcepite, naredite poljubne spremembe in ga zaženete sami.
V naslednjih korakih se sprehodimo skozi kodo, da razumemo različne korake, vključene v pridobivanje in pripravo podatkov, usposabljanje modela in njegovo uporabo iz vzorčne aplikacije.
stroški
Pri izvajanju korakov v tem vodstvu imate majhne stroške zaradi uporabe naslednjih storitev AWS:
- Amazonsko ponovno vžiganje
- AWS Fargate
- Izravnalnik obremenitve aplikacije
- Upravitelj skrivnosti AWS
Poleg tega, če niste več v brezplačnem obdobju ali pogojih, lahko nastanejo stroški zaradi naslednjih storitev:
- CodePipeline
- CodeBuild
- Amazon ECR
- Amazon SageMaker
Če pravilno izvedete korake čiščenja po tem, ko ste končali s tem postopkom, lahko pričakujete, da bodo stroški nižji od 10 USD, če model Amazon Rekognition Custom Labels in spletna aplikacija delujeta eno uro ali manj.
Predpogoji
Za dokončanje vseh korakov potrebujete naslednje:
Usposabljanje modela klasifikacije mitotskih figur
Vse korake, potrebne za usposabljanje modela, izvedemo iz prenosnega računalnika Studio. Če še nikoli niste uporabljali Studia, boste morda morali krovu prvi. Za več informacij glejte Hitro vkrcajte se v Amazon SageMaker Studio.
Nekateri od naslednjih korakov zahtevajo več RAM-a, kot je na voljo v standardnem prenosnem računalniku ml.t3.medium. Prepričajte se, da ste izbrali ml.m5.large zvezek. V zgornjem desnem kotu strani bi morali videti oznako 2 vCPU + 8 GiB.
Koda za ta razdelek je na voljo kot a Datoteka za prenosni računalnik Jupyter.
Po vkrcanju v Studio sledite ta navodila da Studiu podeli potrebna dovoljenja za klic Amazon Rekognition v vašem imenu.
Odvisnosti
Za začetek moramo opraviti naslednje korake:
- Posodobite pakete Linux in namestite zahtevane odvisnosti, kot je OpenSlide:
- Namestite knjižnici fastai in SlideRunner z uporabo pip:
- Prenesite nabor podatkov (zagotavljamo skript, ki to stori samodejno):
Obdelajte nabor podatkov
Začeli bomo z uvozom nekaterih paketov, ki jih uporabljamo v fazi priprave podatkov. Nato prenesemo in naložimo bazo podatkov z opombami za ta nabor podatkov. Ta zbirka podatkov vsebuje položaje na celotnih slikah diapozitivov mitotskih figur (značilnosti, ki jih želimo razvrstiti). Oglejte si naslednjo kodo:
Ker uporabljamo SageMaker, ustvarimo nov SageMaker Zasedanje objekt za olajšanje opravil, kot je nalaganje našega nabora podatkov v Preprosta storitev shranjevanja Amazon (Amazon S3) vedro. Za nalaganje naših obdelanih slikovnih datotek uporabljamo tudi vedro S3, ki ga privzeto ustvari SageMaker.
O slidelist_test
matrika vsebuje ID-je diapozitivov, ki jih uporabljamo kot del testnega nabora podatkov za ocenjevanje učinkovitosti usposobljenega modela. Oglejte si naslednjo kodo:
Naslednji korak je pridobitev nabora območij usposabljanja in testnih diapozitivov, skupaj z oznakami v njih, iz katerih lahko vzamemo manjša področja, ki jih uporabimo za usposabljanje našega modela. Koda za get_slides je v datoteki sampling.py v GitHub.
Želimo naključno vzorčiti diapozitive za usposabljanje in test. Uporabljamo sezname izobraževalnih in testnih diapozitivov ter naključno izbiramo n_training_images
krat datoteko za trening, in n_test_images
krat datoteka za preizkus:
Nato ustvarimo imenik za slike za usposabljanje in enega za testne slike:
Preden izdelamo manjše slike, potrebne za usposabljanje modela, potrebujemo nekaj pomožne kode, ki ustvari metapodatke, potrebne za opis podatkov za usposabljanje in test. Naslednja koda poskrbi, da je dani omejevalni okvir, ki obdaja zanimive značilnosti (mitotske figure), dobro znotraj območja, ki ga režemo, in ustvari vrstico JSON, ki opisuje sliko in funkcije v njej v Amazon SageMaker Ground Truth format, ki je format, ki ga zahteva Amazon Rekognition Custom Labels. Za več informacij o tej datoteki manifesta za zaznavanje objektov glejte Lokalizacija predmeta v datotekah manifesta.
Z generate_annotations
funkcija na mestu, lahko napišemo kodo za izdelavo učnih in testnih slik:
Zadnji korak do vseh zahtevanih podatkov je pisanje a manifest.json
datoteka za vsakega od nizov podatkov:
Prenesite datoteke v S3
Mi uporabljamo upload_data
metoda, ki jo objekt seje SageMaker izpostavi za nalaganje slik in datotek manifesta v privzeto vedro SageMaker S3:
Usposobite model Amazon Rekognition Custom Labels
S podatki, ki so že v Amazonu S3, se lahko lotimo usposabljanja modela po meri. Knjižnico Boto3 uporabljamo za ustvarjanje odjemalca Amazon Rekognition in ustvarjanje projekta:
Ko je projekt pripravljen za uporabo, zdaj potrebujete različico projekta, ki kaže na nabore podatkov za usposabljanje in testiranje v Amazon S3. Vsaka različica idealno kaže na različne nize podatkov (ali njihove različne različice). To nam omogoča, da imamo različne različice modela, primerjamo njihovo zmogljivost in po potrebi preklapljamo med njimi. Oglejte si naslednjo kodo:
Ko ustvarimo različico projekta, Amazon Rekognition samodejno zažene proces usposabljanja. Čas usposabljanja je odvisen od več značilnosti, kot so velikost slik in njihovo število, število razredov itd. V tem primeru za 500 slik usposabljanje traja približno 90 minut.
Preizkusite model
Po usposabljanju je vsak model v Amazon Rekognition Custom Labels v STOPPED
država. Če ga želite uporabiti za sklepanje, ga morate zagnati. Različico projekta ARN pridobimo iz opisa različice projekta in jo posredujemo v start_project_version
. Upoštevajte MinInferenceUnits
parameter — začnemo z eno sklepno enoto. Dejansko največje število transakcij na sekundo (TPS), ki jih podpira ta enota za sklepanje, je odvisno od kompleksnosti vašega modela. Če želite izvedeti več o TPS, glejte to blog post.
Ko je vaša različica projekta navedena kot RUNNING
, lahko začnete pošiljati slike Amazon Rekognition za sklepanje.
Eno od datotek v testnem naboru podatkov uporabimo za testiranje na novo začetega modela. Namesto tega lahko uporabite katero koli primerno datoteko PNG ali JPEG.
Aplikacija Streamlit
Za prikaz integracije z Amazon Rekognition uporabljamo zelo preprosto aplikacijo Python. Uporabljamo Poenostavljeno knjižnico za izdelavo špartanskega uporabniškega vmesnika, kjer uporabnika pozovemo k nalaganju slikovne datoteke.
Uporabljamo knjižnico Boto3 in detect_custom_labels
skupaj s projektno različico ARN za priklic končne točke sklepanja. Odgovor je dokument JSON, ki vsebuje položaje in razrede različnih predmetov, zaznanih na sliki. V našem primeru so to mitotične figure, ki jih je algoritem našel na sliki, ki smo jo poslali na končno točko. Oglejte si naslednjo kodo:
Razmestite aplikacijo v AWS
Za namestitev aplikacije uporabljamo skript AWS CDK. Celoten projekt najdete na GitHub . Oglejmo si različne vire, ki jih uporablja skript.
Ustvarite repozitorij Amazon ECR
Kot prvi korak k nastavitvi naše uvedbe ustvarimo repozitorij Amazon ECR, kjer lahko shranimo naše slike vsebnika aplikacij:
Ustvarite in shranite svoj žeton GitHub v AWS Secrets Manager
CodePipeline potrebuje GitHub Personal Access Token za spremljanje vašega repozitorija GitHub za spremembe in kodo za vleko. Če želite ustvariti žeton, sledite navodilom v Dokumentacija GitHub. Žeton zahteva naslednje obsege GitHub:
- O
repo
scope, ki se uporablja za popoln nadzor za branje in vlečenje artefaktov iz javnih in zasebnih skladišč v cevovod. - O
admin:repo_hook
scope, ki se uporablja za popoln nadzor nad kavlji skladišča.
Ko ustvarite žeton, ga shranite v novo skrivnost v Upravitelj skrivnosti AWS kot sledi:
Zapišite konfiguracijske parametre v shrambo parametrov AWS Systems Manager
Skript AWS CDK prebere nekatere konfiguracijske parametre iz Shramba parametrov AWS Systems Manager, kot je ime in lastnik repozitorija GitHub ter ciljni račun in regija. Preden zaženete skript AWS CDK, morate te parametre ustvariti v svojem računu.
To lahko storite z uporabo AWS CLI. Preprosto prikličite put-parameter
ukaz z imenom, vrednostjo in tipom parametra:
Sledi seznam vseh parametrov, ki jih zahteva skript AWS CDK. Vsi so vrste String
:
- /rek_wsi/prod/accountId — ID računa, kjer uvajamo aplikacijo.
- /rek_wsi/prod/ecr_repo_name — Ime repozitorija Amazon ECR, kjer so shranjene slike vsebnika.
- /rek_wsi/prod/github/branch — veja v repozitoriju GitHub, iz katere mora CodePipeline potegniti kodo.
- /rek_wsi/prod/github/owner — lastnik repozitorija GitHub.
- /rek_wsi/prod/github/repo — Ime repozitorija GitHub, kjer je shranjena naša koda.
- /rek_wsi/prod/github/token — Ime ali ARN skrivnosti v upravitelju skrivnosti, ki vsebuje vaš žeton za preverjanje pristnosti GitHub. To je potrebno, da lahko CodePipeline komunicira z GitHub.
- /rek_wsi/prod/region — Regija, kjer bomo uvedli aplikacijo.
Obvestilo prod
segment v vseh imenih parametrov. Čeprav za tako preprost primer ne potrebujemo te stopnje podrobnosti, bo ta pristop omogočil ponovno uporabo pri drugih projektih, kjer bodo morda potrebna drugačna okolja.
Viri, ustvarjeni s skriptom AWS CDK
Potrebujemo našo aplikacijo, ki se izvaja v nalogi Fargate, da ima dovoljenja za priklic Amazon Rekognition. Torej najprej ustvarimo AWS upravljanje identitete in dostopa (IAM) Naloga Vloga z RekognitionReadOnlyPolicy
politiko, ki je temu priložena. Upoštevajte, da je assumed_by
parameter v naslednji kodi sprejme ecs-tasks.amazonaws.com
glavni servis. To je zato, ker uporabljamo Amazon ECS kot orkestratorja, zato potrebujemo Amazon ECS, da prevzame vlogo in posreduje poverilnice nalogi Fargate.
Ko je zgrajena, je slika vsebnika naše aplikacije shranjena v zasebnem repozitoriju Amazon ECR. Potrebujemo objekt, ki ga opisuje in ga lahko posredujemo pri ustvarjanju storitve Fargate:
Ustvarimo nov VPC in gručo za to aplikacijo. Ta del lahko spremenite za uporabo lastnega VPC z uporabo from_lookup
metoda Vpc
razred:
Zdaj, ko imamo VPC in gručo za uvajanje, ustvarimo storitev Fargate. Za to nalogo uporabljamo 0.25 vCPU in 512 MB RAM-a, pred njim pa postavimo javni izravnalnik obremenitve aplikacij (ALB). Ko je uvedena, uporabljamo ALB CNAME za dostop do aplikacije. Oglejte si naslednjo kodo:
Za samodejno izdelavo in razmestitev nove slike vsebnika vsakič, ko potisnemo kodo v našo glavno vejo, ustvarimo preprost cevovod, ki je sestavljen iz izvornega dejanja GitHub in koraka gradnje. Tukaj uporabimo skrivnosti, ki smo jih shranili v AWS Secrets Manager in AWS Systems Manager Parameter Store v prejšnjih korakih.
CodeBuild potrebuje dovoljenja za pošiljanje slik vsebnikov v Amazon ECR. Za podelitev teh dovoljenj dodamo AmazonEC2ContainerRegistryFullAccess
pravilnika za prilagojeno vlogo IAM, ki jo lahko prevzame principal storitve CodeBuild:
Projekt CodeBuild se prijavi v zasebno repozitorij Amazon ECR, zgradi sliko Docker z aplikacijo Streamlit in potisne sliko v repozitorij skupaj z appspec.yaml
in imagedefinitions.json
Datoteka.
O appspec.yaml
opisuje nalogo (vrata, različica platforme Fargate itd.), medtem ko datoteka imagedefinitions.json
datoteka preslika imena slik vsebnika v njihov ustrezni Amazon ECR URI. Oglejte si naslednjo kodo:
Na koncu smo združili različne stopnje cevovoda. Zadnje dejanje je EcsDeployAction
, ki vzame sliko vsebnika, zgrajeno v prejšnji fazi, in sproti posodablja naloge v naši gruči ECS:
Pospravi
Da se izognete prihodnjim stroškom, počistite vire, ki ste jih ustvarili kot del te rešitve.
Model Amazon Rekognition Custom Labels
Preden izklopite prenosni računalnik Studio, se prepričajte, da ste ustavili model Amazon Rekognition Custom Labels. Če tega ne storite, bo to še naprej povzročalo stroške.
Lahko pa uporabite konzolo Amazon Rekognition, da ustavite storitev:
- Na konzoli Amazon Rekogservation izberite Uporabite oznake po meri v podoknu za krmarjenje.
- Izberite projekti v podoknu za krmarjenje.
- Izberite različico 1
rek-mitotic-figures-workshop
projekt. - o Uporabite model izberite jeziček stop.
Aplikacija Streamlit
Če želite uničiti vse vire, povezane z aplikacijo Streamlit, zaženite naslednjo kodo iz imenika aplikacij AWS CDK:
Upravitelj skrivnosti AWS
Če želite izbrisati žeton GitHub, sledite navodilom v Dokumentacija.
zaključek
V tej objavi smo se sprehodili skozi potrebne korake za usposabljanje modela Amazon Rekognition Custom Labels za digitalno patološko aplikacijo z uporabo podatkov iz resničnega sveta. Nato smo se naučili uporabljati model iz preproste aplikacije, ki je bila nameščena iz cevovoda CI/CD v Fargate.
Oznake po meri Amazon Rekognition vam omogočajo izdelavo zdravstvenih aplikacij, ki podpirajo ML, ki jih lahko preprosto zgradite in uvedete s storitvami, kot so Fargate, CodeBuild in CodePipeline.
Ali se spomnite kakšne aplikacije, ki bi raziskovalcem, zdravnikom ali njihovim pacientom pomagala olajšati življenje? Če je tako, uporabite kodo v tem vodniku za izdelavo vaše naslednje aplikacije. In če imate kakršna koli vprašanja, jih delite v razdelku za komentarje.
Priznanja
Radi bi se zahvalili prof. dr. Marcu Aubrevillu, ker nam je prijazno dovolil uporabo nabora podatkov MITOS_WSI_CMC za to objavo v spletnem dnevniku. Nabor podatkov je na voljo na GitHub.
Reference
[1] Aubreville, M., Bertram, CA, Donovan, TA et al. Popolnoma komentiran nabor podatkov celotne diapozitivne slike raka dojk pri psih za pomoč pri raziskavah raka dojk pri ljudeh. Sci Data 7, 417 (2020). https://doi.org/10.1038/s41597-020-00756-z
[2] Khened, M., Kori, A., Rajkumar, H. et al. Splošno ogrodje globokega učenja za segmentacijo in analizo slike celotnega diapozitiva. Sci Rep 11, 11579 (2021). https://doi.org/10.1038/s41598-021-90444-8
[3] PNAS 27. marec 2018 115 (13) E2970-E2979; prvič objavljeno 12. marca 2018; https://doi.org/10.1073/pnas.1717139115
O Author
Pablo Nuñez Pölcher, MSc, je višji arhitekt rešitev, ki dela za skupino javnega sektorja pri Amazon Web Services. Pablo se osredotoča na pomoč strankam javnega sektorja v zdravstvu pri izgradnji novih, inovativnih izdelkov na AWS v skladu z najboljšimi praksami. Diplomiral je mag. doktor bioloških znanosti Universidad de Buenos Aires. V prostem času uživa v kolesarjenju in poigravanju z vgrajenimi napravami, ki podpirajo ML.
Razvan Ionasec, PhD, MBA, je tehnični vodja za zdravstveno varstvo pri Amazon Web Services v Evropi, na Bližnjem vzhodu in v Afriki. Njegovo delo se osredotoča na pomoč uporabnikom zdravstvenih storitev pri reševanju poslovnih težav z uporabo tehnologije. Pred tem je bil Razvan globalni vodja izdelkov umetne inteligence (AI) pri Siemens Healthineers, zadolžen za AI-Rad Companion, družino digitalnih zdravstvenih rešitev za slikanje, ki temeljijo na AI in v oblaku. Ima več kot 30 patentov na področju AI/ML za medicinsko slikanje in je objavil več kot 70 mednarodnih strokovno recenziranih tehničnih in kliničnih publikacij o računalniškem vidu, računalniškem modeliranju in analizi medicinske slike. Razvan je doktoriral iz računalništva na Tehnični univerzi v Münchnu in magistriral na Univerzi v Cambridgeu, Judge Business School.
- '
- "
- &
- 100
- 11
- 110
- 2020
- 2021
- 7
- O meni
- pospeši
- dostop
- Račun
- Ukrep
- Afrika
- AI
- algoritem
- vsi
- že
- Čeprav
- Amazon
- Amazonsko ponovno vžiganje
- Amazon SageMaker
- Amazon Web Services
- Analiza
- uporaba
- aplikacije
- APT
- Arhitektura
- umetni
- Umetna inteligenca
- Umetna inteligenca (AI)
- Sredstva
- Preverjanje pristnosti
- razpoložljivost
- Na voljo
- AWS
- gugalnica
- BEST
- najboljše prakse
- Blog
- povečanje
- Pasovi
- Rak na dojki
- izgradnjo
- poslovni
- klic
- Cambridge
- Lahko dobiš
- rak
- raziskave raka
- naboj
- Razvrstitev
- Koda
- zbirka
- komentarji
- Računalništvo
- Računalniška vizija
- zaupanje
- konfiguracija
- Konzole
- Posoda
- Zabojniki
- Vsebuje
- se nadaljuje
- stroški
- Ustvarjanje
- Mandatno
- Stranke, ki so
- datum
- Baze podatkov
- baze podatkov
- globoko učenje
- uniči
- Podatki
- Odkrivanje
- Razvijalci
- Razvoj
- naprave
- drugačen
- digitalni
- Digitalno zdravje
- digitalizacija
- Lučki delavec
- Zdravniki
- navzdol
- enostavno
- echo
- Končna točka
- okolje
- Evropa
- Primer
- izkušnje
- izvoz
- družina
- Feature
- Lastnosti
- Slika
- prva
- sledi
- vilice
- format
- je pokazala,
- Okvirni
- brezplačno
- polno
- funkcija
- Prihodnost
- ustvarjajo
- geometrija
- GitHub
- Giving
- Globalno
- Gold
- odobri
- nepovratna sredstva
- ob
- Glava
- Zdravje
- zdravstveno varstvo
- pomoč
- tukaj
- Kako
- Kako
- HTTPS
- IAM
- identiteta
- slika
- analiza slike
- segmentacija slike
- slikanje
- uvoz
- Podatki
- inovativne
- integral
- integracija
- Intelligence
- obresti
- Facebook Global
- vključeni
- IT
- Jupyter Notebook
- Oznake
- velika
- Zadnji
- začetek
- UČITE
- naučili
- učenje
- Stopnja
- Knjižnica
- vrstica
- linux
- Seznam
- seznami
- obremenitev
- Lokalizacija
- strojno učenje
- Zemljevidi
- marec
- medicinski
- medicinsko slikanje
- srednje
- srednji vzhod
- ML
- Model
- modeliranje
- modeli
- več
- München
- Imena
- ostalo
- potrebna
- Zaznavanje objektov
- Na vkrcanje
- Ostalo
- Lastnik
- Patenti
- patologija
- bolniki
- performance
- Osebni
- platforma
- politika
- , ravnateljica
- zasebna
- Postopek
- proizvodnja
- produktivnost
- Izdelki
- strokovnjaki
- Projekt
- projekti
- zagotavljajo
- zagotavlja
- javnega
- javni sektor
- publikacije
- Python
- RAM
- Raziskave
- viri
- Odgovor
- Run
- tek
- sagemaker
- skeniranje
- <span style="color: #f7f7f7;">Šola</span>
- Znanost
- ZNANOSTI
- sektor
- izbran
- Storitve
- nastavite
- nastavitev
- Delite s prijatelji, znanci, družino in partnerji :-)
- Siemens
- pomemben
- Enostavno
- Velikosti
- majhna
- So
- rešitve
- SOLVE
- Vesolje
- specializirani
- po delih
- Stage
- Začetek
- začel
- Država
- Status
- shranjevanje
- trgovina
- studio
- Podpira
- Preklop
- sistemi
- ciljna
- tehnični
- tehnike
- Tehnologija
- Test
- Vir
- skozi
- čas
- zamudno
- skupaj
- žeton
- orodja
- vrh
- usposabljanje
- Transakcije
- edinstven
- univerza
- univerza v Cambridgeu
- Nadgradnja
- URI
- us
- ameriški dolar
- vrednost
- različica
- Vizija
- W
- web
- spletne storitve
- Web-Based
- Kaj
- Kaj je
- WHO
- pogosto
- v
- brez
- delo
- deluje
- bi
- pisanje
- X
- let
- youtube