Vundamendimudelite (FM-ide) loomine nõuab suurte klastrite ehitamist, hooldamist ja optimeerimist, et koolitada mudeleid kümnete kuni sadade miljardite parameetritega tohutul hulgal andmemahtudel. Elastse keskkonna loomine, mis suudab toime tulla rikete ja keskkonnamuutustega, ilma et kaotataks mudelikoolituse edusamme päevade või nädalate jooksul, on operatiivne väljakutse, mis nõuab klastri skaleerimise, ennetava terviseseire, töö kontrollpunktide rakendamist ja võimet tõrgete või probleemide ilmnemisel koolitust automaatselt jätkata. .
Meil on hea meel seda jagada Amazon SageMaker HyperPod on nüüd üldiselt saadaval, et võimaldada tuhandete kiirenditega treeningvundamendi mudeleid kuni 40% kiiremini, pakkudes väga vastupidavat treeningkeskkonda, kõrvaldades samal ajal suuremahuliste treeningklastrite käitamisega seotud eristamata raskuste tõstmise. SageMaker HyperPodiga saavad masinõppe (ML) praktikud treenida FM-e nädalaid ja kuid ilma häireteta ja ilma riistvaratõrgete probleemideta.
Kliendid, nagu Stability AI, kasutavad SageMaker HyperPodi oma vundamendimudelite, sealhulgas Stable Diffusion, koolitamiseks.
„Juhtiva avatud lähtekoodiga generatiivse AI ettevõttena on meie eesmärk maksimeerida kaasaegse AI juurdepääsetavust. Ehitame kümnete miljardite parameetritega vundamendimudeleid, mis nõuavad infrastruktuuri, et treeningtulemusi optimaalselt skaleerida. SageMaker HyperPodi hallatava infrastruktuuri ja optimeerimise teekide abil saame vähendada treeninguaega ja -kulusid üle 50%. See muudab meie mudelikoolituse vastupidavamaks ja tulemuslikumaks, et kiiremini ehitada tipptasemel mudeleid.
– Emad Mostaque, stabiilsuse AI asutaja ja tegevjuht.
Selleks, et FM-ide arendamise kogu tsükkel oleks riistvaratõrgete suhtes vastupidav, aitab SageMaker HyperPod teil luua klastreid, jälgida klastri seisundit, parandada ja asendada vigased sõlmed käigupealt, salvestada sagedasi kontrollpunkte ja jätkata treeninguid automaatselt, ilma edu kaotamata. Lisaks on SageMaker HyperPod eelkonfigureeritud Amazon SageMaker hajutatud õpperaamatukogud, sealhulgas SageMakeri andmete paralleelsuse teek (SMDDP) ja SageMakeri mudeli paralleelsuse teek (SMP), et parandada FM-treeningu jõudlust, muutes treeningandmete ja mudelite jagamise väiksemateks tükkideks ja töötledes neid paralleelselt klastri sõlmedes, kasutades samal ajal täielikult ära klastri arvutus- ja võrguinfrastruktuuri. SageMaker HyperPod integreerib Slurm Workload Manageri klastri- ja koolitustööde orkestreerimiseks.
Slurmi töökoormuse halduri ülevaade
Röga, varem tuntud kui lihtne Linuxi ressursside haldamise utiliit, on töö planeerija tööde käitamiseks hajutatud andmetöötlusklastris. See pakub ka raamistikku paralleelsete tööde käitamiseks, kasutades NVIDIA Collective Communications Library (NCCL) or Sõnumi edastamise liides (MPI) standarditele. Slurm on populaarne avatud lähtekoodiga klastri ressursihaldussüsteem, mida kasutatakse laialdaselt suure jõudlusega andmetöötluse (HPC) ning generatiivsete AI- ja FM-treeningu töökoormusega. SageMaker HyperPod pakub lihtsat viisi Slurmi klastriga käivitamiseks ja käivitamiseks mõne minutiga.
Järgnev on kõrgetasemeline arhitektuurne diagramm selle kohta, kuidas kasutajad SageMaker HyperPodiga suhtlevad ning kuidas erinevad klastri komponendid omavahel ja teiste AWS-i teenustega, nagu näiteks Amazon FSx Lusteri jaoks ja Amazoni lihtne salvestusteenus (Amazon S3).
Slurm-tööd esitatakse käsureal olevate käskude abil. Käsud Slurmi tööde käivitamiseks on srun
ja sbatch
. srun
käsk käivitab koolitustöö interaktiivses ja blokeerimisrežiimis ning sbatch
töötab paketttöötluses ja mitteblokeerivas režiimis. srun
kasutatakse enamasti vahetute tööde tegemiseks, samas sbatch
saab kasutada hilisemateks töödeks.
Täiendavate Slurmi käskude ja konfiguratsiooni kohta teabe saamiseks vaadake Slurmi töökoormuse halduri dokumentatsioon.
Automaatne jätkamine ja paranemisvõimalused
Üks SageMaker HyperPodi uutest funktsioonidest on töö automaatse jätkamise võimalus. Varem, kui töötaja sõlm ebaõnnestus koolituse või peenhäälestustöö käigus, oli kasutaja ülesanne kontrollida töö olekut, taaskäivitada töö viimasest kontrollpunktist ja jätkata töö jälgimist kogu töö käigus. Kui koolitustööd või peenhäälestustööd peavad kestma päevi, nädalaid või isegi kuid korraga, muutub see kulukaks, kuna kasutajal on vaja kulutada tsüklit töö jälgimiseks ja hooldamiseks juhul, kui sõlme krahhid, aga ka kallite kiirendatud arvutusjuhtumite jõudeaja maksumus.
SageMaker HyperPod tegeleb töö vastupanuvõimega, kasutades automatiseeritud tervisekontrolli, sõlmede asendamist ja töö taastamist. SageMaker HyperPodis jälgitakse Slurmi töid SageMakeri kohandatud Slurmi pistikprogrammi abil, kasutades SPANK raamistik. Kui treeningtöö ebaõnnestub, kontrollib SageMaker HyperPod klastri seisundit tervisekontrollide komplekti kaudu. Kui klastris leitakse vigane sõlm, eemaldab SageMaker HyperPod sõlme automaatselt klastrist, asendab selle terve sõlmega ja taaskäivitab koolitustöö. Kui kasutate kontrollpunktide kasutamist koolitustöödes, võib iga katkestatud või ebaõnnestunud töö jätkuda viimasest kontrollpunktist.
Lahenduse ülevaade
SageMaker HyperPodi juurutamiseks valmistage esmalt ette oma keskkond, konfigureerides oma Amazoni virtuaalne privaatpilv (Amazon VPC) võrgu- ja turberühmad, mis juurutavad teie VPC-s tugiteenuseid, nagu FSx for Luster, ja avaldavad teie Slurmi elutsükli skriptid S3 ämbrisse. Seejärel juurutate ja konfigureerite oma SageMaker HyperPodi ning ühendate peasõlmega, et alustada treeninguid.
Eeldused
Enne SageMaker HyperPodi loomist peate esmalt konfigureerima oma VPC, looma FSx for Lusteri failisüsteemi ja looma soovitud klastri elutsükli skriptidega S3 ämbri. Teil on vaja ka uusimat versiooni AWS-i käsurea liides (AWS CLI) ja jaoks installitud CLI pistikprogramm AWS-i seansihaldur, võime AWS-i süsteemihaldur.
SageMaker HyperPod on täielikult integreeritud teie VPC-ga. Lisateavet uue VPC loomise kohta vt Looge vaikimisi VPC or Looge VPC. Ressursside vahelise suurima jõudlusega sujuva ühenduse loomiseks peaksite looma kõik oma ressursid samas regioonis ja saadavuse tsoonis ning tagama, et seotud turberühma reeglid võimaldavad klastri ressursside vahel ühendust.
Järgmiseks sina Lusteri failisüsteemi FSx loomine. See toimib suure jõudlusega failisüsteemina, mida saab kasutada kogu meie mudelikoolituse ajal. Veenduge, et FSx for Lusteri ja klastri turberühmad võimaldavad sissetulevat ja väljaminevat sidet klastri ressursside ja FSx for Lusteri failisüsteemi vahel.
Klastrite elutsükli skriptide seadistamiseks, mida käitatakse sündmuste (nt uue klastri eksemplari) ilmnemisel, loote S3 ämbri ning seejärel kopeerite ja valikuliselt kohandate elutsükli vaikeskripte. Selle näite puhul salvestame kõik elutsükli skriptid ämbri eesliitesse lifecycle-scripts
.
Esmalt laadite alla elutsükli näidisskriptid saidilt GitHub repo. Peaksite neid kohandama vastavalt soovitud klastri käitumisele.
Järgmisena looge kohandatud elutsükli skriptide salvestamiseks S3 ämber.
Järgmisena kopeerige elutsükli vaikeskriptid oma kohalikust kataloogist soovitud ämbrisse ja kasutades eesliidet aws s3 sync
:
Lõpuks peaksite kliendi seadistamiseks klastri peasõlmega lihtsustatud ühenduse loomiseks installige või värskendage AWS-i CLI ja installige AWS-i seansihalduri CLI pistikprogramm võimaldada interaktiivsetel terminaliühendustel klastri haldamiseks ja koolitustööde tegemiseks.
Saate luua SageMakeri HyperPodi klastri kas saadaolevate tellitavate ressurssidega või taotledes SageMakeriga võimsuse reserveerimist. Võimsuse reserveerimise loomiseks loote teenusekvootide armatuurlaual kvoodi suurendamise taotluse, et reserveerida konkreetsed arvutusjuhtumitüübid ja võimsuse jaotamine.
Seadistage oma koolitusklaster
SageMaker HyperPod klastri loomiseks toimige järgmiselt.
- Valige SageMakeri konsoolil Klastrite juhtimine all HyperPodi klastrid navigeerimispaanil.
- Vali Looge klaster.
- Sisestage klastri nimi ja soovi korral kõik sildid, mida klastri ressurssidele rakendada, seejärel valige järgmine.
- valima Loo eksemplarirühm ja määrake eksemplarirühma nimi, vajalik eksemplari tüüp, soovitud eksemplaride arv ning S3 ämber ja eesliite tee, kuhu varem oma klastri elutsükli skripte kopeerisite.
Soovitatav on kasutada erinevaid eksemplarirühmi kontrolleri sõlmede jaoks, mida kasutatakse klastri haldamiseks ja tööde esitamiseks, ning töötaja sõlmede jaoks, mida kasutatakse kiirendatud arvutusjuhtumite abil koolitustööde käitamiseks. Soovi korral saate konfigureerida sisselogimissõlmede jaoks täiendava eksemplarirühma.
- Kõigepealt loote kontrolleri eksemplari rühma, mis sisaldab klastri peasõlme.
- Selle näiterühma jaoks AWS-i identiteedi- ja juurdepääsuhaldus (IAM) rolli, valige Loo uus roll ja määrake kõik S3 ämbrid, millele soovite eksemplarirühmas olevatel klastri eksemplaridel juurdepääsu.
Loodud rollile antakse vaikimisi kirjutuskaitstud juurdepääs määratud ämbritele.
- Vali Loo roll.
- Sisestage skripti loomisel kuvatavale viipale skripti nimi, mida käivitatakse igal eksemplari loomisel. Selles näites kutsutakse välja loomisel olev skript
on_create.sh
. - Vali Säästa.
- Vali Loo eksemplarirühm oma töötaja eksemplari rühma loomiseks.
- Esitage kõik nõutud üksikasjad, sealhulgas eksemplari tüüp ja soovitud kogus.
See näide kasutab meie koolitustöö tegemiseks nelja ml.trn1.32xl kiirendatud eksemplari. Saate kasutada sama IAM-i rolli nagu varem või kohandada rolli töötaja eksemplaride jaoks. Samamoodi saate selle töötaja eksemplari rühma jaoks kasutada erinevaid loomisel olevaid elutsükli skripte kui eelmises eksemplarirühmas.
- Vali järgmine jätkama.
- Valige oma klastri eksemplaride jaoks soovitud VPC, alamvõrk ja turberühmad.
Madala latentsuse tagamiseks hostime klastri eksemplare ühes saadavuse tsoonis ja alamvõrgus.
Pange tähele, et kui kasutate S3 andmeid sageli, on võimalike andmeedastuskulude vähendamiseks soovitatav luua VPC lõpp-punkt, mis on seotud privaatse alamvõrgu marsruutimistabeliga.
- Vali järgmine.
- Vaadake üle klastri üksikasjade kokkuvõte ja seejärel valige LIITU.
Teise võimalusena saate SageMaker HyperPodi loomiseks AWS CLI abil esmalt kohandada klastri loomiseks kasutatud JSON-i parameetreid.
Seejärel kasutage pakutavate sisendite abil klastri loomiseks järgmist käsku:
Tehke oma esimene koolitustöö Llama 2-ga
Pange tähele, et mudeli Llama 2 kasutamist reguleerib Meta litsents. Mudeli kaalude ja tokenisaatori allalaadimiseks külastage veebilehte veebisait ja nõustuge litsentsiga enne juurdepääsu taotlemist Meta Hugging Face veebisait.
Pärast klastri käitamist logige sisse Session Manageriga, kasutades klastri ID-d, eksemplarirühma nime ja eksemplari ID-d. Kasutage klastri üksikasjade vaatamiseks järgmist käsku.
Märkige vastuses klastri ARN-s sisalduv klastri ID.
Klastris sisselogimiseks vajaliku eksemplarirühma nime ja eksemplari ID hankimiseks kasutage järgmist käsku.
Pange tähele InstanceGroupName
ja InstanceId
vastuses, kuna neid kasutatakse eksemplariga ühenduse loomiseks seansihalduriga.
Nüüd kasutate peasõlme või ühte sisselogimissõlme sisselogimiseks ja treeningtöö tegemiseks seansihaldurit:
Järgmisena valmistame ette keskkonna ja laadime alla Llama 2 ja RedPajama andmestiku. Täieliku koodi ja selle samm-sammulise ülevaate saamiseks järgige lehel olevaid juhiseid AWSome hajutatud koolitus GitHubi repo.
Järgige jaotises kirjeldatud samme 2.test_cases/8.neuronx-nemo-megatron/README.md
faili. Pärast keskkonna ettevalmistamise, mudeli ettevalmistamise, andmestiku allalaadimise ja tokeniseerimise ning mudeli eelkompileerimise sammude täitmist peaksite redigeerima 6.pretrain-model.sh
skript ja sbatch
töö esitamise käsk, et lisada parameeter, mis võimaldab teil kasutada SageMaker HyperPodi automaatse jätkamise funktsiooni.
Muuda sbatch
rida, mis näeb välja järgmine:
Pärast töö esitamist saate a JobID
mida saate kasutada töö oleku kontrollimiseks, kasutades järgmist koodi:
Lisaks saate tööd jälgida, järgides töö väljundlogi, kasutades järgmist koodi:
Koristage
SageMaker HyperPod klastri kustutamiseks kasutage SageMakeri konsooli või järgmist AWS CLI käsku:
Järeldus
See postitus näitas teile, kuidas valmistada ette oma AWS-i keskkonda, juurutada esimene SageMaker HyperPod-klaster ja koolitada 7 miljardi parameetriga Llama 2 mudelit. SageMaker HyperPod on tänapäeval üldiselt saadaval Ameerikas (N. Virginia, Ohio ja Oregon), Aasia Vaikse ookeani piirkonnas (Singapur, Sydney ja Tokyo) ning Euroopas (Frankfurt, Iirimaa ja Stockholm). Neid saab juurutada SageMakeri konsooli, AWS CLI ja AWS SDK-de kaudu ning need toetavad eksemplaride perekondi p4d, p4de, p5, trn1, inf2, g5, c5, c5n, m5 ja t3.
SageMaker HyperPodi kohta lisateabe saamiseks külastage Amazon SageMaker HyperPod.
Autoritest
Brad Doran on Amazon Web Servicesi vanemtehniline kontohaldur, keskendudes generatiivsele AI-le. Ta vastutab inseneriprobleemide lahendamise eest generatiivsete tehisintellekti klientide jaoks digitaalse natiivse äri turusegmendis. Ta on pärit taristu- ja tarkvaraarenduse taustaga ning õpib hetkel doktoriõppes ning tehisintellekti ja masinõppe alal.
Keita Watanabe on GenAI vanemspetsialistilahenduste arhitekt ettevõttes Amazon Web Services, kus ta aitab arendada masinõppelahendusi, kasutades OSS-i projekte, nagu Slurm ja Kubernetes. Tema taust on masinõppe uurimis- ja arendustöö. Enne AWS-iga liitumist töötas Keita e-kaubanduse valdkonnas teadurina, kes arendas tooteotsingu jaoks pildiotsingusüsteeme. Keital on Tokyo ülikoolis teaduste doktorikraad.
Justin Pirtle on Amazon Web Servicesi peamine lahenduste arhitekt. Ta nõustab regulaarselt generatiivseid tehisintellekti kliente nende infrastruktuuri kavandamisel, juurutamisel ja skaleerimisel. Ta on regulaarne esineja AWS-i konverentsidel, sealhulgas re:Inventil, aga ka muudel AWS-i üritustel. Justinil on bakalaureusekraad Austini Texase ülikoolist juhtimisinfosüsteemide alal ja Seattle'i ülikoolist tarkvaratehnika magistrikraad.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
- PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
- PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
- PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/machine-learning/introducing-amazon-sagemaker-hyperpod-to-train-foundation-models-at-scale/
- :on
- : kus
- $ UP
- 1
- 100
- 12
- 14
- 24
- 7
- a
- võime
- MEIST
- kiirendatud
- kiirendid
- aktsepteerima
- juurdepääs
- kättesaadavus
- Ligipääs
- konto
- üle
- lisamine
- Täiendavad lisad
- aadressid
- haldama
- haldus-
- ADEelis
- pärast
- AI
- Materjal: BPA ja flataatide vaba plastik
- eraldamine
- võimaldama
- võimaldab
- Ka
- Amazon
- Amazon SageMaker
- Amazon Web Services
- Ameerikas
- summad
- an
- ja
- mistahes
- kehtima
- arhitektuuri-
- OLEME
- tekkima
- kunstlik
- tehisintellekti
- Tehisintellekt ja masinõpe
- AS
- Aasia
- Aasia ja Vaikse ookeani
- seotud
- At
- Austin
- Automatiseeritud
- automaatselt
- kättesaadavus
- saadaval
- AWS
- tagapõhi
- BE
- muutub
- enne
- vahel
- miljardeid
- blokeerimine
- ehitama
- Ehitus
- äri
- by
- kutsutud
- CAN
- võimeid
- võime
- Võimsus
- tegevjuht
- väljakutse
- väljakutseid
- Vaidluste lahendamine
- kontrollima
- Kontroll
- Vali
- klient
- Cluster
- kood
- Kollektiivne
- tuleb
- KOMMUNIKATSIOON
- Side
- ettevõte
- täitma
- komponendid
- Arvutama
- arvutustehnika
- konverentsid
- konfiguratsioon
- seadistamine
- Võta meiega ühendust
- ühendus
- Side
- konsool
- jätkama
- kontroller
- Maksma
- kulukas
- kulud
- looma
- loomine
- loomine
- Praegu
- tava
- Kliendid
- kohandada
- kohandatud
- tsükkel
- tsüklit
- armatuurlaud
- andmed
- Päeva
- tegelema
- vaikimisi
- Kraad
- juurutada
- lähetatud
- juurutamine
- projekteerimine
- soovitud
- üksikasjalik
- detailid
- arendama
- arenev
- & Tarkvaraarendus
- erinev
- Diffusion
- digitaalne
- Katkestus
- jagatud
- hajutatud arvutus
- jagatud koolitus
- lae alla
- kaks
- ajal
- iga
- pood
- kumbki
- kõrvaldades
- võimaldama
- Lõpp-punkt
- Inseneriteadus
- tagama
- Kogu
- keskkond
- keskkonna-
- looma
- Eeter (ETH)
- Euroopa
- Isegi
- sündmus
- sündmused
- näide
- erutatud
- kallis
- lisatasu
- nägu
- Ebaõnnestunud
- ei
- ebaedu
- rikete
- peredele
- kiiremini
- vigane
- tunnusjoon
- FUNKTSIOONID
- fail
- esimene
- keskendunud
- järgima
- Järel
- eest
- varem
- avastatud
- Sihtasutus
- Asutaja
- Asutaja ja tegevjuht
- neli
- Raamistik
- Frankfurt
- sage
- sageli
- Alates
- täis
- täielikult
- üldiselt
- loodud
- generatiivne
- Generatiivne AI
- saama
- GitHub
- eesmärk
- läheb
- juhitakse
- antud
- Grupp
- Grupi omad
- käepide
- riistvara
- Olema
- võttes
- he
- juhataja
- tervendav
- Tervis
- tervislik
- raske
- raske tõstmine
- aitab
- Suur
- High Performance Computing
- kõrgetasemeline
- suur jõudlus
- kõrgeim
- kõrgelt
- tema
- omab
- võõrustaja
- Kuidas
- Kuidas
- hpc
- HTML
- http
- HTTPS
- sajad
- IAM
- ID
- Identity
- Idle
- if
- pilt
- Vahetu
- rakendada
- parandama
- in
- sisaldama
- lisatud
- Kaasa arvatud
- Suurendama
- tööstus
- info
- Infosüsteemid
- Infrastruktuur
- sisendite
- paigaldama
- Näiteks
- juhtumid
- juhised
- integreeritud
- Integreerib
- Intelligentsus
- suhelda
- interaktiivne
- Interface
- katkenud
- sisse
- sisse
- seotud
- Iirimaa
- küsimustes
- IT
- töö
- Tööturg
- liitumine
- jpg
- Json
- Justin
- teatud
- Kubernetes
- suur
- suuremahuline
- Hilinemine
- pärast
- hiljemalt
- juhtivate
- Õppida
- õppimine
- raamatukogud
- Raamatukogu
- litsents
- eluring
- tõstmine
- nagu
- joon
- Linux
- Laama
- kohalik
- logi
- Logi sisse
- Vaata
- näeb välja
- kaotamine
- Madal
- masin
- masinõpe
- säilitada
- säilitamine
- tegema
- TEEB
- Tegemine
- juhitud
- juhtimine
- juhtimissüsteem
- juht
- Turg
- meistrid
- küsimus
- Maksimeerima
- Meta
- protokoll
- ML
- viis
- mudel
- mudelid
- Kaasaegne
- Jälgida
- jälgitakse
- järelevalve
- kuu
- rohkem
- enamasti
- nimi
- emakeelena
- NAVIGATSIOON
- Vajadus
- vaja
- vajav
- võrk
- Uus
- Uued funktsioonid
- sõlme
- sõlmed
- meeles
- nüüd
- Nvidia
- esineda
- of
- Ohio
- on
- On-Demand
- ONE
- avatud
- avatud lähtekoodiga
- tegutsevad
- töökorras
- optimeerimine
- optimeerimine
- or
- Korraldus
- Oregon
- Oss
- Muu
- meie
- väljund
- üle
- Vaikne ookean
- pane
- Parallel
- parameeter
- parameetrid
- Mööduv
- tee
- täitma
- jõudlus
- phd
- Platon
- Platoni andmete intelligentsus
- PlatoData
- plugin
- populaarne
- post
- potentsiaal
- Valmistama
- eelmine
- varem
- Peamine
- Eelnev
- era-
- Proaktiivne
- jätkama
- töötlemine
- Toode
- Edu
- projektid
- tingimusel
- annab
- pakkudes
- Kirjastamine
- jätkates
- kogus
- RE
- soovitatav
- taastumine
- vähendama
- viitama
- piirkond
- piirkondades
- regulaarne
- regulaarselt
- kõrvaldama
- remont
- asendama
- asendamine
- taotleda
- palutud
- nõudma
- Vajab
- teadustöö
- teadus-ja arendustegevus
- Broneerimine
- Reserv
- vetruv
- ressurss
- Vahendid
- vastus
- vastutav
- Jätka
- Roll
- Marsruutimine
- eeskirjade
- jooks
- jooksmine
- jookseb
- salveitegija
- sama
- Säästa
- Skaala
- ketendamine
- teadus
- teadlane
- käsikiri
- skripte
- sdks
- sujuv
- Otsing
- Seattle
- turvalisus
- vaata
- segment
- vanem
- teenima
- teenus
- teenused
- istung
- komplekt
- Jaga
- peaks
- näitas
- Samamoodi
- lihtne
- lihtsustatud
- Singapur
- ühekordne
- väiksem
- tarkvara
- tarkvaraarenduse
- tarkvaraarendus
- Lahendused
- Lahendamine
- allikas
- Kõneleja
- spetsialist
- konkreetse
- määratletud
- kulutama
- jagada
- Stabiilsus
- stabiilne
- standardite
- algus
- modernne
- olek
- Sammud
- ladustamine
- salvestada
- lihtne
- uuringud
- esitamine
- esitama
- esitatud
- alamvõrgu
- selline
- Kostüüm
- komplekt
- KOKKUVÕTE
- toetama
- Toetamine
- kindel
- sydney
- sünkroonida.
- süsteem
- süsteemid
- tabel
- Võtma
- Tehniline
- kümneid
- terminal
- texas
- kui
- et
- .
- oma
- Neile
- SIIS
- Need
- nad
- see
- tuhandeid
- Läbi
- läbi kogu
- aeg
- et
- täna
- märkima
- Tokyo
- Rong
- koolitus
- üle
- tüüp
- liigid
- all
- Ülikool
- Tokyo ülikool
- Värskendused
- kasutama
- Kasutatud
- Kasutaja
- Kasutajad
- kasutusalad
- kasutamine
- kasulikkus
- kasutades
- eri
- suur
- versioon
- kaudu
- vaade
- virginia
- virtuaalne
- visiit
- läbikäiguks
- oli
- Tee..
- we
- web
- veebiteenused
- nädalat
- Hästi
- millal
- mis
- kuigi
- laialdaselt
- Wikipedia
- will
- koos
- jooksul
- ilma
- töötas
- töötaja
- oleks
- sa
- Sinu
- sephyrnet