Perustusmallien (FM) rakentaminen vaatii suurten klustereiden rakentamista, ylläpitoa ja optimointia, jotta voidaan kouluttaa malleja, joissa on kymmeniä tai satoja miljardeja parametreja valtaville tietomäärille. Sellaisen joustavan ympäristön luominen, joka pystyy käsittelemään epäonnistumisia ja ympäristön muutoksia menettämättä päivien tai viikkojen mallikoulutuksen edistymistä, on toiminnallinen haaste, joka edellyttää klusterin skaalauksen, ennakoivan terveydentilan seurannan, työn tarkistuspisteiden käyttöönottoa ja kykyä jatkaa koulutusta automaattisesti, jos ilmenee epäonnistumisia tai ongelmia. .
Olemme innoissamme jakaa sen Amazon SageMaker HyperPod on nyt yleisesti saatavilla mahdollistamaan harjoitusperusmallit, joissa on tuhansia kiihdyttimiä, jopa 40 % nopeampia tarjoamalla erittäin joustavan harjoitusympäristön ja eliminoimalla laajamittaisten harjoitusklustereiden käyttöön liittyvän erottumattoman raskasnostotyön. SageMaker HyperPodin avulla koneoppimisen (ML) harjoittajat voivat kouluttaa FM-laitteita viikkoja ja kuukausia keskeytyksettä ja ilman laitteistovikoja.
Asiakkaat, kuten Stability AI, käyttävät SageMaker HyperPodia perusmalliensa, mukaan lukien Stable Diffusion, kouluttamiseen.
”Johtavana avoimen lähdekoodin luovana tekoälyyrityksenä tavoitteemme on maksimoida modernin tekoälyn saavutettavuus. Rakennamme perustusmalleja, joissa on kymmeniä miljardeja parametreja, jotka edellyttävät infrastruktuuria harjoituksen suorituskyvyn skaalaamiseksi optimaalisesti. SageMaker HyperPodin hallitun infrastruktuurin ja optimointikirjastojen avulla voimme vähentää koulutusaikaa ja kustannuksia yli 50 %. Se tekee mallikoulutuksestamme joustavampaa ja tehokkaampaa, jotta voimme rakentaa huippuluokan malleja nopeammin."
– Emad Mostaque, Stability AI:n perustaja ja toimitusjohtaja.
Jotta koko FM-kehitysjakso kestäisi laitteistovikoja, SageMaker HyperPod auttaa sinua luomaan klustereita, seuraamaan klusterin kuntoa, korjaamaan ja korvaamaan viallisia solmuja lennossa, säästämään toistuvia tarkistuspisteitä ja jatkamaan harjoittelua automaattisesti menettämättä edistymistä. Lisäksi SageMaker HyperPod on esikonfiguroitu Amazon Sage Maker hajautetut koulutuskirjastot, mukaan lukien SageMaker-tietojen rinnakkaiskirjasto (SMDDP) ja SageMaker mallin rinnakkaiskirjasto (SMP)FM-harjoitussuorituskyvyn parantamiseksi tekemällä opetusdatan ja mallien jakamisesta yksinkertaista pienemmiksi paloiksi ja käsittelemällä niitä rinnakkain klusterin solmujen välillä hyödyntäen samalla täysin klusterin laskenta- ja verkkoinfrastruktuuria. SageMaker HyperPod integroi Slurm Workload Managerin klusteri- ja koulutustöiden organisointiin.
Slurm Workload Managerin yleiskatsaus
slummi, joka tunnettiin aiemmin nimellä Simple Linux Utility for Resource Management, on työn ajoitus töiden suorittamiseen hajautetussa laskentaklusterissa. Se tarjoaa myös puitteet rinnakkaisten töiden suorittamiseen käyttämällä NVIDIA Collective Communications Library (NCCL) or Message Passing Interface (MPI) standardit. Slurm on suosittu avoimen lähdekoodin klusteriresurssien hallintajärjestelmä, jota käytetään laajalti korkean suorituskyvyn laskennassa (HPC) sekä generatiivisessa AI- ja FM-harjoittelussa. SageMaker HyperPod tarjoaa yksinkertaisen tavan saada Slurm-klusteri käyntiin muutamassa minuutissa.
Seuraavassa on korkeatasoinen arkkitehtuurikaavio siitä, kuinka käyttäjät ovat vuorovaikutuksessa SageMaker HyperPodin kanssa ja kuinka eri klusterin komponentit ovat vuorovaikutuksessa toistensa ja muiden AWS-palveluiden, kuten esim. Amazon FSx Lusterille ja Amazonin yksinkertainen tallennuspalvelu (Amazon S3).
Slurm-työt lähetetään komentorivin komennoilla. Slurm-töiden suorittamiskomennot ovat srun
ja sbatch
. srun
komento suorittaa harjoitustyön interaktiivisessa ja estotilassa, ja sbatch
toimii eräkäsittelyssä ja estotilassa. srun
käytetään enimmäkseen välittömien töiden suorittamiseen, kun taas sbatch
voidaan käyttää myöhemmissä töissä.
Lisätietoja muista Slurm-komennoista ja -määrityksistä on kohdassa Slurm Workload Managerin dokumentaatio.
Automaattinen jatkaminen ja parantavat ominaisuudet
Yksi SageMaker HyperPodin uusista ominaisuuksista on mahdollisuus jatkaa töiden automaattista jatkamista. Aikaisemmin, kun työntekijäsolmu epäonnistui koulutus- tai hienosäätötyöajon aikana, käyttäjän oli tarkistettava työn tila, aloitettava työ uudelleen viimeisimmästä tarkistuspisteestä ja jatkettava työn seurantaa koko ajon ajan. Kun koulutustöitä tai hienosäätötöitä on suoritettava päiviä, viikkoja tai jopa kuukausia kerrallaan, tästä tulee kallista, koska käyttäjälle aiheutuu ylimääräisiä hallinnollisia kuluja, jotka joutuvat käyttämään jaksoja työn seuraamiseen ja ylläpitämiseen siinä tapauksessa, että solmun kaatumiset sekä kalliiden kiihdytettyjen laskentaesiintymien joutoajan kustannukset.
SageMaker HyperPod parantaa työn kestävyyttä käyttämällä automaattisia terveystarkastuksia, solmujen vaihtoa ja työn palautusta. Slurm-töitä SageMaker HyperPodissa valvotaan SageMakerin mukautetulla Slurm-laajennuksella käyttämällä SPANK-kehys. Kun harjoitustyö epäonnistuu, SageMaker HyperPod tarkastaa klusterin kunnon terveystarkastuksilla. Jos klusterista löytyy viallinen solmu, SageMaker HyperPod poistaa solmun automaattisesti klusterista, korvaa sen terveellä solmulla ja aloittaa harjoitustyön uudelleen. Käytettäessä tarkistuspisteitä koulutustöissä, mikä tahansa keskeytynyt tai epäonnistunut työ voi jatkua viimeisimmästä tarkistuspisteestä.
Ratkaisun yleiskatsaus
Jos haluat ottaa SageMaker HyperPodin käyttöön, sinun on ensin valmisteltava ympäristösi määrittämällä se Amazonin virtuaalinen yksityinen pilvi (Amazon VPC) verkko- ja suojausryhmiä, jotka ottavat käyttöön tukipalveluita, kuten FSx for Lusterin, VPC:ssäsi ja julkaisevat Slurm-elinkaarikomentosarjat S3-säihissä. Tämän jälkeen otat käyttöön ja määrität SageMaker HyperPodin ja muodostat yhteyden pääsolmuun aloittaaksesi harjoitustyösi.
Edellytykset
Ennen kuin luot SageMaker HyperPodin, sinun on ensin määritettävä VPC, luotava FSx for Luster -tiedostojärjestelmä ja luotava S3-säilö, jossa on haluamasi klusterin elinkaaren skriptit. Tarvitset myös uusimman version AWS-komentoriviliitäntä (AWS CLI) ja CLI-laajennus asennettuna AWS-istunnonjohtaja, kyky AWS-järjestelmien päällikkö.
SageMaker HyperPod on täysin integroitu VPC:hen. Lisätietoja uuden VPC:n luomisesta on kohdassa Luo oletusarvoinen VPC or Luo VPC. Jotta resurssien välillä voidaan muodostaa saumaton ja mahdollisimman suorituskykyinen yhteys, sinun tulee luoda kaikki resurssit samalle alueelle ja käytettävyysalueelle sekä varmistaa, että siihen liittyvät suojausryhmäsäännöt sallivat yhteyden muodostamisen klusteriresurssien välillä.
Seuraavaksi sinä Luo FSx for Luster -tiedostojärjestelmä. Tämä toimii tehokkaana tiedostojärjestelmänä käytettäväksi koko mallikoulutuksemme ajan. Varmista, että FSx for Luster ja klusterin suojausryhmät sallivat saapuvan ja lähtevän tiedonsiirron klusterin resurssien ja FSx for Luster -tiedostojärjestelmän välillä.
Voit määrittää klusterin elinkaarikomentosarjoja, jotka suoritetaan tapahtumien, kuten uuden klusterin ilmentymän, tapahtuessa, luomalla S3-säihön ja kopioimalla ja valinnaisesti mukauttamalla oletuselinkaarikomentosarjoja. Tässä esimerkissä tallennamme kaikki elinkaarikomentosarjat ryhmän etuliitteeksi lifecycle-scripts
.
Lataa ensin esimerkkielinkaarikomentosarjoista osoitteesta GitHub repo. Sinun tulee mukauttaa nämä haluamaasi klusterikäyttäytymiseen sopivaksi.
Luo seuraavaksi S3-säilö mukautettujen elinkaariskriptien tallentamiseksi.
Kopioi seuraavaksi oletuselinkaarikomentosarjat paikallisesta hakemistosta haluamaasi ryhmään ja etuliite käyttämällä aws s3 sync
:
Lopuksi sinun tulee määrittää asiakas yksinkertaistettua yhteyttä varten klusterin pääsolmuun asenna tai päivitä AWS CLI ja asenna AWS Session Manager CLI -laajennus jotta interaktiiviset pääteyhteydet voivat hallita klusteria ja suorittaa koulutustöitä.
Voit luoda SageMaker HyperPod -klusterin joko saatavilla olevilla on-demand-resursseilla tai pyytämällä kapasiteetin varausta SageMakerilla. Voit luoda kapasiteetin varauksen luomalla kiintiön lisäyspyynnön tiettyjen laskentailmentymien ja kapasiteetin varausten varaamiseksi Palvelukiintiöt -koontinäytössä.
Perusta harjoitusklusterisi
Voit luoda SageMaker HyperPod -klusterin suorittamalla seuraavat vaiheet:
- Valitse SageMaker-konsolissa Klusterin hallinta varten HyperPod-klusterit navigointipaneelissa.
- Valita Luo klusteri.
- Anna klusterin nimi ja mahdollisesti klusterin resursseihin käytettävät tunnisteet ja valitse sitten seuraava.
- valita Luo esiintymäryhmä ja määritä ilmentymäryhmän nimi, tarvittava ilmentymän tyyppi, haluttujen ilmentymien määrä sekä S3-säihön ja etuliitepolku, johon kopioit klusterin elinkaarikomentosarjat aiemmin.
On suositeltavaa käyttää eri ilmentymäryhmiä ohjaussolmuille, joita käytetään klusterin hallintaan ja töiden lähettämiseen, sekä työntekijäsolmuille, joita käytetään koulutustöiden suorittamiseen kiihdytettyjen laskentaesiintymien avulla. Voit halutessasi määrittää ylimääräisen ilmentymäryhmän kirjautumissolmuille.
- Luo ensin ohjaimen ilmentymäryhmä, joka sisältää klusterin pääsolmun.
- Tämän esimerkkiryhmän osalta AWS-henkilöllisyyden ja käyttöoikeuksien hallinta (IAM) rooli, valitse Luo uusi rooli ja määritä kaikki S3-ryhmät, joihin haluat instanssiryhmän klusteriesiintymien pääsyn.
Luodulle roolille myönnetään oletusarvoisesti vain luku -oikeus määritettyihin ryhmiin.
- Valita Luo rooli.
- Kirjoita komentosarjan nimi, joka suoritetaan jokaisessa ilmentymän luonnissa, komentosarjan luomisen yhteydessä. Tässä esimerkissä on-create-komentosarjaa kutsutaan
on_create.sh
. - Valita Säästä.
- Valita Luo esiintymäryhmä luodaksesi työntekijäinstanssiryhmän.
- Anna kaikki pyydetyt tiedot, mukaan lukien esiintymän tyyppi ja haluttu määrä.
Tässä esimerkissä käytetään neljää ml.trn1.32xl-kiihdytettyä esiintymää harjoitustyömme suorittamiseen. Voit käyttää samaa IAM-roolia kuin aiemmin tai mukauttaa roolia työntekijäinstanssille. Vastaavasti voit käyttää erilaisia luomisvaiheessa olevia elinkaarikomentosarjoja tälle työntekijäinstanssiryhmälle kuin edelliselle ilmentymäryhmälle.
- Valita seuraava edetä.
- Valitse haluamasi VPC, aliverkko ja suojausryhmät klusteriesiintymillesi.
Isännöimme klusteriesiintymiä yhdessä Saatavuusvyöhykkeellä ja aliverkossa varmistaaksemme alhaisen viiveen.
Huomaa, että jos käytät S3-tietoja usein, on suositeltavaa luoda VPC-päätepiste, joka liittyy yksityisen aliverkon reititystaulukkoon mahdollisten tiedonsiirtokustannusten pienentämiseksi.
- Valita seuraava.
- Tarkista klusterin tietojen yhteenveto ja valitse sitten Lähetä.
Vaihtoehtoisesti voit luoda SageMaker HyperPodin AWS CLI:n avulla mukauttamalla ensin klusterin luomiseen käytetyt JSON-parametrit:
Luo sitten klusteri käyttämällä annettuja syötteitä seuraavalla komennolla:
Suorita ensimmäinen koulutustyösi Llama 2:n kanssa
Huomaa, että Llama 2 -mallin käyttöä säätelee Meta-lisenssi. Voit ladata mallipainot ja tokenizerin osoitteessa verkkosivusto ja hyväksy käyttöoikeus ennen pääsyn pyytämistä Metan Hugging Face -sivusto.
Kun klusteri on käynnissä, kirjaudu sisään Session Manageriin käyttämällä klusterin tunnusta, ilmentymän ryhmän nimeä ja ilmentymän tunnusta. Käytä seuraavaa komentoa nähdäksesi klusterin tiedot:
Merkitse muistiin vastauksessa oleva klusterin ARN sisältämä klusterin tunnus.
Käytä seuraavaa komentoa hakeaksesi ilmentymän ryhmän nimi ja ilmentymän tunnus, joita tarvitaan klusteriin kirjautumiseen.
Merkitse muistiin InstanceGroupName
ja InstanceId
vastauksessa, koska niitä käytetään muodostamaan yhteys ilmentymään istunnonhallinnan avulla.
Nyt käytät Session Manageria kirjautuaksesi pääsolmuun tai johonkin kirjautumissolmuista ja suorittaaksesi harjoitustyösi:
Seuraavaksi valmistelemme ympäristön ja lataamme Llama 2:n ja RedPajama-tietojoukon. Täydellisen koodin ja vaiheittaisen esittelyn saat noudattamalla sivulla olevia ohjeita AWSome hajautettu koulutus GitHub-repo.
Noudata kohdassa kuvattuja ohjeita 2.test_cases/8.neuronx-nemo-megatron/README.md
tiedosto. Kun olet suorittanut ympäristön valmistelun, mallin valmistuksen, tietojoukon lataamisen ja tokenisoinnin sekä mallin esikääntämisen vaiheet, sinun tulee muokata 6.pretrain-model.sh
käsikirjoitus ja sbatch
työn lähetyskomento, joka sisältää parametrin, jonka avulla voit hyödyntää SageMaker HyperPodin automaattisen jatkamisen ominaisuutta.
Muokkaa sbatch
rivi näyttää seuraavalta:
Työn lähettämisen jälkeen saat a JobID
jonka avulla voit tarkistaa työn tilan seuraavalla koodilla:
Lisäksi voit seurata työtä seuraamalla työn tuloslokia seuraavalla koodilla:
Puhdistaa
Jos haluat poistaa SageMaker HyperPod -klusterin, käytä joko SageMaker-konsolia tai seuraavaa AWS CLI -komentoa:
Yhteenveto
Tämä viesti osoitti sinulle, kuinka voit valmistella AWS-ympäristösi, ottaa käyttöön ensimmäisen SageMaker HyperPod -klusterin ja kouluttaa 7 miljardin parametrin Llama 2 -mallin. SageMaker HyperPod on nykyään yleisesti saatavilla Amerikan (N. Virginia, Ohio ja Oregon), Aasian ja Tyynenmeren (Singapore, Sydney ja Tokio) ja Euroopan (Frankfurt, Irlanti ja Tukholma) alueilla. Ne voidaan ottaa käyttöön SageMaker-konsolin, AWS CLI:n ja AWS SDK:iden kautta, ja ne tukevat p4d-, p4de-, p5-, trn1-, inf2-, g5-, c5-, c5n-, m5- ja t3-instanssiperheitä.
Lisätietoja SageMaker HyperPodista on osoitteessa Amazon SageMaker HyperPod.
Tietoja kirjoittajista
Brad Doran on vanhempi tekninen asiakaspäällikkö Amazon Web Servicesissä, keskittyen generatiiviseen tekoälyyn. Hän vastaa suunnitteluhaasteiden ratkaisemisesta generatiivisten tekoälyasiakkaiden digitaalisessa natiiviliiketoiminnassa. Hän on kotoisin infrastruktuuri- ja ohjelmistokehitystaustasta ja suorittaa parhaillaan tohtoriopintoja sekä tekoälyn ja koneoppimisen tutkimusta.
Keita Watanabe on vanhempi GenAI Specialist Solutions -arkkitehti Amazon Web Servicesissä, missä hän auttaa kehittämään koneoppimisratkaisuja käyttämällä OSS-projekteja, kuten Slurm ja Kubernetes. Hänen taustansa on koneoppimisen tutkimus- ja kehitystyössä. Ennen AWS:lle tuloaan Keita työskenteli verkkokauppa-alalla tutkijana kehittäen kuvanhakujärjestelmiä tuotehakuun. Keita on valmistunut luonnontieteiden tohtoriksi Tokion yliopistosta.
Justin Pirtle on johtava ratkaisuarkkitehti Amazon Web Servicesissä. Hän neuvoo säännöllisesti generatiivisia tekoälyasiakkaita heidän infrastruktuurinsa suunnittelussa, käyttöönotossa ja skaalauksessa. Hän on säännöllinen puhuja AWS-konferensseissa, mukaan lukien re:Invent, sekä muut AWS-tapahtumat. Justinilla on kandidaatin tutkinto johtamistietojärjestelmistä Texasin yliopistosta Austinissa ja maisterin tutkinto ohjelmistotekniikasta Seattlen yliopistosta.
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
- PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
- PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
- PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
- Lähde: https://aws.amazon.com/blogs/machine-learning/introducing-amazon-sagemaker-hyperpod-to-train-foundation-models-at-scale/
- :On
- :missä
- $ YLÖS
- 1
- 100
- 12
- 14
- 24
- 7
- a
- kyky
- Meistä
- kiihtyi
- kiihdyttimiä
- Hyväksyä
- pääsy
- saavutettavuus
- Pääsy
- Tili
- poikki
- Lisäksi
- lisä-
- osoitteet
- hallita
- hallinnollinen
- Etu
- Jälkeen
- AI
- Kaikki
- jako
- sallia
- mahdollistaa
- Myös
- Amazon
- Amazon Sage Maker
- Amazon Web Services
- Amerikka
- määrät
- an
- ja
- Kaikki
- käyttää
- arkkitehtuurin
- OVAT
- nousta
- keinotekoinen
- tekoäly
- Keinotekoinen älykkyys ja koneoppiminen
- AS
- Aasia
- Aasia pacific
- liittyvä
- At
- Austin
- Automatisoitu
- automaattisesti
- saatavuus
- saatavissa
- AWS
- tausta
- BE
- tulee
- ennen
- välillä
- miljardeja
- esto
- rakentaa
- Rakentaminen
- liiketoiminta
- by
- nimeltään
- CAN
- kyvyt
- valmiudet
- Koko
- toimitusjohtaja
- haaste
- haasteet
- Muutokset
- tarkastaa
- Tarkastukset
- Valita
- asiakas
- Cluster
- koodi
- Kollektiivinen
- tulee
- Viestintä
- Yhteydenpito
- yritys
- täydellinen
- osat
- Laskea
- tietojenkäsittely
- konferenssit
- Konfigurointi
- konfigurointi
- kytkeä
- liitäntä
- Liitännät
- Console
- jatkaa
- ohjain
- Hinta
- kallis
- kustannukset
- luoda
- Luominen
- luominen
- Tällä hetkellä
- asiakassuhde
- Asiakkaat
- räätälöidä
- räätälöityjä
- sykli
- jaksoa
- kojelauta
- tiedot
- päivää
- sopimus
- oletusarvo
- Aste
- sijoittaa
- käyttöön
- levityspinnalta
- suunnittelu
- haluttu
- yksityiskohtainen
- yksityiskohdat
- kehittää
- kehittämällä
- Kehitys
- eri
- Diffuusio
- digitaalinen
- Häiriö
- jaettu
- hajautettu laskenta
- hajautettu koulutus
- download
- kaksi
- aikana
- kukin
- verkkokaupan
- myöskään
- poistamalla
- mahdollistaa
- päätepiste
- Tekniikka
- varmistaa
- Koko
- ympäristö
- ympäristön
- perustaa
- Eetteri (ETH)
- Eurooppa
- Jopa
- tapahtuma
- Tapahtumat
- esimerkki
- innoissaan
- kallis
- lisää
- Kasvot
- Epäonnistui
- epäonnistuu
- Epäonnistuminen
- epäonnistumisia
- perheet
- nopeampi
- viallinen
- Ominaisuus
- Ominaisuudet
- filee
- Etunimi
- keskityttiin
- seurata
- jälkeen
- varten
- ennen
- löytyi
- perusta
- perustaja
- Perustaja ja toimitusjohtaja
- neljä
- Puitteet
- Frankfurt
- tiheä
- usein
- alkaen
- koko
- täysin
- yleensä
- syntyy
- generatiivinen
- Generatiivinen AI
- saada
- GitHub
- tavoite
- menee
- säännellään
- myönnetty
- Ryhmä
- Ryhmän
- kahva
- Tarvikkeet
- Olla
- ottaa
- he
- pää
- paranemista
- terveys
- terve
- raskas
- raskas nosto
- auttaa
- Korkea
- High Performance Computing
- korkean tason
- korkea suorituskyky
- suurin
- erittäin
- hänen
- pitää
- isäntä
- Miten
- Miten
- hpc
- HTML
- http
- HTTPS
- Sadat
- IAM
- ID
- Identiteetti
- Idle
- if
- kuva
- Välitön
- toteuttaa
- parantaa
- in
- sisältää
- mukana
- Mukaan lukien
- Kasvaa
- teollisuus
- tiedot
- Tietojärjestelmä
- Infrastruktuuri
- tuloa
- asentaa
- esimerkki
- tapauksia
- ohjeet
- integroitu
- integroi
- Älykkyys
- olla vuorovaikutuksessa
- vuorovaikutteinen
- liitäntä
- keskeytynyt
- tulee
- käyttöön
- osallistuva
- Irlanti
- kysymykset
- IT
- Job
- Työpaikat
- tuloaan
- jpg
- json
- Justin
- tunnettu
- Kubernetes
- suuri
- laaja
- Viive
- myöhemmin
- uusin
- johtava
- OPPIA
- oppiminen
- kirjastot
- Kirjasto
- Lisenssi
- elinkaari
- nosto
- pitää
- linja
- linux
- liekki
- paikallinen
- log
- Kirjaudu sisään
- katso
- näyttää joltakin
- menettää
- Matala
- kone
- koneoppiminen
- ylläpitää
- ylläpitäminen
- tehdä
- TEE
- Tekeminen
- onnistui
- johto
- hallintajärjestelmä
- johtaja
- markkinat
- maisterin
- asia
- Maksimoida
- Meta
- pöytäkirja
- ML
- tila
- malli
- mallit
- Moderni
- monitori
- seurataan
- seuranta
- kk
- lisää
- enimmäkseen
- nimi
- syntyperäinen
- suunnistus
- Tarve
- tarvitaan
- tarvitsevat
- verkko
- Uusi
- Uudet ominaisuudet
- solmu
- solmut
- huomata
- nyt
- Nvidia
- tapahtua
- of
- Ohio
- on
- Tarpeen vaatiessa
- ONE
- avata
- avoimen lähdekoodin
- toiminta
- toiminta-
- optimointi
- optimoimalla
- or
- orkestrointi
- Oregon
- Meitä
- Muut
- meidän
- ulostulo
- yli
- Tyynenmeren
- lasi
- Parallel
- parametri
- parametrit
- Ohimenevä
- polku
- suorittaa
- suorituskyky
- phd
- Platon
- Platonin tietotieto
- PlatonData
- kytkeä
- Suosittu
- Kirje
- mahdollinen
- Valmistella
- edellinen
- aiemmin
- Pääasiallinen
- Aikaisempi
- yksityinen
- Ennakoiva
- jatkaa
- käsittely
- Tuotteet
- Edistyminen
- hankkeet
- mikäli
- tarjoaa
- tarjoamalla
- Julkaiseminen
- jatkaa
- määrä
- RE
- suositeltu
- elpyminen
- vähentää
- katso
- alue
- alueet
- säännöllinen
- säännöllisesti
- poistaa
- korjaus
- korvata
- korvaus
- pyyntö
- pyysi
- edellyttää
- Vaatii
- tutkimus
- tutkimus ja kehitys
- Varaus
- Varanto
- kimmoisa
- resurssi
- Esittelymateriaalit
- vastaus
- vastuullinen
- jatkaa
- Rooli
- reititys
- säännöt
- ajaa
- juoksu
- toimii
- sagemaker
- sama
- Säästä
- Asteikko
- skaalaus
- tiede
- Tiedemies
- käsikirjoitus
- skriptejä
- sdks
- saumaton
- Haku
- Seattle
- turvallisuus
- nähdä
- segmentti
- vanhempi
- palvella
- palvelu
- Palvelut
- Istunto
- setti
- Jaa:
- shouldnt
- osoittivat
- samalla lailla
- Yksinkertainen
- yksinkertaistettu
- Singapore
- single
- pienempiä
- Tuotteemme
- ohjelmistokehitys
- ohjelmistotuotanto
- Ratkaisumme
- Solving
- lähde
- Kaiutin
- asiantuntija
- erityinen
- määritelty
- viettää
- jakaa
- Pysyvyys
- vakaa
- standardit
- Alkaa
- huippu-
- Tila
- Askeleet
- Levytila
- verkkokaupasta
- suora
- opinnot
- jättämisestä
- antaa
- toimitettu
- aliverkon
- niin
- Puku
- sviitti
- YHTEENVETO
- tuki
- Tukea
- varma
- sydney
- synkronointi.
- järjestelmä
- järjestelmät
- taulukko
- ottaa
- Tekninen
- kymmeniä
- terminaali
- texas
- kuin
- että
- -
- heidän
- Niitä
- sitten
- Nämä
- ne
- tätä
- tuhansia
- Kautta
- kauttaaltaan
- aika
- että
- tänään
- merkitä
- Tokio
- Juna
- koulutus
- siirtää
- tyyppi
- tyypit
- varten
- yliopisto
- Tokion yliopisto
- Päivitykset
- käyttää
- käytetty
- käyttäjä
- Käyttäjät
- käyttötarkoituksiin
- käyttämällä
- hyödyllisyys
- Hyödyntämällä
- eri
- valtava
- versio
- kautta
- Näytä
- virginia
- Virtual
- Vierailla
- läpikäynti
- oli
- Tapa..
- we
- verkko
- verkkopalvelut
- viikkoa
- HYVIN
- kun
- joka
- vaikka
- laajalti
- wikipedia
- tulee
- with
- sisällä
- ilman
- työskenteli
- työntekijä
- olisi
- te
- Sinun
- zephyrnet