Introduction To Cloud Computing For Data Science - KDnuggets

Julkaissut Platon

seuraajia: 0

Johdatus tietotekniikan pilvilaskentaan
Kuva tähtiviiva

Nykymaailmassa pelin muuttajina on noussut kaksi päävoimaa:

Tietotiede ja pilvilaskenta.

Kuvittele maailma, jossa valtavia määriä dataa syntyy joka sekunti.

No… sinun ei tarvitse kuvitella… Se on meidän maailmamme!

Tietoa on kaikkialla sosiaalisen median vuorovaikutuksista rahoitustapahtumiin, terveydenhuollon tiedoista sähköisen kaupankäynnin asetuksiin.

Mutta mitä hyötyä näistä tiedoista on, jos emme saa arvoa?

Juuri sitä Data Science tekee.

Ja missä tallennamme, käsittelemme ja analysoimme näitä tietoja?

Siellä Cloud Computing loistaa.

Lähdetään matkalle ymmärtääksemme näiden kahden teknologian ihmeen toisiinsa kietoutunut suhde.

Yritetään (yritetään) löytää se kaikki yhdessä!

Tietotiede? - Insights piirtämisen taito

Datatiede on taidetta ja tiedettä, jolla poimitaan merkityksellisiä oivalluksia laajasta ja monipuolisesta datasta.

Se yhdistää asiantuntemusta eri aloilta, kuten tilastoista ja koneoppimisesta, tietojen tulkitsemiseen ja tietoisten päätösten tekemiseen.

Datan räjähdysmäisen kasvun myötä datatieteilijöiden roolista on tullut ensiarvoisen tärkeä raakadatan muuttamisessa kullaksi.

Cloud Computing? - Digital Storage Revolution

Pilvipalvelulla tarkoitetaan laskentapalveluiden toimitusta Internetin kautta.

Tarvitsemmepa tallennustilaa, prosessointitehoa tai tietokantapalveluita, Cloud Computing tarjoaa joustavan ja skaalautuvan ympäristön yrityksille ja ammattilaisille ilman fyysisen infrastruktuurin ylläpitokustannuksia.

Useimmat teistä kuitenkin ajattelevat, miksi ne liittyvät toisiinsa?

Palataanpa alkuun…

On kaksi pääsyytä, miksi pilvilaskenta on noussut datatieteen keskeiseksi tai täydentäväksi osaksi.

#1. Yhteistyön välttämätön tarve

Datatieteen matkansa alussa nuoremmat data-ammattilaiset aloittavat yleensä asettamalla Pythonin ja R:n henkilökohtaisille tietokoneilleen. Myöhemmin he kirjoittavat ja suorittavat koodia käyttämällä paikallista integroitua kehitysympäristöä (IDE), kuten Jupyter Notebook Application tai RStudio.

Tietotieteiden ryhmien laajentuessa ja edistyneen analytiikan yleistyessä on kuitenkin kasvava kysyntä yhteistyötyökaluille, jotka tarjoavat oivalluksia, ennakoivaa analytiikkaa ja suositusjärjestelmiä.

Tästä syystä yhteistyötyökalujen tarve tulee ensiarvoisen tärkeäksi. Näitä työkaluja, jotka ovat välttämättömiä oivallusten, ennakoivan analytiikan ja suositusjärjestelmien saamiseksi, tukevat toistettava tutkimus, muistikirjatyökalut ja koodilähteen hallinta. Pilvipohjaisten alustojen integrointi vahvistaa tätä yhteistyöpotentiaalia entisestään.

Johdatus tietotekniikan pilvilaskentaan
Kuva makrovektori

On tärkeää huomata, että yhteistyö ei rajoitu vain datatieteen ryhmiin.

Se kattaa paljon laajemman valikoiman ihmisiä, mukaan lukien sidosryhmät, kuten johtajat, osastojen johtajat ja muut tietokeskeiset roolit.

#2. Big Datan aikakausi

Termi Big Data on kasvattanut suosiotaan erityisesti suurten teknologiayritysten keskuudessa. Vaikka sen tarkka määritelmä on edelleen vaikeaselkoinen, se viittaa yleensä tietokokonaisuuksiin, jotka ovat niin laajoja, että ne ylittävät standarditietokantajärjestelmien ja analyyttisten menetelmien ominaisuudet.

Nämä tietojoukot ylittävät tyypillisten ohjelmistotyökalujen ja tallennusjärjestelmien rajat tietojen sieppauksen, tallennuksen, hallinnan ja käsittelyn osalta kohtuullisessa ajassa.

Kun harkitset Big Dataa, muista aina 3 V:t:

Volume: Viittaa valtavaan datamäärään.
Variety: Viittaa tietojen erilaisiin muotoihin, tyyppeihin ja analyyttisiin sovelluksiin.
Nopeus: Ilmaisee nopeuden, jolla data kehittyy tai syntyy.

Tietojen kasvaessa jatkuvasti tarvitaan tehokkaampia infrastruktuureja ja tehokkaampia analyysitekniikoita.

Nämä kaksi tärkeintä syytä ovat siksi, miksi meidän - datatieteilijöinä - meidän on laajennettava toimintaansa paikallisten tietokoneiden ulkopuolelle.

Yritykset ja ammattilaiset voivat vuokrata pilvipalveluntarjoajalta pääsyn mihin tahansa sovelluksista tallennustilaan sen sijaan, että he omistaisivat oman laskentainfrastruktuurinsa tai datakeskuksensa.

Näin yritykset ja ammattilaiset voivat maksaa siitä, mitä he käyttävät, kun he käyttävät sitä, sen sijaan, että he joutuisivat käsittelemään paikallisen IT-infrastruktuurin ylläpidon kustannuksia ja monimutkaisuutta - omaa.

Joten yksinkertaisesti sanottuna, Cloud Computing Onko tilattavien laskentapalvelujen toimittaminen? -? Sovelluksista tallennus- ja prosessointiteho? -? -? -? -? -? - tyypillisesti Internetin kautta ja pay-as-you-go-perusteella.

Mitä tulee yleisimpiin palveluntarjoajiin, olen melko varma, että tunnette ainakin yhden niistä. Google (Google Cloud), Amazon (Amazon Web Services) ja Microsoft (Microsoft Azure) ovat kolme yleisintä pilviteknologiaa ja hallitsevat lähes kaikkia markkinoita.

Termi pilvi saattaa kuulostaa abstraktilta, mutta sillä on konkreettinen merkitys.

Pilvi on pohjimmiltaan verkkoon liitetyistä tietokoneista, jotka jakavat resursseja. Ajattele Internetiä laajimpana tietokoneverkkona, kun taas pienempiä esimerkkejä ovat kotiverkot, kuten LAN tai WiFi SSID. Nämä verkot jakavat resursseja web-sivuista tietojen tallennustilaan.

Näissä verkoissa yksittäisiä tietokoneita kutsutaan nimellä solmut. He kommunikoivat protokollien, kuten HTTP:n, avulla eri tarkoituksiin, mukaan lukien tilapäivitykset ja tietopyynnöt. Usein nämä tietokoneet eivät ole paikan päällä, vaan ne ovat palvelinkeskuksissa, joissa on olennainen infrastruktuuri.

Koska tietokoneet ja tallennustila ovat edullisia, on nykyään yleistä käyttää useita toisiinsa kytkettyjä tietokoneita yhden kalliin voimanlähteen sijaan. Tämä toisiinsa yhdistetty lähestymistapa varmistaa jatkuvan toiminnan, vaikka yksi tietokone epäonnistuu, ja antaa järjestelmän käsitellä lisääntynyttä kuormitusta.

Suositut alustat, kuten Twitter, Facebook ja Netflix, ovat esimerkkejä pilvipohjaisista sovelluksista, jotka voivat hallita miljoonia päivittäisiä käyttäjiä kaatumatta. Kun samassa verkossa olevat tietokoneet tekevät yhteistyötä yhteisen tavoitteen saavuttamiseksi, sitä kutsutaan a klusteri.

Yksittäisenä yksikkönä toimivat klusterit tarjoavat parannetun suorituskyvyn, saatavuuden ja skaalautuvuuden.

Hajautettu tietojenkäsittely viittaa ohjelmistoon, joka on suunniteltu käytettäväksi klusterit tiettyihin tehtäviin, kuten Hadoop ja Spark.

Joten… taas… mikä on pilvi?

Jaettujen resurssien lisäksi pilvi kattaa palvelimet, palvelut, verkot ja paljon muuta, joita hallinnoi yksi kokonaisuus.

Vaikka Internet on laaja verkko, se ei ole pilvi, koska yksikään osapuoli ei omista sitä.

Yhteenvetona voidaan todeta, että Data Science ja Cloud Computing ovat saman kolikon kaksi puolta.

Data Science tarjoaa ammattilaisille kaikki teoriat ja tekniikat, joita tarvitaan datan arvon poimimiseen.

Cloud Computing on se, joka myöntää infrastruktuurin näiden samojen tietojen tallentamiseen ja käsittelyyn.

Kun ensimmäinen antaa meille tietoa minkä tahansa projektin arvioimiseen, toinen antaa meille toteutettavuuden sen toteuttamiseen.

Yhdessä ne muodostavat tehokkaan tandemin, joka edistää teknologista innovaatiota.

Kun etenemme, näiden kahden välinen synergia vahvistuu, mikä tasoittaa tietä datalähtöisempään tulevaisuuteen.

Ota vastaan tulevaisuus, sillä se on datapohjaista ja pilvipohjaista!

Josep Ferrer on analytiikkainsinööri Barcelonasta. Hän valmistui fysiikan insinööriksi ja työskentelee tällä hetkellä tietotieteen alalla, jota sovelletaan ihmisen liikkuvuuteen. Hän on osa-aikainen sisällöntuottaja, joka keskittyy tietotieteeseen ja teknologiaan. Voit ottaa häneen yhteyttä LinkedIn, Twitter or Keskikokoinen.