Ainoa ilmainen kurssi, jonka tarvitset ammattimaiseksi tietoinsinööriksi – KDnuggets

Kuva tekijältä
 

Koneoppimisesta ja datatieteestä on saatavilla monia kursseja ja resursseja, mutta tietotekniikasta hyvin vähän. Tämä herättää kysymyksiä. Onko vaikea ala? Tarjoaako se alhaista palkkaa? Eikö sitä pidetä yhtä jännittävänä kuin muita teknisiä rooleja? Todellisuus on kuitenkin, että monet yritykset etsivät aktiivisesti tietotekniikan kykyjä ja tarjoavat huomattavia palkkoja, joskus yli 200,000 XNUMX USD. Tietosuunnittelijoilla on ratkaiseva rooli tietoalustojen arkkitehteinä, jotka suunnittelevat ja rakentavat perusjärjestelmiä, jotka mahdollistavat datatieteilijöiden ja koneoppimisen asiantuntijoiden tehokkaan toiminnan.

Tämän alan aukon korjaamiseksi DataTalkClub on ottanut käyttöön muuntavan ja ilmaisen käynnistysleirin, "Tietotekniikan Zoomcamp". Tämä kurssi on suunniteltu antamaan aloittelijoille tai ammattilaisille, jotka haluavat vaihtaa uraa ja joilla on tärkeitä taitoja ja käytännön kokemusta tietotekniikasta.

Tämä on 6 viikon bootcamp jossa opit useiden kurssien, lukumateriaalien, työpajojen ja projektien kautta. Jokaisen moduulin lopussa sinulle annetaan läksyjä, joilla voit harjoitella oppimaasi.

1. Viikko 1: Johdatus GCP:n, Dockerin, Postgresin, Terraformin ja ympäristön asetuksiin.
2. Viikko 2: Työnkulun orkestrointi Magen kanssa. 
3. Viikko 3: Datavarastointi BigQuerylla ja koneoppiminen BigQuerylla. 
4. Viikko 4: Analyyttinen insinööri, joka käyttää dbt:tä, Google Data Studiota ja Metabasea.
5. Viikko 5: Eräkäsittely Sparkilla.
6. Viikko 6: Suoratoisto Kafkan kanssa. 

 

Kuva DataTalksClub/data-engineering-zoomcamp

Opintojakso sisältää 6 moduulia, 2 työpajaa ja projektin, joka kattaa kaiken, mitä tarvitaan ammattimaiseksi tietoinsinööriksi.

Moduuli 1: Säiliön ja infrastruktuurin hallitseminen koodina

Tässä moduulissa opit Dockerista ja Postgresista aloittaen perusteista ja jatkamalla yksityiskohtaisten opetusohjelmien kautta tietoputkien luomisesta, Postgresin käyttämisestä Dockerin kanssa ja paljon muuta. 

Moduuli kattaa myös keskeiset työkalut, kuten pgAdmin-, Docker-compose- ja SQL-päivitysaiheet sekä valinnaisen sisällön Docker-verkosta ja erityisen esittelyn Windows-alijärjestelmän Linux-käyttäjille. Lopuksi kurssi tutustuttaa sinut GCP:hen ja Terraformiin, mikä tarjoaa kokonaisvaltaisen käsityksen konteinnista ja infrastruktuurista koodina, joka on välttämätöntä nykyaikaisille pilvipohjaisille ympäristöille.

Moduuli 2: Työnkulun orkestrointitekniikat

Moduuli tarjoaa syvällisen tutkimisen Magesta, innovatiivisesta avoimen lähdekoodin hybridikehyksestä tietojen muuntamiseen ja integrointiin. Tämä moduuli alkaa työnkulun organisoinnin perusteilla ja etenee käytännön harjoituksiin Magen kanssa, mukaan lukien sen määrittäminen Dockerin kautta ja ETL-putkien rakentaminen API:sta Postgresiin ja Google Cloud Storageen (GCS) ja sitten BigQueryyn. 

Moduulin yhdistelmä videoita, resursseja ja käytännön tehtäviä takaa kattavan oppimiskokemuksen ja antaa oppijoille taidot hallita kehittyneitä datatyönkulkuja Magen avulla.

Työpaja 1: Tiedonsiirtostrategiat

Ensimmäisessä työpajassa hallitset tehokkaiden tiedonsiirtoputkien rakentamisen. Työpaja keskittyy olennaisiin taitoihin, kuten tiedon poimimiseen API:ista ja tiedostoista, tietojen normalisointiin ja lataamiseen sekä inkrementaalista lataustekniikkaa. Tämän työpajan suoritettuasi pystyt luomaan tehokkaita tietoputkia vanhempi tietoinsinöörin tavoin.

Moduuli 3: Tietovarastointi

Moduuli on syvällinen tiedon tallennus ja analysointi, jossa keskitytään BigQueryn avulla tapahtuvaan datavarastointiin. Se kattaa keskeiset käsitteet, kuten osioinnin ja klusteroinnin, ja sukeltaa BigQueryn parhaisiin käytäntöihin. Moduuli etenee edistyneisiin aiheisiin, erityisesti koneoppimisen (ML) integrointiin BigQueryn kanssa, korostaen SQL:n käyttöä ML:ssä ja tarjoamalla resursseja hyperparametrien viritykseen, ominaisuuksien esikäsittelyyn ja mallin käyttöönottoon. 

Moduuli 4: Analyticsin suunnittelu

Analytiikan suunnittelumoduuli keskittyy projektin rakentamiseen käyttämällä dbt:tä (Data Build Tool) olemassa olevan tietovaraston, joko BigQueryn tai PostgreSQL:n, kanssa. 

Moduuli kattaa dbt:n määrittämisen sekä pilvi- että paikallisissa ympäristöissä, analytiikan suunnittelukonseptien esittelyn, ETL vs. ELT:n ja datamallinnuksen. Se kattaa myös edistyneet dbt-ominaisuudet, kuten inkrementaaliset mallit, tunnisteet, koukut ja tilannekuvat. 

Lopuksi moduuli esittelee tekniikoita muunnettujen tietojen visualisoimiseksi käyttämällä työkaluja, kuten Google Data Studio ja Metabase, ja se tarjoaa resursseja vianetsintään ja tehokkaaseen tietojen lataamiseen.

Moduuli 5: Eräkäsittelyn taito

Tämä moduuli kattaa eräkäsittelyn Apache Sparkilla alkaen eräkäsittelyn ja Sparkin esittelyistä sekä asennusohjeet Windowsille, Linuxille ja MacOS:lle. 

Se sisältää Spark SQL:n ja DataFrame-kehyksen tutkimisen, tietojen valmistelun, SQL-toimintojen suorittamisen ja Sparkin sisäisten osien ymmärtämisen. Lopuksi se päättyy Sparkin käyttämiseen pilvessä ja Sparkin integroimiseen BigQueryyn.

Moduuli 6: Datan suoratoiston taito Kafkan kanssa

Moduuli alkaa johdatuksella stream-käsittelykonsepteihin, jota seuraa Kafkan perusteellinen tutkiminen, mukaan lukien sen perusteet, integrointi Confluent Cloudiin ja käytännön sovellukset, joihin osallistuvat tuottajat ja kuluttajat. 

Moduuli kattaa myös Kafka-määritykset ja streamit ja käsittelee aiheita, kuten suoratoistoliitoksia, testausta, ikkunointia ja Kafka ksqldb & Connectin käyttöä. Lisäksi se laajentaa painopisteensä Python- ja JVM-ympäristöihin, ja se sisältää Faust for Python -virrankäsittelyn, Pyspark – Structured Streaming ja Scala-esimerkit Kafka Streamsille. 

Workshop 2: Stream Processing SQL:llä

Opit käsittelemään ja hallitsemaan suoratoistodataa RisingWaven avulla, joka tarjoaa kustannustehokkaan ratkaisun PostgreSQL-tyylisellä kokemuksella tehostaaksesi suoratoistosovelluksiasi.

Projekti: Real-World Data Engineering Application

Tämän projektin tavoitteena on toteuttaa kaikki tällä kurssilla oppimamme käsitteet päästä-päähän dataputken rakentamiseksi. Aiot luoda kahdesta ruudusta koostuvan kojelaudan valitsemalla tietojoukon, rakentamalla putkiston tietojen käsittelyä varten ja tallentamalla sen datajärveen, rakentamalla putkilinjan käsiteltyjen tietojen siirtämiseksi datajärvestä tietovarastoon, muuntamalla tietovaraston tiedot ja sen valmistelu kojelautaa varten ja lopuksi kojelaudan rakentaminen tietojen esittämiseksi visuaalisesti.

Vuoden 2024 kohortin tiedot

• Rekisteröinti: Ilmoittaudu nyt
• Aloituspäivä: 15. tammikuuta 2024, klo 17:00 CET
• Omatoiminen oppiminen ohjatulla tuella
• Kohorttikansio kotitehtävien ja määräaikojen kanssa
• Interaktiivinen Slack yhteisö vertaisoppimista varten

Edellytykset

• Koodauksen ja komentorivin perustaidot
• SQL:n perusta
• Python: hyödyllinen, mutta ei pakollinen

Asiantuntevat ohjaajat johtavat matkaasi

• Ankush Khanna
• Victoria Perez Mola
• Aleksei Grigorev
• Matt Palmer
• Luis Oliveira
• Michael Shoemaker

Liity vuoden 2024 kohorttiimme ja aloita oppiminen hämmästyttävän tietotekniikkayhteisön kanssa. Asiantuntijavetoisen koulutuksen, käytännön kokemuksen ja alan tarpeisiin räätälöidyn opetussuunnitelman ansiosta tämä bootcamp ei vain anna sinulle tarvittavat taidot, vaan myös asettaa sinut kannattavan ja kysytyn urapolun eturintamaan. Ilmoittaudu jo tänään ja muuta toiveesi todeksi!
 
 

Abid Ali Awan (@1abidaliawan) on sertifioitu datatieteilijä, joka rakastaa koneoppimismallien rakentamista. Tällä hetkellä hän keskittyy sisällöntuotantoon ja kirjoittaa teknisiä blogeja koneoppimisesta ja datatieteen teknologioista. Abidilla on maisterin tutkinto teknologiajohtamisesta ja kandidaatin tutkinto tietoliikennetekniikasta. Hänen visionsa on rakentaa tekoälytuote graafisen hermoverkon avulla opiskelijoille, jotka kamppailevat mielenterveysongelmista.

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
• PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
• PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
• PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
• Lähde: https://www.kdnuggets.com/the-only-free-course-you-need-to-become-a-professional-data-engineer?utm_source=rss&utm_medium=rss&utm_campaign=the-only-free-course-you-need-to-become-a-professional-data-engineer