Το μόνο δωρεάν μάθημα που χρειάζεστε για να γίνετε επαγγελματίας μηχανικός δεδομένων – KDnuggets

Εικόνα από συγγραφέα
 

Υπάρχουν πολλά μαθήματα και πόροι που είναι διαθέσιμοι για τη μηχανική μάθηση και την επιστήμη δεδομένων, αλλά πολύ λίγοι για τη μηχανική δεδομένων. Αυτό εγείρει ορισμένα ερωτήματα. Είναι δύσκολος τομέας; Προσφέρει χαμηλές αμοιβές; Δεν θεωρείται τόσο συναρπαστικό όσο άλλοι ρόλοι τεχνολογίας; Ωστόσο, η πραγματικότητα είναι ότι πολλές εταιρείες αναζητούν ενεργά ταλέντο στη μηχανική δεδομένων και προσφέρουν σημαντικούς μισθούς, που μερικές φορές υπερβαίνουν τα 200,000 $ USD. Οι μηχανικοί δεδομένων διαδραματίζουν κρίσιμο ρόλο ως αρχιτέκτονες των πλατφορμών δεδομένων, σχεδιάζοντας και χτίζοντας τα θεμελιώδη συστήματα που επιτρέπουν στους επιστήμονες δεδομένων και στους ειδικούς της μηχανικής μάθησης να λειτουργούν αποτελεσματικά.

Αντιμετωπίζοντας αυτό το κενό στον κλάδο, το DataTalkClub εισήγαγε ένα μετασχηματιστικό και δωρεάν bootcamp, "Data Engineering Zoomcamp". Αυτό το μάθημα έχει σχεδιαστεί για να ενδυναμώσει αρχάριους ή επαγγελματίες που θέλουν να αλλάξουν καριέρα, με βασικές δεξιότητες και πρακτική εμπειρία στη μηχανική δεδομένων.

Αυτή είναι μια Bootcamp 6 εβδομάδων όπου θα μάθετε μέσα από πολλαπλά μαθήματα, υλικό ανάγνωσης, εργαστήρια και έργα. Στο τέλος κάθε ενότητας, θα σας δίνονται εργασίες για να εξασκήσετε αυτά που έχετε μάθει.

1. Εβδομάδα 1: Εισαγωγή στη ρύθμιση GCP, Docker, Postgres, Terraform και περιβάλλοντος.
2. Εβδομάδα 2: Ενορχήστρωση ροής εργασιών με το Mage. 
3. Εβδομάδα 3: Αποθήκευση δεδομένων με BigQuery και μηχανική εκμάθηση με BigQuery. 
4. Εβδομάδα 4: Αναλυτικός μηχανικός με dbt, Google Data Studio και Metabase.
5. Εβδομάδα 5: Επεξεργασία παρτίδας με Spark.
6. Εβδομάδα 6: Streaming με τον Κάφκα. 

 

Εικόνα από DataTalksClub/data-engineering-zoomcamp

Το αναλυτικό πρόγραμμα περιλαμβάνει 6 ενότητες, 2 εργαστήρια και ένα έργο που καλύπτει όλα όσα χρειάζονται για να γίνεις επαγγελματίας μηχανικός δεδομένων.

Ενότητα 1: Mastering Containerization and Infrastructure as Code

Σε αυτήν την ενότητα, θα μάθετε για το Docker και το Postgres, ξεκινώντας από τα βασικά και προχωρώντας μέσα από λεπτομερείς σεμινάρια για τη δημιουργία αγωγών δεδομένων, την εκτέλεση του Postgres με το Docker και πολλά άλλα. 

Η ενότητα καλύπτει επίσης βασικά εργαλεία όπως pgAdmin, Docker-compose και θέματα ανανέωσης SQL, με προαιρετικό περιεχόμενο στη δικτύωση Docker και μια ειδική περιγραφή για χρήστες Linux υποσυστήματος Windows. Στο τέλος, το μάθημα σας εισάγει στο GCP και στο Terraform, παρέχοντας μια ολιστική κατανόηση της μεταφοράς εμπορευματοκιβωτίων και της υποδομής ως κώδικα, απαραίτητο για σύγχρονα περιβάλλοντα που βασίζονται σε cloud.

Ενότητα 2: Τεχνικές ενορχήστρωσης ροής εργασίας

Η ενότητα προσφέρει μια εις βάθος εξερεύνηση του Mage, ενός καινοτόμου υβριδικού πλαισίου ανοιχτού κώδικα για μετασχηματισμό και ενοποίηση δεδομένων. Αυτή η ενότητα ξεκινά με τα βασικά της ενορχήστρωσης της ροής εργασιών, προχωρώντας σε πρακτικές ασκήσεις με το Mage, συμπεριλαμβανομένης της εγκατάστασης μέσω του Docker και της δημιουργίας αγωγών ETL από το API στο Postgres και στο Google Cloud Storage (GCS) και στη συνέχεια στο BigQuery. 

Ο συνδυασμός βίντεο, πόρων και πρακτικών εργασιών της ενότητας εξασφαλίζει μια ολοκληρωμένη εμπειρία εκμάθησης, εξοπλίζοντας τους μαθητές με τις δεξιότητες διαχείρισης εξελιγμένων ροών εργασίας δεδομένων χρησιμοποιώντας το Mage.

Εργαστήριο 1: Στρατηγικές απορρόφησης δεδομένων

Στο πρώτο εργαστήριο θα κατακτήσετε τη δημιουργία αποτελεσματικών αγωγών απορρόφησης δεδομένων. Το εργαστήριο εστιάζει σε βασικές δεξιότητες όπως η εξαγωγή δεδομένων από API και αρχεία, η κανονικοποίηση και η φόρτωση δεδομένων και οι τεχνικές σταδιακής φόρτωσης. Μετά την ολοκλήρωση αυτού του εργαστηρίου, θα μπορείτε να δημιουργήσετε αποτελεσματικές σωλήνες δεδομένων όπως ένας ανώτερος μηχανικός δεδομένων.

Ενότητα 3: Αποθήκευση δεδομένων

Η ενότητα είναι μια εις βάθος εξερεύνηση αποθήκευσης και ανάλυσης δεδομένων, με επίκεντρο την αποθήκευση δεδομένων με χρήση του BigQuery. Καλύπτει βασικές έννοιες όπως η κατάτμηση και η ομαδοποίηση και εμβαθύνει στις βέλτιστες πρακτικές του BigQuery. Η ενότητα εξελίσσεται σε προηγμένα θέματα, ιδιαίτερα την ενσωμάτωση της Μηχανικής Μάθησης (ML) με το BigQuery, υπογραμμίζοντας τη χρήση της SQL για ML και παρέχοντας πόρους για συντονισμό υπερπαραμέτρων, προεπεξεργασία χαρακτηριστικών και ανάπτυξη μοντέλου. 

Ενότητα 4: Μηχανική Analytics

Η ενότητα μηχανικής ανάλυσης εστιάζει στη δημιουργία ενός έργου χρησιμοποιώντας dbt (Εργαλείο δημιουργίας δεδομένων) με μια υπάρχουσα αποθήκη δεδομένων, είτε BigQuery είτε PostgreSQL. 

Η ενότητα καλύπτει τη ρύθμιση του dbt τόσο σε περιβάλλον cloud όσο και σε τοπικό περιβάλλον, εισάγοντας έννοιες μηχανικής ανάλυσης, ETL vs ELT και μοντελοποίηση δεδομένων. Καλύπτει επίσης προηγμένες δυνατότητες dbt, όπως σταδιακά μοντέλα, ετικέτες, άγκιστρα και στιγμιότυπα. 

Στο τέλος, η ενότητα εισάγει τεχνικές για την οπτικοποίηση μετασχηματισμένων δεδομένων χρησιμοποιώντας εργαλεία όπως το Google Data Studio και το Metabase, και παρέχει πόρους για την αντιμετώπιση προβλημάτων και την αποτελεσματική φόρτωση δεδομένων.

Ενότητα 5: Ικανότητα στην επεξεργασία παρτίδων

Αυτή η ενότητα καλύπτει τη μαζική επεξεργασία με χρήση του Apache Spark, ξεκινώντας με τις εισαγωγές στη μαζική επεξεργασία και το Spark, μαζί με οδηγίες εγκατάστασης για Windows, Linux και MacOS. 

Περιλαμβάνει την εξερεύνηση του Spark SQL και του DataFrames, την προετοιμασία δεδομένων, την εκτέλεση λειτουργιών SQL και την κατανόηση των εσωτερικών του Spark. Τέλος, ολοκληρώνεται με την εκτέλεση του Spark στο cloud και την ενσωμάτωση του Spark με το BigQuery.

Ενότητα 6: Η τέχνη της ροής δεδομένων με τον Κάφκα

Η ενότητα ξεκινά με μια εισαγωγή στις έννοιες της επεξεργασίας ροής, ακολουθούμενη από σε βάθος εξερεύνηση του Kafka, συμπεριλαμβανομένων των θεμελιωδών του, ενσωμάτωση με το Confluent Cloud και πρακτικές εφαρμογές που αφορούν παραγωγούς και καταναλωτές. 

Η ενότητα καλύπτει επίσης τη διαμόρφωση και τις ροές Kafka, αντιμετωπίζοντας θέματα όπως συνδέσεις ροών, δοκιμές, παράθυρα και τη χρήση του Kafka ksqldb & Connect. Επιπλέον, επεκτείνει την εστίασή του σε περιβάλλοντα Python και JVM, με την επεξεργασία ροής Faust for Python, Pyspark – Structured Streaming και παραδείγματα Scala για Kafka Streams. 

Εργαστήριο 2: Επεξεργασία ροής με SQL

Θα μάθετε να επεξεργάζεστε και να διαχειρίζεστε δεδομένα ροής με το RisingWave, το οποίο παρέχει μια οικονομικά αποδοτική λύση με μια εμπειρία τύπου PostgreSQL για να ενδυναμώσετε τις εφαρμογές επεξεργασίας ροής σας.

Έργο: Real-World Data Engineering Application

Ο στόχος αυτού του έργου είναι να εφαρμόσουμε όλες τις έννοιες που μάθαμε σε αυτό το μάθημα για να κατασκευάσουμε μια γραμμή δεδομένων από άκρο σε άκρο. Θα δημιουργήσετε για να δημιουργήσετε έναν πίνακα εργαλείων που αποτελείται από δύο πλακίδια επιλέγοντας ένα σύνολο δεδομένων, δημιουργώντας μια διοχέτευση για την επεξεργασία των δεδομένων και αποθήκευσή τους σε μια λίμνη δεδομένων, δημιουργία αγωγού για τη μεταφορά των επεξεργασμένων δεδομένων από τη λίμνη δεδομένων σε μια αποθήκη δεδομένων, μετασχηματίζοντας τα δεδομένα στην αποθήκη δεδομένων και την προετοιμασία τους για τον πίνακα εργαλείων και, τέλος, την κατασκευή ενός πίνακα εργαλείων για την οπτική παρουσίαση των δεδομένων.

Λεπτομέρειες κοόρτης 2024

• Εγγραφή: Εγγραφείτε τώρα
• Ημερομηνία έναρξης: 15 Ιανουαρίου 2024, στις 17:00 CET
• Αυτο-ρυθμισμένη μάθηση με καθοδηγούμενη υποστήριξη
• Φάκελος κοόρτης με εργασίες και προθεσμίες
• διαδραστικό Slack Community για μάθηση από ομοτίμους

Προϋποθέσεις

• Βασικές δεξιότητες κωδικοποίησης και γραμμής εντολών
• Foundation σε SQL
• Python: ωφέλιμο αλλά όχι υποχρεωτικό

Ειδικοί εκπαιδευτές που οδηγούν το ταξίδι σας

• Ankush Khanna
• Victoria Perez Mola
• Αλεξέι Γκριγκόρεφ
• Ματ Πάλμερ
• Λουίς Ολιβέιρα
• Michael Shoemaker

Εγγραφείτε στην ομάδα μας για το 2024 και ξεκινήστε να μαθαίνετε με μια καταπληκτική κοινότητα μηχανικής δεδομένων. Με εκπαίδευση από ειδικούς, πρακτική εμπειρία και πρόγραμμα σπουδών προσαρμοσμένο στις ανάγκες του κλάδου, αυτό το bootcamp όχι μόνο σας εξοπλίζει με τις απαραίτητες δεξιότητες αλλά σας τοποθετεί στην πρώτη γραμμή μιας κερδοφόρας και απαιτητικής επαγγελματικής πορείας. Εγγραφείτε σήμερα και μετατρέψτε τις φιλοδοξίες σας σε πραγματικότητα!
 
 

Αμπίντ Αλί Αουάν (@1abidaliawan) είναι πιστοποιημένος επαγγελματίας επιστήμονας δεδομένων που λατρεύει την κατασκευή μοντέλων μηχανικής μάθησης. Επί του παρόντος, εστιάζει στη δημιουργία περιεχομένου και στη σύνταξη τεχνικών ιστολογίων για τη μηχανική μάθηση και τις τεχνολογίες επιστήμης δεδομένων. Ο Abid είναι κάτοχος μεταπτυχιακού τίτλου στη Διοίκηση Τεχνολογίας και πτυχίου στη Μηχανική Τηλεπικοινωνιών. Το όραμά του είναι να δημιουργήσει ένα προϊόν τεχνητής νοημοσύνης χρησιμοποιώντας ένα νευρωνικό δίκτυο γραφημάτων για μαθητές που παλεύουν με ψυχικές ασθένειες.

• SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
• PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
• PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
• PlatoESG. Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
• PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
• πηγή: https://www.kdnuggets.com/the-only-free-course-you-need-to-become-a-professional-data-engineer?utm_source=rss&utm_medium=rss&utm_campaign=the-only-free-course-you-need-to-become-a-professional-data-engineer