Συνέντευξη CEO: Suresh Sugumar της Mastiska AI – Semiwiki

Πείτε μας για την εταιρεία σας
"Mastiṣka AI” (Mastiṣka σημαίνει Εγκέφαλος στα σανσκριτικά) είναι μια εταιρεία τεχνητής νοημοσύνης που επικεντρώνεται στην κατασκευή υπολογιστών που μοιάζουν με τον εγκέφαλο για να εκτελούν μοντέλα θεμελίωσης πιο αποτελεσματικά για περιπτώσεις χρήσης Generative AI του αύριο.

Τι προβλήματα λύνετε;
Δεδομένων των πλεονεκτημάτων του AI/GenAI, η ζήτησή του είναι βέβαιο ότι θα αυξηθεί, όπως και οι παρενέργειές του στον πλανήτη μας. Πώς μπορούμε να μειώσουμε ή να εξουδετερώσουμε τις παρενέργειες της τεχνητής νοημοσύνης στον πλανήτη μας; Η δέσμευση άνθρακα και η πυρηνική ενέργεια είναι προς τη σωστή κατεύθυνση. Αλλά πρέπει να επανεξετάσουμε ριζικά τον τρόπο με τον οποίο κάνουμε την τεχνητή νοημοσύνη, είναι ο λάθος τρόπος να κάνουμε τόνους πολλαπλασιασμούς μήτρας;

Ο εγκέφαλός μας μπορεί να μάθει και να κάνει πολλές εργασίες παράλληλα, εντός και κάτω των 10 W, αλλά γιατί αυτά τα συστήματα τεχνητής νοημοσύνης καταναλώνουν 10 μεγαβάτ για να εκπαιδεύσουν μοντέλα;

Ίσως το μέλλον επιφυλάσσει ενεργειακά αποδοτικές αρχιτεκτονικές, όπως νευρομορφικές αρχιτεκτονικές και μετασχηματιστές που βασίζονται σε νευρωνικά δίκτυα που βρίσκονται πιο κοντά στον ανθρώπινο εγκέφαλο, οι οποίοι ενδέχεται να καταναλώνουν 100-1000 φορές χαμηλότερη ενέργεια, μειώνοντας έτσι το κόστος χρήσης της τεχνητής νοημοσύνης, εκδημοκρατίζοντάς το και εξοικονομώντας πλανήτης.

Οι τρέχουσες προκλήσεις που αντιμετωπίζουμε με την τεχνητή νοημοσύνη, συγκεκριμένα α) διαθεσιμότητα, β) προσβασιμότητα, γ) προσιτή τιμή και δ) περιβαλλοντική ασφάλεια μαζί με ορισμένες συστάσεις για την αντιμετώπισή τους.

Αν προβλέψουμε στο μέλλον, μερικές χρήσιμες έννοιες AGI παρουσιάζονται στην ταινία "HER", όπου ο χαρακτήρας "Samantha" - ένας συνομιλητής που είναι φυσικός, καταλαβαίνει τα συναισθήματα, δείχνει ενσυναίσθηση, είναι ένας καταπληκτικός πιλότος στη δουλειά - και τρέχει συσκευές χειρός όλη την ημέρα, τότε ίσως χρειαστεί να αντιμετωπίσουμε τις παρακάτω προκλήσεις αυτή τη στιγμή.

Θέμα 1: Η εκπαίδευση ενός LLM μπορεί να κοστίσει οπουδήποτε από 150 έως 10+ εκατομμύρια δολάρια και επιτρέπει μόνο σε όσους έχουν βαθύτερες τσέπες να αναπτύξουν AI. Επιπλέον, το κόστος εξαγωγής συμπερασμάτων είναι επίσης τεράστιο (κοστίζει 10 φορές περισσότερο από μια αναζήτηση στον ιστό)
—> Πρέπει να βελτιώσουμε την ενεργειακή απόδοση μοντέλων/υλισμικού για να εκδημοκρατίσουμε την τεχνητή νοημοσύνη προς όφελος της ανθρωπότητας.

Θέμα 2: Η εκτέλεση τεράστιων μοντέλων AI για συνομιλητές ή συστήματα συστάσεων, επιβαρύνει το περιβάλλον όσον αφορά την κατανάλωση ηλεκτρικής ενέργειας και την ψύξη.
—> Πρέπει να βελτιώσουμε την ενεργειακή απόδοση μοντέλων/υλισμικού για να σώσουμε τον πλανήτη μας για τα παιδιά μας.

Θέμα 3: Ο ανθρώπινος εγκέφαλος είναι ικανός και μπορεί να κάνει πολλαπλές εργασίες, αλλά καταναλώνει μόνο 10 Watt αντί για Megawatts.
—> Ίσως θα έπρεπε να κατασκευάζουμε μηχανές όπως ο εγκέφαλός μας και όχι οι κανονικοί πολλαπλασιαστές μήτρας πιο γρήγορα.

Η ανθρωπότητα μπορεί να ευδοκιμήσει μόνο με βιώσιμες καινοτομίες, και όχι με την αποκοπή όλων των δασών και το βράσιμο των ωκεανών στο όνομα της καινοτομίας. Πρέπει να προστατεύσουμε τον πλανήτη μας για την ευημερία των παιδιών μας και των μελλοντικών γενεών…

Ποιοι τομείς εφαρμογής είναι οι πιο δυνατοί σας;
Εκπαίδευση και εξαγωγή συμπερασμάτων μοντέλων θεμελίωσης που βασίζονται σε μετασχηματιστές (και μελλοντική νευρωνική αρχιτεκτονική), με 50-100 φορές μεγαλύτερη ενεργειακή απόδοση σε σύγκριση με τις σημερινές λύσεις που βασίζονται σε GPU.

Τι κρατά τους πελάτες σας ξύπνιους τη νύχτα;
Ζητήματα για πελάτες που χρησιμοποιούν αυτήν τη στιγμή άλλα προϊόντα:

Η κατανάλωση ηλεκτρικής ενέργειας για την εκπαίδευση μεγάλων μοντέλων γλώσσας είναι πέρα ​​από την οροφή. https://lnkd.in/g6Vc5cz3). Και ακόμη μεγαλύτερα μοντέλα με παραμέτρους 100+B κοστίζουν 10+ εκατομμύρια δολάρια μόνο για εκπαίδευση. Στη συνέχεια, πληρώστε για την εξαγωγή συμπερασμάτων κάθε φορά που φθάνει ένα νέο αίτημα προτροπής.

Κατανάλωση νερού για ψύξη, ερευνητές στο Πανεπιστήμιο της Καλιφόρνια στο Ρίβερσαϊντ εκτίμησαν τον περιβαλλοντικό αντίκτυπο της υπηρεσίας τύπου ChatGPT και λένε ότι καταπίνει 500 χιλιοστόλιτρα νερό (κοντά σε αυτό που περιέχει ένα μπουκάλι νερού 16 ουγκιών) κάθε φορά που του ζητάτε σειρά από 5 έως 50 προτροπές ή ερωτήσεις. Το εύρος ποικίλλει ανάλογα με το πού βρίσκονται οι διακομιστές του και την εποχή. Η εκτίμηση περιλαμβάνει έμμεση χρήση νερού που οι εταιρείες δεν μετρούν — όπως για την ψύξη σταθμών παραγωγής ενέργειας που τροφοδοτούν τα κέντρα δεδομένων με ηλεκτρική ενέργεια. (Πηγή: https://lnkd.in/gybcxX8C)

Θέματα για μη πελάτες τρεχόντων προϊόντων:

Δεν μπορώ να αντέξω οικονομικά την CAPEX για να αγοράσω υλικό
Δεν έχω την οικονομική δυνατότητα να χρησιμοποιήσω υπηρεσίες cloud
Δεν μπορώ να καινοτομήσω ή να αξιοποιήσω την τεχνητή νοημοσύνη — κολλημένοι με το μοντέλο υπηρεσιών που εξαλείφει οποιοδήποτε ανταγωνιστικό πλεονέκτημα

Πώς μοιάζει το ανταγωνιστικό τοπίο και πώς το διαφοροποιείτε;

• Οι GPU κυριαρχούν στον χώρο εκπαίδευσης, παρόλο που τα εξειδικευμένα ASIC ανταγωνίζονται επίσης σε αυτό το τμήμα
• Το συμπέρασμα Cloud & Edge έχει πάρα πολλές διαθέσιμες επιλογές

Ψηφιακό, Αναλογικό, Φωτονικό — όπως το πείτε, οι άνθρωποι προσπαθούν να αντιμετωπίσουν το ίδιο πρόβλημα.

Μπορείτε να μοιραστείτε τις σκέψεις σας σχετικά με την τρέχουσα κατάσταση της αρχιτεκτονικής τσιπ για AI/ML, δηλαδή ποιες θεωρείτε τις πιο σημαντικές τάσεις και ευκαιρίες αυτή τη στιγμή;

Οι παρακάτω τάσεις:
Τάση 1: Πριν από 10 χρόνια, η βαθιά μάθηση με δυνατότητα υλικού άνθισε και τώρα το ίδιο υλικό εμποδίζει την πρόοδο. Λόγω του τεράστιου κόστους υλικού και ηλεκτρικού ρεύματος για τα μοντέλα που λειτουργούν, έχει γίνει πρόκληση η πρόσβαση στο υλικό. Μόνο οι εταιρείες με βαθιές τσέπες μπορούν να αντέξουν οικονομικά αυτά και γίνονται μονοπώλια.

Τάση 2: Τώρα που υπάρχουν αυτά τα μοντέλα, πρέπει να τα χρησιμοποιήσουμε για πρακτικούς σκοπούς, ώστε να αυξηθεί το φορτίο συμπερασμάτων, επιτρέποντας στους CPU με επιταχυντές τεχνητής νοημοσύνης να έρθουν ξανά στο προσκήνιο.

Τάση 3: Οι νεοσύστατες επιχειρήσεις προσπαθούν να βρουν εναλλακτικές αναπαραστάσεις αριθμών κινητής υποδιαστολής ότι η παραδοσιακή μορφή IEEE – όπως η λογαριθμική και η θετική – είναι καλή αλλά όχι αρκετή. Η βελτιστοποίηση χώρου σχεδιασμού PPA$ εκρήγνυται όταν προσπαθούμε να βελτιστοποιήσουμε το ένα και το άλλο πηγαίνει για ρίψη.

Τάση 4: Η βιομηχανία απομακρύνεται από το μοντέλο της τεχνητής νοημοσύνης που βασίζεται σε υπηρεσίες στη φιλοξενία των δικών της ιδιωτικών μοντέλων στις δικές της εγκαταστάσεις — αλλά η πρόσβαση στο υλικό είναι μια πρόκληση λόγω ελλείψεων εφοδιασμού, κυρώσεων κ.λπ.

Τρέχουσα κατάσταση πραγμάτων:
Η διαθεσιμότητα υλικού και δεδομένων τροφοδότησε την ανάπτυξη της τεχνητής νοημοσύνης πριν από 10 χρόνια, τώρα το ίδιο υλικό την εμποδίζει - επιτρέψτε μου να εξηγήσω

Από τότε που οι CPU τα πήγαιναν άσχημα και οι GPU επαναχρησιμοποιήθηκαν για να κάνουν AI, πολλά πράγματα συνέβησαν

Οι εταιρείες έχουν ασχοληθεί με 4 τμήματα της AI/ML και συγκεκριμένα – 1) εκπαίδευση στο cloud, 2) συμπερασματικές πληροφορίες στο cloud, 3) εξαγωγή συμπερασμάτων άκρων και 4) εκπαίδευση αιχμής (ομοσπονδιακή μάθηση για εφαρμογές ευαίσθητες στο απόρρητο).
Ψηφιακό και αναλογικό

Εκπαιδευτική πλευρά – μια πληθώρα εταιρειών που κάνουν GPU, επιταχυντές πελατών που βασίζονται στο RISC-V, τσιπ κλίμακας wafer (850K πυρήνες) και ούτω καθεξής όπου οι παραδοσιακές CPU δεν έχουν (ο γενικός σκοπός τους). Πλευρά συμπερασμάτων – Οι επιταχυντές NN είναι διαθέσιμοι από κάθε κατασκευαστή, σε smartphone, φορητούς υπολογιστές και άλλες συσκευές αιχμής.

Αναλογικές αρχιτεκτονικές που βασίζονται σε memristor εμφανίστηκαν επίσης πριν από λίγο καιρό.

Πιστεύουμε ότι οι CPU μπορούν να είναι πολύ καλοί στο συμπέρασμα εάν το βελτιώσουμε με επιτάχυνση όπως οι επεκτάσεις μήτρας

RISC-V πλευρά των πραγμάτων:
Από την πλευρά του RISC-V, αναπτύσσουμε επιταχυντές για λειτουργίες μήτρας και άλλες μη γραμμικές λειτουργίες για την εξάλειψη πιθανών σημείων συμφόρησης για φόρτους εργασίας μετασχηματιστών. Τα σημεία συμφόρησης του Von Neumann αντιμετωπίζονται επίσης με την αρχιτεκτονική των αναμνήσεων πιο κοντά στους υπολογιστές, καθιστώντας τελικά τις CPU με επιτάχυνση AI τη σωστή επιλογή για εξαγωγή συμπερασμάτων.

Ευκαιρίες:
Υπάρχουν μοναδικές ευκαιρίες για να συμπληρώσετε την αγορά των μοντέλων θεμελίων. Παράδειγμα – Το OpenAI ανέφερε ότι δεν ήταν σε θέση να εξασφαλίσει αρκετό υπολογισμό τεχνητής νοημοσύνης (GPU) για να συνεχίσει να προωθεί τις υπηρεσίες ChatGPT… και οι ειδήσεις αναφέρουν ότι το κόστος ηλεκτρικής ενέργειας είναι 10πλάσιο από αυτό της τακτικής αναζήτησης στο Διαδίκτυο και 500 ml νερού για την ψύξη των συστημάτων για κάθε ερώτημα. Υπάρχει μια αγορά που πρέπει να συμπληρώσετε εδώ — δεν είναι εξειδικευμένη, αλλά ολόκληρη η αγορά που θα εκδημοκρατίσει την τεχνητή νοημοσύνη αντιμετωπίζοντας όλες τις προκλήσεις που αναφέρονται παραπάνω – α) διαθεσιμότητα, β) προσβασιμότητα, γ) προσιτή τιμή και δ) περιβαλλοντική ασφάλεια

Σε ποια νέα χαρακτηριστικά/τεχνολογία εργάζεστε;
Κατασκευάζουμε εγκέφαλο όπως ο υπολογιστής, αξιοποιώντας νευρομοδρικές τεχνικές και προσαρμόζουμε μοντέλα για να εκμεταλλευτούμε το ενεργειακά αποδοτικό υλικό, επαναχρησιμοποιώντας τα διαθέσιμα ανοιχτά πλαίσια

Πώς φαντάζεστε τον τομέα της AI/ML να αυξάνεται ή να αλλάζει τους επόμενους 12-18 μήνες;
Καθώς η ζήτηση για GPU έχει επιδεινωθεί (κοστίζουν περίπου 30 $) και ορισμένα μέρη του κόσμου αντιμετωπίζουν κυρώσεις για την αγορά αυτών των GPU, ορισμένα μέρη του κόσμου αισθάνονται ότι έχουν παγώσει στην έρευνα και ανάπτυξη AI χωρίς πρόσβαση σε GPU. Εναλλακτικές πλατφόρμες υλικού πρόκειται να κατακτήσουν την αγορά.
Τα μοντέλα ίσως αρχίσουν να συρρικνώνονται - προσαρμοσμένα μοντέλα ή ακόμη και ουσιαστικά η πυκνότητα πληροφοριών θα αυξηθεί

Ίδια ερώτηση, αλλά τι γίνεται με την ανάπτυξη και την αλλαγή στα επόμενα 3-5 χρόνια;
α) Οι CPU με επεκτάσεις τεχνητής νοημοσύνης θα καταλάμβαναν την αγορά συμπερασμάτων AI
β) Τα μοντέλα θα γίνουν ευκίνητα και οι παράμετροι θα πέφτουν καθώς η πυκνότητα πληροφοριών βελτιώνεται από 16% σε 90%
γ) Η ενεργειακή απόδοση βελτιώνεται, το αποτύπωμα ποδιών CO2 μειώνεται
δ) Εμφανίζονται νέες αρχιτεκτονικές
ε) το κόστος υλικού και το κόστος ενέργειας μειώνονται, έτσι ώστε το εμπόδιο στην είσοδο για μικρότερες εταιρείες για τη δημιουργία και την εκπαίδευση μοντέλων γίνεται προσιτό
στ) οι άνθρωποι μιλούν για τη στιγμή πριν από το AGI, αλλά το σημείο αναφοράς μου θα ήταν η Samantha (συνομιλητική τεχνητή νοημοσύνη) στην ταινία "her".. που ίσως απίθανο δεδομένου του υψηλού κόστους της κλιμάκωσης

Ποιες είναι μερικές από τις προκλήσεις που θα μπορούσαν να επηρεάσουν ή να περιορίσουν την ανάπτυξη στον τομέα της AI/ML;
α) Πρόσβαση σε υλικό
β) Κόστος ενέργειας και κόστος ψύξης και περιβαλλοντική βλάβη

Διαβάστε επίσης:

Συνέντευξη CEO: David Moore της Pragmatic

Συνέντευξη CEO: Dr. Meghali Chopra της Sandbox Semiconductor

Συνέντευξη CEO: Dr. J Provine of Aligned Carbon