Στο δικό μας πρόσφατο ενημερωτικό δελτίο για το Meta Superintelligenceεκφράσαμε λόγους να είμαστε αισιόδοξοι για το Meta AI. Η MSL έχει πλέον πολλά από τα σωστά συστατικά για να καλύψει τη διαφορά με το Anthropic και το OpenAI για να επιστρέψει στα σύνορα. Ωστόσο, αναφερθήκαμε εν συντομία σε πολιτιστικά ζητήματα που μαστίζουν τις ομάδες υποδομής του Meta. Αυτό το άρθρο θα εξετάσει πώς αυτά τα πολιτιστικά ζητήματα έχουν εκδηλωθεί σε ακριβά λάθη, είτε πρόκειται για εξαγορές όπως η Rivos είτε περίεργες επιλογές στην αρχιτεκτονική υλικού.
Πιστεύουμε ότι η Meta Infrastructure χρειάζεται μια πολιτιστική επαναφορά για να εξυπηρετήσει καλύτερα τον οργανισμό Meta AI, ειδικά τους ερευνητές παγκόσμιας κλάσης που βρίσκονται στο MSL. Αυτό είναι ακόμη πιο σημαντικό καθώς Η Meta ξεκινά την πορεία της πώλησης των υπολογιστών της σε εξωτερικούς πελάτεςόχι μόνο εξυπηρέτηση δεσμευμένων εσωτερικών χρηστών.
Η Meta Infrastructure έχει διογκωθεί, με τα μεσαία στελέχη να δαπανούν πόρους σε υπερβολικά σχεδιασμένες τεχνολογικές λύσεις που χάνουν την προσοχή των ευρύτερων οργανωτικών αναγκών. Η εταιρεία φαίνεται να επιβαρύνεται από πάρα πολλές διαφορετικές ομάδες που βελτιστοποιούν υπερβολικά για ορισμένες μετρήσεις σε αντίθεση με την παροχή χρήσιμης τεχνολογίας για την εταιρεία στο σύνολό της. Τα μεσαία στελέχη θα κάνουν τα πάντα για να δικαιολογήσουν τις προτάσεις τους για να προστατεύσουν τις θέσεις τους μέσα στο Meta, το οποίο έχει γίνει ένας εξαιρετικά πολιτικός οργανισμός.
Ένα μεγάλο ζήτημα είναι ο εξάμηνος κύκλος ελέγχου απόδοσης της Meta, στον οποίο το χαμηλότερο 10% έως 15% μειώνεται σε κάθε γύρο αξιολόγησης. Το αποτέλεσμα είναι μια οργάνωση εργαζομένων που βελτιστοποιεί για βραχυπρόθεσμες νίκες παρά για μακροπρόθεσμες στρατηγικές. Μερικοί διευθυντές πιέζουν για εξαιρετικά ορατά έργα που μπορούν να παραδοθούν γρήγορα, μια πρακτική που είναι γνωστή ως «πλύσιμο παραθύρων» και στη συνέχεια τα περιστρέφουν ή τα εγκαταλείπουν αμέσως. Λίγοι αμφισβητούν ανοιχτά την ηγεσία, η οποία οδηγεί σε κακές αποφάσεις που δεν διορθώνονται. Ολόκληρο το σύστημα αποθαρρύνει τη μακροπρόθεσμη σκέψη και οδηγεί σε δυσμενή συμπεριφορά κινδύνου.
Στο πλαίσιο της Meta Infrastructure, οι ομάδες της εφοδιαστικής αλυσίδας έχουν επίσης ελάχιστο λόγο για τις ομάδες μηχανικών. Το αποτέλεσμα είναι τεχνολογικές αποφάσεις που οδηγούνται από πολιτικά κίνητρα και όχι από στοχαστικό συν-σχεδιασμό λογισμικού/υλισμικού για την ευρύτερη εταιρεία.
Οι συχνές περιστροφές είναι επίσης κοινές. Και επειδή η Meta έχει τη φήμη ότι ρίχνει χρήματα σε προβλήματα και εκτελεί με μεγάλη ταχύτητα, αυτές οι αναστροφές καταλήγουν να γίνονται πιο δαπανηρές σε σχέση με άλλες εταιρείες που ακολουθούν μια πιο πειθαρχημένη ή συντηρητική προσέγγιση. Οι προμηθευτές χάνουν επίσης την πίστη τους όταν τα δεδομένα κέρδη σχεδίασης ακυρώνονται αργότερα. Αυτό οδήγησε σε λιγότερη προτεραιότητα στην αλυσίδα εφοδιασμού σε νέα σχέδια. Ορισμένοι προμηθευτές προτιμούν την εστίαση στα σχέδια της Amazon ή της Google λόγω των συχνών ανακατατάξεων της Meta.
Πολλά από τα ζητήματα του Meta προέρχονται από έλλειψη οικονομικής πειθαρχίας, με τους διευθυντές να δημιουργούν νέα έργα και πλήθος εργαζομένων για να συμπληρώσουν και να δικαιολογήσουν τους τεράστιους προϋπολογισμούς που δίνονται για πρωτοβουλίες όπως η τεχνητή νοημοσύνη. Είναι μια επανάληψη αυτού που συνέβη με το τμήμα Reality Labs της Meta, όπου δαπανήθηκαν δισεκατομμύρια δολάρια σε μηχανικούς και Έρευνα και Ανάπτυξη έως ότου οι απολύσεις, εν μέρει λόγω της στροφής της εταιρείας στην τεχνητή νοημοσύνη, περιόρισαν την ομάδα και τα σχετικά έργα της από το 2022 και συνεχίζοντας φέτος.
Πρώτον, ένα από τα πιο πρόσφατα λάθη της Meta ήταν τα περισσότερα από 2,5 δισεκατομμύρια δολάρια που βύθισε πέρυσι για την εξαγορά της Rivos, μιας startup με τσιπ.
Λίγοι στο τμήμα τσιπ της Meta έχουν πλήρη κατανόηση του γιατί η εταιρεία αγόρασε τη Rivos εξαρχής, και όσοι υποστήριξαν τη συμφωνία εσωτερικά, έκτοτε σιωπούν. Η επικρατούσα θεωρία είναι ότι η Meta είχε τα χρήματα, ο προσαρμοσμένος χώρος πυριτίου ζεσταινόταν και ήδη αδειοδοτούσε την IP της Rivos για ένα μελλοντικό τσιπ, οπότε η ηγεσία υπολόγισε ότι μπορεί να κατέχει την τεχνολογία της Rivos εντελώς παρά να την έχει σε κανέναν άλλον.
Με την εξαγορά της Rivos, η Meta απέκτησε επίσης τη δυνατότητα να παρακάμπτει συνεργάτες όπως η Broadcom για να διαχειρίζονται την κατασκευή και τη δοκιμή των δικών τους προσαρμοσμένων τσιπ, μια πρακτική γνωστή ως εργαλειομηχανές που ανήκουν σε πελάτες. Ωστόσο, το να πληρώσετε περισσότερα από 2,5 δισεκατομμύρια δολάρια για αυτό το προνόμιο δεν έχει και πολύ νόημα, δεδομένου ότι μια ομάδα COT θα μπορούσε να κατασκευαστεί από την αρχή για ίσως 100 εκατομμύρια δολάρια το χρόνο ή και περισσότερο.
Αν και η Meta ήθελε μόνο τον επιταχυντή και την ομάδα GPU της Rivos, οι ιδρυτές της startup επέμειναν σε μια συμφωνία όλα ή τίποτα. Η Meta αγόρασε ολόκληρη την εταιρεία και στη συνέχεια έκοψε σοβαρά τους υπαλλήλους στα μέρη που δεν ήθελε.
Κάποιοι πρώην υπάλληλοι των τσιπ της Meta λένε ότι η εξαγορά πραγματοποιήθηκε από τον επικεφαλής πυριτίου της Meta, Yee Jiun Song, ο οποίος πίεσε για τη συμφωνία ενάντια στις επιθυμίες ορισμένων από αυτούς που ήταν υπό τον έλεγχο, αλλά έκτοτε έχασε το ενδιαφέρον του. Το αποτέλεσμα είναι ένας οργανισμός που απέρριψε τη μεταμόσχευση, αφήνοντας το προσωπικό της Rivos κολλημένο να τα βγάλει πέρα. Οι υπάρχοντες διαχειριστές τσιπ της Meta αντιμετώπισαν την εξαγορά ως μια δεξαμενή δωρεάν εργαζομένων, αρπάζοντας τους μηχανικούς της Rivos για να χτίσουν τις δικές τους αυτοκρατορίες και απομακρύνοντας την αρχική startup προς διαφορετικές κατευθύνσεις έως ότου παρέμεινε άθικτο.
Οι λόγοι τεχνολογίας πίσω από τη συμφωνία έχουν εξατμιστεί εξίσου γρήγορα. Μέρος του αρχικού ενδιαφέροντος της Meta ήταν ότι η Rivos είχε SIMT core IP που ήταν πιο κοντά σε μια αρχιτεκτονική GPU τύπου Nvidia από άποψη προγραμματισμού, ενώ η δική της MTIA της Meta είναι η SIMD. Ωστόσο, μετά το κλείσιμο της συμφωνίας, η Meta ακύρωσε το τσιπ γνωστό ως Olympus που προοριζόταν να χρησιμοποιήσει την GPU IP της Rivos, επειδή ο σχεδιασμός ήταν πολύ επιθετικός όσον αφορά την αρχιτεκτονική του συστήματος και του πακέτου, καθώς και το λογισμικό που δεν ήταν έτοιμο. Αντίθετα, η Meta εμμένει στην υπάρχουσα αρχιτεκτονική τσιπ μέσω του MTIA 600.
Η Meta εξακολουθεί να θέλει να αναπτύξει ένα τσιπ που να ενσωματώνει την τεχνολογία Rivos και έχει δημιουργήσει ένα νέο έργο τσιπ γνωστό ως Phoebe που έχει προγραμματιστεί τώρα να κυκλοφορήσει το 2028. Αλλά δεν είναι όλοι μέσα στο Meta αισιόδοξοι για το έργο και ορισμένοι πιστεύουν ότι θα μπορούσε τελικά να ακυρωθεί επίσης. Ενημερώνουμε τους συνδρομητές μας για το Μοντέλο επιταχυντή για όλες τις διαφορετικές αρχιτεκτονικές, τις κατόψεις και τους όγκους διαφόρων προσαρμοσμένων πυριτίων.
Εν τω μεταξύ, οι εισερχόμενοι υπάλληλοι της Rivos έχουν πάρει μια ραγδαία πορεία στην εσωτερική κουλτούρα του Meta. Σε αντίθεση με πιο ώριμους οργανισμούς υλικού όπως η Apple, οι οδικοί χάρτες υλικού της Meta μπορούν να αλλάξουν εξίσου γρήγορα με τους οδικούς χάρτες λογισμικού της, με συνεχείς στροφές, πράγμα που σημαίνει ότι κάτι στο οποίο εργάζεστε τώρα μπορεί να είναι άσκοπο σε έξι μήνες. Πολλοί από το τμήμα τσιπ της Meta λένε ότι δεν υπάρχει σαφής δομή οργάνωσης, σαφής λήψη αποφάσεων και σαφής ιδιοκτησία του ποια ομάδα κάνει τι.
Ένα αστείο παράδειγμα της δυσλειτουργίας που είναι προσιτή σε όσους δεν είναι στα ζιζάνια, η Meta δεν δίνει στους περισσότερους υπαλλήλους γραφεία. άτομα που έχουν πάει εκεί πάνω από ένα χρόνο εξακολουθούν να αναζητούν καθημερινά έναν χώρο εργασίας, όπου μερικές φορές το γραφείο έχει οθόνη, μερικές φορές η οθόνη έχει λάθος καλώδιο και μερικές φορές δεν υπάρχει καθόλου οθόνη. Οι υπάλληλοι υπέβαλαν επίσημα αίτηση για ένα γραφείο και τους απορρίφθηκαν, παρόλο που τα γραφεία είναι παντού άδεια.
Τέλος, η εξαγορά της Rivos έχει δημιουργήσει δυσαρέσκεια στην προϋπάρχουσα ομάδα silicon της Meta. Πολλοί μηχανικοί της Rivos προσχώρησαν με υψηλότερες αποδοχές και τίτλους χωρίς να έχουν τις απαραίτητες ευθύνες για να δικαιολογήσουν τέτοια προνόμια και τέθηκαν υπό τους υπάρχοντες υπαλλήλους της Meta silicon. Αυτό οδήγησε σε μειωμένο ηθικό εντός της προϋπάρχουσας ομάδας και επίσης με το εισερχόμενο προσωπικό του Rivos, το οποίο δεν έχει τη δύναμη να λάβει αποφάσεις. Από τις αρχές του τρέχοντος έτους, αρκετοί μηχανικοί πυριτίου της Meta έχουν φύγει για startups ή άλλες εδραιωμένες εταιρείες όπως η Arm και η Nvidia.
Όπως εμείς πρώτα αναφέρεται για πελάτεςπερίπου το 30% των μηχανικών της Rivos που εντάχθηκαν στη Meta ως μέρος της εξαγοράς απολύθηκαν σε πρόσφατες απολύσεις. Ο συνιδρυτής της Rivos, Mark Hayter, έχει ήδη αποχωρήσει. Αρκετοί πρώην άνθρωποι της Rivos έχουν εγκαταλείψει έκτοτε το Meta για να ενταχθούν στη νέα startup chip του Gerard Williams, Nuvacore, μετά την πρώτη τους δόση των RSU που κατοχυρώθηκαν τον Μάιο. Πιστεύουμε ότι ο CEO και συνιδρυτής της Rivos, Puneet Kumar, προσβλέπει επίσης σε μια έξοδο σε ένα ή δύο χρόνια όταν οι μετοχές του στη Meta κατοχυρωθούν πλήρως. Υπάρχουν εικασίες ότι θα μπορούσε να ενταχθεί στην Rosaic Labs, μια νέα startup με τσιπ που συνιδρύθηκε από τον Amarjit Gill, επενδυτή στη Rivos και επί μακρόν συνεργάτη με τον Puneet Kumar στις SiByte, PA Semi, Apple και Agnilux.
Τώρα ας μιλήσουμε για τα σχέδια διακομιστή AI της Meta. Οι αποφάσεις υλικού της Meta καθοδηγούνται σε μεγάλο βαθμό από μια ανάλυση TCO που συγκρίνει μια μήτρα φόρτου εργασίας όπως η κατάταξη-σύσταση και το GenAI με αυτά που παρέχουν προμηθευτές όπως η Nvidia, η AMD και η δική τους προσαρμοσμένη προσφορά πυριτίου. Ο διευθύνων σύμβουλος της Meta, Mark Zuckerberg, εξέδωσε διάταγμα ότι τα συστήματα που σχεδιάζονται πρέπει να λειτουργούν για ολόκληρη την επιχείρηση, πράγμα που σημαίνει ότι πρέπει να υποστηρίζουν όχι μόνο φόρτους εργασίας Gen AI, αλλά και βασικά συστήματα κατάταξης και συστάσεων.
Ωστόσο, η Meta εξακολουθεί να έχει επιλέξει αρκετές «βελτιστοποιήσεις» για τους διακομιστές GPU της, οι οποίες είναι παράξενες επιλογές που είναι συχνά χειρότερες από τις τυπικές διαμορφώσεις που αγοράζουν άλλοι υπερκλιμακωτές. Μέρος του ζητήματος προέρχεται από το γεγονός ότι οι ομάδες διακομιστών της εταιρείας βρίσκονται σε εντελώς ξεχωριστούς οργανισμούς από τις ομάδες δικτύωσης τους, με διαφορετικούς στόχους και απόψεις. Οι μηχανικοί της Meta παρακινούνται επίσης από την ιδέα να κατέχουν το δικό τους λειτουργικό σύστημα δικτύου και υλικό αντί να βασίζονται σε άλλες εταιρείες.
Για να ανακεφαλαιώσουμε, ο διακομιστής H100 HGX της Meta ονομαζόταν «Teton Grand», ένα σχέδιο που έχει συνεισφέρει στο OCP. Η κύρια διαφορά από τον τυπικό διακομιστή HGX είναι η προσθήκη ενός δίσκου μεταγωγής επιπλέον της τυπικής διαμόρφωσης κόμβου κεφαλής GPU και CPU. Αυτός ο δίσκος διακόπτη φιλοξενεί τέσσερις διακόπτες Broadcom PCIe, 16 SSD και οκτώ NIC. Η λειτουργία είναι να παρέχει επιπλέον λωρίδες PCIe, έτσι ώστε το Grand Teton να μπορεί να προσθέσει περισσότερους SSD ανά διακομιστή.
Κατά τη διάρκεια της γενιάς Hopper, η Nvidia σχεδίασε αποτελεσματικά την ανάγκη για αυτόνομους διακόπτες PCIe, εφαρμόζοντας τη λειτουργία μεταγωγής PCIe με το ConnectX-7 NIC της.
Με 80x λωρίδες PCIe διαθέσιμες στον κεντρικό επεξεργαστή Intel Sapphire Rapids, η Meta θα μπορούσε να έχει σχεδιάσει ένα κουτί που συνέδεε τα 2x 200G front-end NIC με οκτώ λωρίδες η καθεμία, τέσσερις λωρίδες για διάφορες διαχείριση και έλεγχο και 16 λωρίδες για κάθε ένα από τα οκτώ ConnectX-7 NIC. Αυτό θα τους αφήσει 32 λωρίδες για σύνδεση σε οκτώ SSDs E1.S. Έτσι, στο τέλος με το Grand Teton, η Meta κατάφερε να αποσπάσει οκτώ επιπλέον SSD ανά διακομιστή. Αυτό συνέβη με κόστος μεγαλύτερου BOM διακομιστή, μεγαλύτερης ισχύος και μεγαλύτερης πολυπλοκότητας ενοποίησης.
Γιατί η Meta ήθελε όλο αυτόν τον επιπλέον άμεσο συνημμένο χώρο αποθήκευσης; Η ομάδα Υποδομής το παρείχε αυτό με την πεποίθηση ότι χρειαζόταν περισσότερος χώρος αποθήκευσης για τις διαδρομές εκπαίδευσης σημείων ελέγχου. Ωστόσο, στην παραγωγή, ο αποθηκευτικός χώρος δεν χρησιμοποιήθηκε τόσο πολύ όσο αναμενόταν από τις ομάδες μοντέλων, γι’ αυτό και αυτός ο σχεδιασμός κατέληξε να ακυρωθεί. Αυτό είναι ένα από τα πολλά παραδείγματα έλλειψης πόρων από κοινού σχεδιασμού υλικού και λογισμικού.
Οι πρόσθετες δικαιολογίες της Meta ήταν ότι ο σχεδιασμός ήταν ευκολότερος στην εξυπηρέτηση και της έδωσε την ευελιξία να χρησιμοποιεί NIC που δεν ήταν Nvidia. Οι μηχανικοί της θέλησαν να αποφύγουν την παράδοση περισσότερων δραστηριοτήτων στη Nvidia, ιδιαίτερα για τη δικτύωση, δεδομένου ότι υπήρχε ήδη μεγάλη εξάρτηση από την Nvidia για τις GPU.
Αλλά οι μεταγωγείς Broadcom δεν μπορούσαν να εξυπηρετηθούν ούτως ή άλλως και η στοίβα λογισμικού της Meta εξακολουθούσε να εξαρτιόταν από την έκδοση RoCE της Nvidia, το πρωτόκολλο δικτύωσης για την κίνηση GPU, οπότε η Meta δεν επρόκειτο ποτέ να αλλάξει ρεαλιστικά προμηθευτές NIC. Τελικά, η Meta πλήρωσε περισσότερα, είχε χειρότερο TCO, δεν μείωσε την εξάρτησή της από τον εξοπλισμό δικτύωσης Nvidia και αύξησε την εξάρτησή της από την Broadcom.
Το Grand Teton δεν ήταν ένα μοναδικό λάθος στο σχεδιασμό του διακομιστή. Αυτό συνεχίστηκε στη γενιά Blackwell με το προσαρμοσμένο rack GB200 Catalina της Meta, επίσης γνωστό ως «Ariel». Η Ariel έχει μία GPU Nvidia B200 σε συνδυασμό με μία Grace CPU, αντί για τις τυπικές δύο GPU B200 με μία Grace CPU στην κανονική SKU GB200 που αγόρασαν όλοι οι άλλοι. Η υλοποίηση αυτού ήταν απλή: η Ariel χρησιμοποίησε την τυπική πλακέτα υπολογιστών Bianca που χρησιμοποιήθηκε για GB200, με κάθε πλακέτα να είχε μια GPU κενή.
Οι μηχανικοί της Meta ανησυχούσαν για τη σταθερότητα του ενιαίου rack GB200 NVL72. Τα συστήματα NVL72 είναι πολύπλοκα και περιλαμβάνουν πράγματα όπως ένα χάλκινο backplane που είναι ο κεντρικός κόμβος όπου συνδέονται όλα τα τσιπ και μίλια πυκνών χάλκινων καλωδίων και χιλιάδες συνδέσεις μεταξύ των τσιπ και του backplane. Η Meta Infrastructure αρχικά στοιχημάτισε ότι μια διαμόρφωση NVL36x2 θα ήταν πιο σταθερή από την εκτέλεση του NVL72 εξ ολοκλήρου μέσω του backplane.
Επειδή η Ariel διαθέτει 36 GPU στο ένα rack, για να φτάσει στο παγκόσμιο μέγεθος των 72 chip, έπρεπε να είναι σε μορφή 36×2. Τα ACC με cross-rack συνέδεαν τους δίσκους διακοπτών μεταξύ των ραφιών. Αυτό σήμαινε διπλάσιος αριθμός διακοπτών, οι οποίοι ενώ πρόσθεταν επίσης ένα επιπλέον hop λανθάνοντος χρόνου.
Η Meta ήταν ο μόνος πελάτης αυτού του Ariel SKU και ο λόγος για αυτό είναι η εμμονή της Meta με υψηλότερη αναλογία CPU-GPU για τα συστήματα συστάσεών της («ή RecSys») που προτείνουν εξατομικευμένες διαφημίσεις και ροές δεδομένων. Το σκεπτικό είναι ότι το RecSys χρησιμοποιεί πολλούς πίνακες ενσωμάτωσης που αποθηκεύουν αναπαραστάσεις χρηστών, διαφημίσεων και περιεχομένου – απαιτούν πολλή επεξεργασία με CPU και η πρόσθετη μνήμη LPDDR από κάθε Grace μπορεί να αποθηκεύσει τις ενσωματώσεις που έχουν μικρές, διάσπαρτες αναγνώσεις, ώστε το εύρος ζώνης να μην είναι τόσο σημαντικό όσο η προβολή LLM.
Η άλλη πλευρά είναι ότι αυξάνοντας την αναλογία CPU και το πρόσθετο περιεχόμενο δικτύωσης NVLink λόγω της διαμόρφωσης 36×2, το capex του διακομιστή ανά GPU αυξάνεται. Το αποτέλεσμα είναι πολύ υψηλότερη χωρητικότητα και εύρος ζώνης $/FLOP και $/HBM από το τυπικό GB200. Αυτές είναι βασικές μετρήσεις για φόρτους εργασίας LLM/gen AI, καθιστώντας την Ariel πολύ χειρότερη για την εκπαίδευση και τα συμπεράσματα LLM. Συνολικά, όλοι οι υπολογισμοί μας δείχνουν ότι το TCO για τον διακομιστή Ariel NVL36x2 ήταν 14% υψηλότερο από το τυπικό GB200 NVL72. Όπως αναφέρθηκε, αυτή η πρόσθετη δαπάνη αφορούσε περισσότερο περιεχόμενο CPU και DRAM που δεν χρησιμοποιείται για τις ομάδες LLM. Αυτή η απόφαση κόστισε στη Meta δισεκατομμύρια δολάρια.
Αυτό για να μην αναφέρουμε τις πρόσθετες προκλήσεις πολυπλοκότητας και αξιοπιστίας δικτύου που προέκυψαν με την αναβάθμιση 2-hop με τα cross-rack ACC. Αυτές οι προκλήσεις ήταν γιατί ένας περιορισμένος αριθμός 36×2 αποστέλλεται για ορισμένους υπερκλιμακωτές μόνο για GB200, με τη διαμόρφωση 36×2 να έχει απορριφθεί εντελώς για τα GB300. Κατά ειρωνικό τρόπο, η Meta Infrastructure αρχικά πόνταρε ότι μια διαμόρφωση NVL36x2 θα ήταν πιο σταθερή από τη NVL72 εξ ολοκλήρου μέσω του backplane. Ενώ το backplane ήταν μια αρχική πηγή προβλημάτων αξιοπιστίας, το backplane είναι πλέον πολύ πιο ώριμο και έχει κερδίσει την καλωδίωση cross-rack. Η εταιρεία υποτίμησε τα προβλήματα της καλωδίωσης cross-rack με τη σχεδίαση 36×2 και υπερεκτίμησε τη δυσκολία να λειτουργήσει το backplane με το NVL72. Δεν υπήρχε πλεονέκτημα αξιοπιστίας backplane από 36 GPU σε 1 rack.
Επειδή καταλαβαίνουμε ότι ολόκληρος ο στόλος GB200 της Meta βρισκόταν σε αυτό το Ariel SKU, αυτή η «βελτιστοποίηση» άφησε τις ομάδες LLM της Meta να επιβαρύνονται με ένα κατώτερο σύστημα από το τυπικό SKU που αγόρασαν οι ανταγωνιστές της Meta. Αυτό είναι ιδιαίτερα τσουχτερό καθώς το GB200 ήταν το κορυφαίο σύστημα για τη γενιά AI εκείνη την εποχή. Όπως ήταν αναμενόμενο, δεν υπάρχει πλέον Ariel για διακομιστές τύπου GB300 της Meta και η Meta αγοράζει την κανονική διαμόρφωση.
Ωστόσο, το βλέπουμε τώρα να εμφανίζεται ξανά με το MI450X της AMD. Στην κλήση κερδών της AMD για το πρώτο τρίμηνο του 2026, η Lisa Su επιβεβαίωσε ότι η AMD παρέχει στη Meta μια προσαρμοσμένη GPU βασισμένη στο MI450. Το έχουμε αναφέρει εδώ και πολλούς μήνες στο Μοντέλο επιταχυντή. Αυτό το προσαρμοσμένο Meta MI450 είναι μια κομμένη έκδοση του πλήρους MI450X με το ήμισυ του υπολογιστικού πυριτίου ανά συσκευασία και τον αριθμό των στοίβων HBM. Το HBM4 υποβαθμίζεται επίσης σε 8-Hi HBM vs 12-Hi in το τυπικό SKU. Δεδομένου ότι το rack Helios της Meta έχει τον ίδιο αριθμό διακοπτών, υποθέτουμε ότι η ποσότητα εισόδου/εξόδου είναι η ίδια.
Μειώνοντας στο μισό το πυρίτιο υπολογιστών και μνήμης, ο στόχος είναι να επιτευχθεί υψηλότερος λόγος υπολογισμού CPU προς GPU όπως η Ariel. Η AMD MI450 θα είναι η πιο προηγμένη GPU στην αγορά όσον αφορά τη μηχανική πυριτίου: 2nm, υβριδική σύνδεση, 12 στοίβες HBM, με το μεγαλύτερο μέγεθος πλέγματος CoWoS στην αγορά. Αυτό έχει ως αποτέλεσμα την υψηλότερη πυκνότητα υπολογισμού και μνήμης ανά τσιπ.
Η επιλογή του Meta να κόψει στη μέση αυτό το θαύμα της μηχανικής αμβλύνει εντελώς την πρόταση. Αυτή η διαμόρφωση τσιπ προορίζεται για φόρτους εργασίας Recsys και ήταν κάτι που αποφάσισαν οι ομάδες υποδομής της Recsys. Ωστόσο, η απόφαση λήφθηκε πριν από τη σύσταση του TBD Lab ή πριν μπορούσε να πει τον λόγο του. Δεδομένης της σημαντικής ανεπάρκειας υπολογισμού και HBM για τον τομέα κλιμάκωσης έναντι του Rubin, το TBD δεν ενδιαφέρεται για αυτό το σύστημα, ούτε είναι ελκυστικό για εξωτερικούς πελάτες.
Αυτή η απόφαση πρόκειται να ρίξει πυρηνικά τον όγκο της AMD στο Meta, επειδή η TBD θα προτιμήσει πολύ τη Rubin εάν επιλεγεί το μισό σχέδιο MI450. Η AMD πρέπει να παρέμβει, να φορέσει το μεγάλο της παντελόνι και να συνεργαστεί απευθείας με τις ομάδες στο TBD για να βεβαιωθεί ότι θα έχουν την κανονική MI450 αντί για την προσαρμοσμένη έκδοση Meta που είναι τρομερή για την GenAI. Το κανονικό MI450 θα είναι πραγματικά ανταγωνιστικό με το Vera Rubin της Nvidia.
Αυτή είναι μια δημόσια κατακραυγή από εμάς για τη Meta και την AMD να μην σπαταλούν το πυρίτιο και να έχουν καλύτερη πιο αποτελεσματική και οικονομικά αποδοτική υποδομή τεχνητής νοημοσύνης. Εάν γίνει αυτή η αλλαγή, πιστεύουμε ότι η TBD θα σκεφτόταν πραγματικά να χρησιμοποιήσει το MI450.
Τόσο για το διάταγμα του Ζούκερμπεργκ. Στη συνέχεια θα εξετάσουμε την περίτεχνη και ακριβή αρχιτεκτονική δικτύωσης DSF της Meta και γιατί η Meta απομακρύνθηκε γρήγορα. Θα συζητήσουμε επίσης πώς μπορεί να διορθωθεί αυτή η κουλτούρα.
