Το TorchNeuron είναι η νέα κίνηση της Amazon απέναντι στην κυριαρχία της NVIDIA στην αγορά επεξεργαστών τεχνητής νοημοσύνης. Η εταιρεία παρουσίασε μια λύση που επιτρέπει στους προγραμματιστές να εκτελούν εφαρμογές PyTorch στους δικούς της επεξεργαστές AWS Trainium, χωρίς να χρειάζεται να ξαναγράψουν μεγάλο μέρος του κώδικά τους. Το λογισμικό προγραμματίστηκε να διατεθεί σήμερα, 20 Οκτωβρίου, ως open-source public beta, με την Amazon να επιχειρεί να αφαιρέσει ένα από τα σημαντικότερα εμπόδια στην υιοθέτηση εναλλακτικού AI hardware.
Η εξέλιξη έχει ιδιαίτερη σημασία για την αγορά των data centers, όπου η NVIDIA διατηρεί ισχυρό πλεονέκτημα όχι μόνο χάρη στις επιδόσεις των GPUs της, αλλά και στο οικοσύστημα CUDA που έχει αναπτύξει επί περισσότερο από μία δεκαετία. Με το TorchNeuron, η Amazon επιδιώκει να προσφέρει στις επιχειρήσεις μεγαλύτερη ελευθερία επιλογής επεξεργαστών, περιορίζοντας τον χρόνο και το κόστος που απαιτούνται για τη μεταφορά εφαρμογών τεχνητής νοημοσύνης σε διαφορετικές υποδομές.
Γιατί η συμβατότητα με το PyTorch αλλάζει τα δεδομένα
Το PyTorch αποτελεί ένα από τα σημαντικότερα open-source frameworks για την ανάπτυξη, εκπαίδευση και λειτουργία μοντέλων τεχνητής νοημοσύνης.
Σύμφωνα με την Amazon, χρησιμοποιείται από περίπου το 85% των ερευνητών και προγραμματιστών AI. Η ευρεία υιοθέτησή του έχει δημιουργήσει ένα τεράστιο οικοσύστημα εργαλείων, βιβλιοθηκών και εφαρμογών.
Παρότι το PyTorch μπορεί να υποστηρίζει διαφορετικούς επεξεργαστές, η αποτελεσματική αξιοποίηση νέου hardware δεν είναι πάντα απλή υπόθεση. Συχνά απαιτεί προσαρμογές, ειδικές βιβλιοθήκες και πρόσθετες δοκιμές για να επιβεβαιωθεί ότι τα μοντέλα συνεχίζουν να λειτουργούν σωστά.
Το TorchNeuron αντιμετωπίζει αυτό ακριβώς το πρόβλημα, χρησιμοποιώντας τους υπάρχοντες μηχανισμούς επέκτασης του PyTorch για να αναγνωρίζει τους επεξεργαστές Trainium ως κανονικές υπολογιστικές συσκευές.
Έτσι, πολλές εφαρμογές μπορούν να μεταφερθούν με μια απλή αλλαγή στον ορισμό του επεξεργαστή, αντί να απαιτείται εκτεταμένη τροποποίηση του κώδικα.
Πώς λειτουργεί το TorchNeuron στους επεξεργαστές Trainium
Η νέα τεχνολογία υποστηρίζει τους AWS Trainium2 και Trainium3, τους εξειδικευμένους επεξεργαστές που έχει αναπτύξει η Amazon για εργασίες τεχνητής νοημοσύνης.
Στην πράξη, ένας προγραμματιστής μπορεί να αντικαταστήσει την επιλογή cuda με neuron στον κώδικα PyTorch, ώστε το μοντέλο να χρησιμοποιήσει το διαθέσιμο Trainium hardware.
Υποστηρίζονται τόσο η άμεση εκτέλεση εντολών μέσω eager mode, που διευκολύνει την ανάπτυξη και τον εντοπισμό σφαλμάτων, όσο και η μεταγλώττιση μέσω torch.compile για καλύτερη αξιοποίηση της υπολογιστικής ισχύος.
Το TorchNeuron συνεργάζεται επίσης με εργαλεία κατανεμημένης εκπαίδευσης, όπως το TorchTitan, επιτρέποντας την εκτέλεση μεγάλων μοντέλων σε πολλούς επεξεργαστές.
Η συμβατότητα, ωστόσο, δεν είναι απόλυτη. Ορισμένες λειτουργίες ή εξειδικευμένες εφαρμογές μπορεί να χρειάζονται πρόσθετες προσαρμογές, ενώ η επίτευξη της βέλτιστης απόδοσης ενδέχεται να απαιτεί ειδικές βελτιστοποιήσεις.
Η πραγματική πρόκληση για τη NVIDIA
Η μεγαλύτερη απειλή για τη NVIDIA δεν προέρχεται απαραίτητα από έναν ταχύτερο ανταγωνιστικό επεξεργαστή, αλλά από τη σταδιακή μείωση της εξάρτησης των προγραμματιστών από το λογισμικό της.
Το CUDA αποτελεί βασικό πλεονέκτημα της NVIDIA, καθώς επιτρέπει στις επιχειρήσεις να αξιοποιούν ώριμα εργαλεία και βιβλιοθήκες που έχουν αναπτυχθεί ειδικά για τις GPUs της.
Αυτή η ευκολία δημιουργεί υψηλό κόστος μετάβασης σε διαφορετικό hardware, ακόμη και όταν υπάρχουν οικονομικότερες εναλλακτικές.
Η Amazon επιχειρεί να μειώσει αυτό το εμπόδιο. Εάν οι εταιρείες μπορούν να αξιοποιούν τα ίδια μοντέλα AI σε διαφορετικούς επεξεργαστές, αποκτούν μεγαλύτερη διαπραγματευτική ισχύ και περισσότερες επιλογές ως προς το κόστος λειτουργίας.
Αυτό δεν σημαίνει ότι οι Trainium θα αντικαταστήσουν άμεσα τις GPUs της NVIDIA. Η πραγματική ανταγωνιστικότητα εξαρτάται από τις επιδόσεις, την κατανάλωση ενέργειας, τη διαθεσιμότητα και το συνολικό κόστος κάθε εφαρμογής.
Από φωνητικούς βοηθούς έως την ανακάλυψη φαρμάκων
Το TorchNeuron χρησιμοποιείται ήδη δοκιμαστικά από περισσότερους από 30 πρώτους πελάτες, σύμφωνα με στοιχεία που παρουσίασε η Amazon.
Η Cartesia αξιοποιεί τη νέα υποστήριξη PyTorch για εφαρμογές φωνητικής τεχνητής νοημοσύνης, όπου η χαμηλή καθυστέρηση είναι καθοριστική για την ποιότητα της εμπειρίας.
Η Deepgram ανέφερε ότι, στις δικές της δοκιμές, οι επεξεργαστές Trainium διαχειρίστηκαν περίπου 60% περισσότερο ηχητικό περιεχόμενο ανά δολάριο σε σύγκριση με τις προηγούμενες υποδομές GPU που χρησιμοποιούσε. Πρόκειται για αποτέλεσμα συγκεκριμένων δοκιμών και όχι για γενική σύγκριση όλων των επεξεργαστών.
Στον επιστημονικό τομέα, το Lieber Institute for Brain Development εξετάζει τη χρήση της τεχνολογίας σε υπολογιστικά απαιτητικές εφαρμογές μοριακής προσομοίωσης και αναζήτησης πιθανών φαρμακευτικών στόχων.
Παράλληλα, η Hugging Face έχει ενσωματώσει υποστήριξη Trainium σε εργαλεία όπως τα Transformers και Diffusers, διευκολύνοντας την αξιοποίηση μοντέλων γλώσσας, εικόνας και βίντεο.
Open source και το επόμενο βήμα στην αγορά AI
Η Amazon επέλεξε να διαθέσει το TorchNeuron με άδεια Apache 2.0, επιτρέποντας σε προγραμματιστές και επιχειρήσεις να εξετάζουν, να χρησιμοποιούν και να τροποποιούν τον κώδικά του.
Η δημόσια beta έκδοση παρουσιάζεται στο PyTorch Conference North America στις 20 Οκτωβρίου, ενώ η εταιρεία συνεργάζεται με την κοινότητα του PyTorch για τη μείωση της εξάρτησης από συγκεκριμένες αρχιτεκτονικές επεξεργαστών.
Για την Amazon, η κίνηση αυτή εντάσσεται σε μια μακροπρόθεσμη στρατηγική ανάπτυξης δικών της chips, με στόχο να μειώσει την εξάρτηση του AWS από εξωτερικούς κατασκευαστές και να προσφέρει ανταγωνιστικότερες υπηρεσίες AI.
Το TorchNeuron δεν καταργεί την ανάγκη τεχνικής αξιολόγησης πριν από μια μετάβαση. Αφαιρεί όμως ένα σημαντικό πρακτικό εμπόδιο, επιτρέποντας σε περισσότερους προγραμματιστές να δοκιμάσουν τους Trainium χωρίς να ξεκινήσουν την ανάπτυξη των εφαρμογών τους από την αρχή.
Και αυτό μπορεί να αποδειχθεί εξίσου σημαντικό με την αύξηση της υπολογιστικής ισχύος στην επόμενη φάση του ανταγωνισμού για την τεχνητή νοημοσύνη.
