PyTorch ha annunciato TorchNeuron, un backend nativo che fa apparire AWS Trainium come un normale dispositivo PyTorch. La nuova libreria consente agli sviluppatori di trasferire un modello su Trainium con il semplice comando .to('neuron') e di usare torch.compile per ottenere prestazioni adatte alla produzione. Supporta l’esecuzione eager, la modalità eager adattiva e kernel personalizzati tramite Neuron Kernel Interface. Il codice sarà rilasciato come open source con licenza Apache 2.0 e la beta pubblica partirà il 20 ottobre.
Perché conta
I ricercatori possono usare lo stesso codice PyTorch per sfruttare la velocità di Trainium, senza riscrivere i propri flussi di lavoro.
