Che cos'è Training Compiler? SageMaker Come funziona

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Compilatore SageMaker di formazione Amazon

Importante

Amazon Web Services (AWS) annuncia che non ci saranno nuove release o versioni di SageMaker Training Compiler. Puoi continuare a utilizzare SageMaker Training Compiler tramite i AWS Deep Learning Containers (DLC) esistenti per la formazione. SageMaker È importante notare che, sebbene i DLC esistenti rimangano accessibili, non riceveranno più patch o aggiornamenti da AWS, in conformità con la politica di supporto del AWS Deep Learning Containers Framework.

Usa Amazon SageMaker Training Compiler per addestrare modelli di deep learning (DL) più velocemente su istanze GPU scalabili gestite da. SageMaker

Che cos'è Training Compiler? SageMaker

I modelli di tate-of-the-art deep learning (DL) sono costituiti da complesse reti neurali multilivello con miliardi di parametri che possono richiedere migliaia di ore di formazione della GPU. L'ottimizzazione di tali modelli sull'infrastruttura di addestramento richiede una conoscenza approfondita del DL e dell'ingegneria dei sistemi, il che risulta impegnativo anche per casi d'uso ristretti. Sebbene esistano implementazioni open source di compilatori che ottimizzano il processo di addestramento DL, questi potrebbero non avere la flessibilità necessaria per integrare i framework DL con alcuni hardware, come le istanze della GPU.

SageMaker Training Compiler è una funzionalità SageMaker che effettua queste hard-to-implement ottimizzazioni per ridurre i tempi di addestramento sulle istanze GPU. Il compilatore ottimizza i modelli DL per accelerare l'addestramento utilizzando in modo più efficiente le istanze GPU di SageMaker machine learning (ML). SageMaker Training Compiler è disponibile all'interno senza costi aggiuntivi SageMaker e può aiutare a ridurre il tempo totale fatturabile in quanto accelera la formazione.

SageMaker Training Compiler è integrato nei AWS Deep Learning Containers (DLC). Utilizzando i AWS DLC compatibili con SageMaker Training Compiler, puoi compilare e ottimizzare i lavori di formazione su istanze GPU con modifiche minime al codice. Implementa i tuoi modelli di deep learning SageMaker e consenti a SageMaker Training Compiler di accelerare la velocità del tuo processo di formazione sulle istanze di machine learning per un calcolo accelerato. SageMaker

Come funziona

SageMaker Training Compiler converte i modelli DL dalla loro rappresentazione linguistica di alto livello a istruzioni ottimizzate per l'hardware. In particolare, SageMaker Training Compiler applica ottimizzazioni a livello di grafico, ottimizzazioni a livello di flusso di dati e ottimizzazioni di backend per produrre un modello ottimizzato che utilizzi in modo efficiente le risorse hardware. Di conseguenza, è possibile addestrare i modelli più velocemente rispetto a quando lo si fa senza compilazione.

L'attivazione di Training Compiler per il tuo lavoro di formazione prevede due fasi: SageMaker

  1. Porta il tuo script DL e, se necessario, adattalo alla compilazione e all'addestramento con SageMaker Training Compiler. Per ulteriori informazioni, consulta Portare il proprio modello di deep learning.

  2. Crea un oggetto SageMaker estimatore con il parametro di configurazione del compilatore utilizzando Python SDK SageMaker .

    1. Attiva SageMaker Training Compiler compiler_config=TrainingCompilerConfig() aggiungendolo alla classe estimator. SageMaker

    2. Modifica gli iperparametri (batch_sizeelearning_rate) per massimizzare i vantaggi offerti da Training Compiler. SageMaker

      La compilazione tramite SageMaker Training Compiler modifica l'impronta di memoria del modello. Più comunemente, ciò si manifesta come una riduzione dell'utilizzo della memoria e un conseguente aumento delle dimensioni del batch più grande che può essere contenuto dalla GPU. In alcuni casi, il compilatore promuove in modo intelligente la memorizzazione nella cache, il che porta a una riduzione della dimensione del batch più grande che può essere contenuto dalla GPU. Tenere presente che, se si desidera modificare le dimensioni del batch, è necessario regolare il tasso di apprendimento in modo appropriato.

      Per un riferimento ai modelli batch_size testati per i modelli più diffusi, vedereModelli testati.

      Quando si modificano le dimensioni del batch è necessario modificare anche il learning_rate in modo appropriato. Per le migliori pratiche per regolare il tasso di addestramento insieme alla modifica delle dimensioni del batch, consultare SageMaker Buone pratiche e considerazioni su Training Compiler.

    3. Eseguendo il metodo della estimator.fit() classe, SageMaker compila il modello e avvia il processo di formazione.

    Per istruzioni sull'avvio di un processo di addestramento, consultare Abilita SageMaker Training Compiler.

SageMaker Training Compiler non altera il modello finale addestrato, ma consente al contempo di accelerare il processo di formazione utilizzando in modo più efficiente la memoria della GPU e adattando batch di dimensioni maggiori per iterazione. Il modello finale addestrato dal processo di addestramento accelerato dal compilatore è identico a quello del normale processo di addestramento.

Suggerimento

SageMaker Training Compiler compila solo modelli DL per l'addestramento su istanze GPU supportate gestite da. SageMaker Per compilare il tuo modello per l'inferenza e distribuirlo per eseguirlo ovunque nel cloud e all'edge, usa il compilatore Neo. SageMaker

Argomenti