Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Tipi di istanze e framework supportati
Amazon SageMaker Neo supporta i più diffusi framework di deep learning sia per la compilazione che per la distribuzione. Puoi distribuire il tuo modello su istanze cloud, tipi di istanze AWS Inferentia o acceleratori Amazon Inferenza elastica.
Di seguito vengono descritti i framework supportati da SageMaker Neo e le istanze cloud di destinazione su cui è possibile compilare e distribuire. Per informazioni su come distribuire il modello compilato su un'istanza cloud o Inferentia, consulta Distribuire un modello con istanze cloud. Per informazioni su come distribuire il modello compilato con gli acceleratori Inferenza elastica, consulta Usa EI su Amazon SageMaker Hosted Endpoint.
Istanze cloud
SageMaker Neo supporta i seguenti framework di deep learning per istanze cloud CPU e GPU:
| Framework | Versione di Framework | Versioni del modello | Modelli | Formati di modelli (pacchettizzati in *.tar.gz) | Kit di strumenti |
|---|---|---|---|---|---|
| MXNet | 1.8.0 | Supporta 1.8.0 o versioni precedenti | Classificazione delle immagini, Rilevamento di oggetti, Segmentazione semantica, Stima della posa, Riconoscimento delle attività | Un file di simboli (.json) e un file di parametri (.params) | GluonCV versione 0.8.0 |
| ONNX | 1.7.0 | Supporta 1.7.0 o versioni precedenti | Classificazione immagine, SVM | Un file di modello (.onnx) | |
| Keras | 2.2.4 | Supporta 2.2.4 o versioni precedenti | Classificazione delle immagini | Un file di definizione del modello (.h5) | |
| PyTorch | 1.4, 1.5, 1.6, 1.7, 1.8, 1,12, 1,13 o 2.0 | Supports 1.4, 1.5, 1.6, 1.7, 1.8, 1.12, 1.13 e 2.0 |
Classificazione delle immagini Le versioni 1.13 e 2.0 supportano Object Detection, Vision Transformer e HuggingFace |
Un file di definizione del modello (.pt o .pth) con input dtype float32 | |
| TensorFlow | 1.15.3 o 2.9 | Supporta 1.15.3 e 2.9 | Classificazione delle immagini | Per i modelli salvati, un file .pb o .pbtxt e una directory delle variabili che contiene variabili Per i modelli bloccati, un file .pb o.pbtxt |
|
| XGBoost | 1.3.3 | Supporta 1.3.3 o versioni precedenti | Alberi decisionali | Un file di modello XGBoost (.model) in cui il numero di nodi in un albero è inferiore a 2^31 |
Nota
“Versione del modello” è la versione del framework utilizzata per addestrare ed esportare il modello.
Tipi di istanza
Puoi distribuire il modello SageMaker compilato su una delle istanze cloud elencate di seguito:
| Istanza | Tipo di calcolo |
|---|---|
|
Standard |
|
Standard |
|
Standard |
|
Standard |
|
Accelerazione informatica |
|
Accelerazione informatica |
|
Accelerazione informatica |
Per informazioni sulla vCPU, sulla memoria e sul prezzo orario disponibili per ogni tipo di istanza, consulta la pagina dei prezzi di Amazon SageMaker
Nota
Durante la compilazione di ml_* istanze utilizzando il PyTorch framework, utilizza il campo delle opzioni del compilatore nella configurazione di output per fornire il tipo di dati corretto (dtype) dell'input del modello.
Il valore predefinito è impostato su "float32".
AWS Inferentia
SageMaker Neo supporta i seguenti framework di deep learning per Inf1:
| Framework | Versione di Framework | Versioni del modello | Modelli | Formati di modelli (pacchettizzati in *.tar.gz) | Kit di strumenti |
|---|---|---|---|---|---|
| MXNet | 1.5 o 1.8 | Supporta 1.8, 1.5 e versioni precedenti | Classificazione delle immagini, Rilevamento di oggetti, Segmentazione semantica, Stima della posa, Riconoscimento delle attività | Un file di simboli (.json) e un file di parametri (.params) | GluonCV versione 0.8.0 |
| PyTorch | 1.7, 1.8 o 1.9 | Supporta 1.9 e versioni precedenti | Classificazione delle immagini | Un file di definizione del modello (.pt o .pth) con input dtype float32 | |
| TensorFlow | 1.15 o 2.5 | Supporta 2.5, 1.15 e versioni precedenti | Classificazione delle immagini | Per i modelli salvati, un file .pb o .pbtxt e una directory delle variabili che contiene variabili Per i modelli bloccati, un file .pb o.pbtxt |
Nota
“Versione del modello” è la versione del framework utilizzata per addestrare ed esportare il modello.
Puoi distribuire il tuo modello SageMaker NEO-compilato su istanze Amazon EC2 Inf1 AWS basate su Inferenza. AWS Inferentia è il primo chip in silicio personalizzato di Amazon progettato per accelerare il deep learning. Attualmente, puoi utilizzare l'istanza ml_inf1 per distribuire i tuoi modelli compilati.
AWS Inferentia2 e Trainium AWS
Attualmente, puoi distribuire il tuo modello SageMaker NEO-compilato su istanze Amazon EC2 AWS Inf2 basate su Inferentia2 (nella regione Stati Uniti orientali (Ohio)) e AWS su istanze Amazon EC2 Trn1 basate su Trainium (nella regione Stati Uniti orientali (Virginia settentrionale)). Per ulteriori informazioni sui modelli supportati su queste istanze, consulta le linee guida per l'adattamento dell'architettura dei modelli
Amazon Elastic Inference
SageMaker Neo supporta i seguenti framework di deep learning per Elastic Inference:
| Framework | Versione di Framework | Versioni del modello | Modelli | Formati di modelli (pacchettizzati in *.tar.gz) |
|---|---|---|---|---|
| TensorFlow | 2.3.2 | Supporta 2.3 | Classificazione delle immagini, Rilevamento di oggetti, Segmentazione semantica, Stima della posa, Riconoscimento delle attività | Per i modelli salvati, un file .pb o .pbtxt e una directory delle variabili che contiene variabili. Per i modelli bloccati, un file .pb o.pbtxt. |
Puoi distribuire il tuo modello SageMaker NEO-compilato su un Elastic Inference Accelerator. Per ulteriori informazioni, consulta Usa EI su Amazon SageMaker Hosted Endpoint.