As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Tipos e estruturas de instância compatíveis
SageMaker O Amazon Neo oferece suporte a estruturas populares de aprendizado profundo para compilação e implantação. Você pode implantar seu modelo em instâncias de nuvem, tipos de instância de Inferentia da AWS ou aceleradores Amazon Elastic Inference.
A seguir, descrevemos as estruturas suportadas pelo SageMaker Neo e as instâncias de nuvem de destino nas quais você pode compilar e implantar. Para obter informações sobre como implantar seu modelo compilado em uma instância de nuvem ou Inferentia, consulte Implantar um modelo com instâncias de nuvem. Para obter informações sobre como implantar seu modelo compilado com os aceleradores do Elastic Inference, consulte Use EI em endpoints SageMaker hospedados pela Amazon.
Instâncias de nuvem
SageMaker O Neo oferece suporte às seguintes estruturas de aprendizado profundo para instâncias de nuvem de CPU e GPU:
| Framework | Versão da estrutura | Versão do modelo | Modelos | Formatos de modelo (empacotados em *.tar.gz) | Kits de ferramentas |
|---|---|---|---|---|---|
| MXNet | 1.8.0 | Compatível com 1.8.0 ou anterior | Classificação de imagens, detecção de objetos, segmentação semântica, estimativa de pose, reconhecimento de atividades | Um arquivo de símbolos (.json) e um arquivo de parâmetros (.params) | GluonCV v0.8.0 |
| ONNX | 1.7.0 | Compatível com 1.7.0 ou anterior | Classificação de imagens, SVM | Um arquivo de modelo (.onnx) | |
| Keras | 2.2.4 | Compatível com 2.2.4 ou anterior | Classificação de imagens | Um arquivo de definição de modelo (.h5) | |
| PyTorch | 1.4, 1.5, 1.6, 1.7, 1.8, 1.12, 1.13, ou 2.0 | Compatível com 1.4, 1.5, 1.6, 1.7, 1.8, 1.12, 1.13, e 2.0 |
Classificação de imagens As versões 1.13 e 2.0 suportam Detecção de Objetos, Transformador de Visão e HuggingFace |
Um arquivo de definição de modelo (.pt ou .pth) com dtype de entrada de float32 | |
| TensorFlow | 1.15.3 ou 2.9 | Compatível com 1.15.3 e 2.9 | Classificação de imagens | Para os modelos salvos, um arquivo .pb ou um arquivo .pbtxt e um diretório de variáveis que contenha variáveis Para modelos congelados, apenas um arquivo .pb ou .pbtxt |
|
| XGBoost | 1.3.3 | Compatível com 1.3.3 ou anterior | Árvores de decisão | Um arquivo de modelo XGBoost (.model) em que o número de nós em uma árvore é menor que 2^31 |
nota
“Versão do modelo” é a versão da estrutura usada para treinar e exportar o modelo.
Instance Types (Tipos de instâncias)
Você pode implantar seu modelo SageMaker compilado em uma das instâncias de nuvem listadas abaixo:
| Instância | Tipo de computação |
|---|---|
|
Padrão |
|
Padrão |
|
Padrão |
|
Padrão |
|
Computação acelerada |
|
Computação acelerada |
|
Computação acelerada |
Para obter informações sobre a vCPU, a memória e o preço por hora disponíveis para cada tipo de instância, consulte Amazon SageMaker
nota
Ao compilar para ml_* instâncias usando a PyTorch estrutura, use o campo de opções do compilador na Configuração de saída para fornecer o tipo de dados correto (dtype) da entrada do modelo.
O padrão é definido como "float32".
AWS Inferência
SageMaker O Neo oferece suporte às seguintes estruturas de aprendizado profundo para o Inf1:
| Framework | Versão da estrutura | Versão do modelo | Modelos | Formatos de modelo (empacotados em *.tar.gz) | Kits de ferramentas |
|---|---|---|---|---|---|
| MXNet | 1.5 or 1.8 | Compatível com 1.8, 1.5 ou anterior | Classificação de imagens, detecção de objetos, segmentação semântica, estimativa de pose, reconhecimento de atividades | Um arquivo de símbolos (.json) e um arquivo de parâmetros (.params) | GluonCV v0.8.0 |
| PyTorch | 1.7, 1.8 or 1.9 | Compatível com 1.9 ou anterior | Classificação de imagens | Um arquivo de definição de modelo (.pt ou .pth) com dtype de entrada de float32 | |
| TensorFlow | 1.15 ou 2.5 | Compatível com 2.5, 1.15 ou anterior | Classificação de imagens | Para os modelos salvos, um arquivo .pb ou um arquivo .pbtxt e um diretório de variáveis que contenha variáveis Para modelos congelados, apenas um arquivo .pb ou .pbtxt |
nota
“Versão do modelo” é a versão da estrutura usada para treinar e exportar o modelo.
Você pode implantar seu modelo SageMaker compilado pelo NEO em instâncias Amazon EC2 AWS Inf1 baseadas em Inferencia. AWS O Inferentia é o primeiro chip de silício personalizado da Amazon projetado para acelerar o aprendizado profundo. Atualmente, você pode usar a instância ml_inf1 para implantar seus modelos compilados.
AWS Inferentia2 e Trainium AWS
Atualmente, você pode implantar seu modelo SageMaker neocompilado em instâncias Amazon EC2 AWS Inf2 baseadas em Inferentia2 (na região Leste dos EUA (Ohio)) e em instâncias Amazon EC2 Trn1 AWS baseadas em Trainium (na região Leste dos EUA (Norte da Virgínia)). Para obter mais informações sobre os modelos compatíveis nessas instâncias, consulte as Diretrizes de ajuste da arquitetura de modelos
Amazon Elastic Inference
SageMaker O Neo oferece suporte às seguintes estruturas de aprendizado profundo para Elastic Inference:
| Framework | Versão da estrutura | Versão do modelo | Modelos | Formatos de modelo (empacotados em *.tar.gz) |
|---|---|---|---|---|
| TensorFlow | 2.3.2 | Compatível com 2.3 | Classificação de imagens, detecção de objetos, segmentação semântica, estimativa de pose, reconhecimento de atividades | Para os modelos salvos, um arquivo .pb ou um arquivo .pbtxt e um diretório de variáveis que contenha variáveis. Para modelos congelados, apenas um arquivo .pb ou .pbtxt. |
Você pode implantar seu modelo SageMaker compilado pelo NEO em um Elastic Inference Accelerator. Para ter mais informações, consulte Use EI em endpoints SageMaker hospedados pela Amazon.