Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Unterstützte Instance-Typen und Frameworks
Amazon SageMaker Neo unterstützt beliebte Deep-Learning-Frameworks sowohl für die Kompilierung als auch für die Bereitstellung. Sie können Ihr Modell auf Cloud-Instances, AWS Inferentia-Instance-Typen oder Amazon Elastic Inference-Beschleunigern bereitstellen.
Im Folgenden werden Frameworks beschrieben, die SageMaker Neo unterstützt, sowie die Ziel-Cloud-Instances, für die Sie kompilieren und bereitstellen können. Informationen zur Bereitstellung Ihres kompilierten Modells in einer Cloud- oder Inferentia-Instace finden Sie unter Bereitstellen eines Modells mit Cloud-Instances. Informationen zur Bereitstellung Ihres kompilierten Modells mit Elastic Inference Acceleratoren finden Sie unter Verwenden Sie EI auf Amazon SageMaker Hosted Endpoints.
Cloud-Instances
SageMaker Neo unterstützt die folgenden Deep-Learning-Frameworks für CPU- und GPU-Cloud-Instances:
| Framework | Framework-Version | Modellversion | Modelle | Modellformate (in *.tar.gz verpackt) | Toolkits |
|---|---|---|---|---|---|
| MXNet | 1.8.0 | Unterstützt 1.8.0 oder früher | Image-Klassifizierung, Objekterkennung, semantische Segmentierung, Posenschätzung, Aktivitätserkennung | MXNET: Neo erwartet eine einzelne Symboldatei (.json) und eine einzelne Parameterdatei (.params) | GluonCV v0.8.0 |
| ONNX | 1.7.0 | Unterstützt 1.7.0 oder früher | Image-Klassifizierung, SVM | Eine Modelldatei (.onnx) | |
| Keras | 2.2.4 | Unterstützt 2.2.4 oder früher | Bildklassifizierung | Eine Modelldefinitionsdatei (.h5) | |
| PyTorch | 1.4, 1.5, 1.6, 1.7, 1.8, 1.12, 1.13 oder 2.0 | Unterstützt 1.4, 1.5, 1.6, 1.7, 1.8, 1.12, 1.13 und 2.0 |
Bildklassifizierung Die Versionen 1.13 und 2.0 unterstützen Objekterkennung, Vision Transformer und HuggingFace |
Eine Modelldefinitionsdatei (.pt oder .pth) mit dem Eingabetyp dtype von float32 | |
| TensorFlow | 1.15.3 oder 2.9 | Unterstützt 1.15.3 und 2.9 | Bildklassifizierung | Für gespeicherte Modelle eine .pb- oder eine .pbtxt-Datei und ein Variablenverzeichnis, das Variablen enthält Bei gefrorenen Modellen nur eine .pb- oder .pbtxt-Datei |
|
| XGBoost | 1.3.3 | Unterstützt 1.3.3 oder früher | Entscheidungsbäume | Eine XGBoost-Modelldatei (.model), in der die Anzahl der Knoten in einem Baum weniger als 2^31 beträgt |
Anmerkung
„Modellversion“ ist die Version des Frameworks, das zum Schulen und Exportieren des Modells verwendet wird.
Instance-Typen
Sie können Ihr SageMaker kompiliertes Modell auf einer der unten aufgeführten Cloud-Instances bereitstellen:
| Instance | Datenverarbeitungstyp |
|---|---|
|
Standard |
|
Standard |
|
Standard |
|
Standard |
|
Beschleunigtes Computing |
|
Beschleunigtes Computing |
|
Beschleunigtes Computing |
Informationen zur verfügbaren vCPU, zum Arbeitsspeicher und zum Preis pro Stunde für jeden Instance-Typ finden Sie unter Amazon- SageMaker Preise
Anmerkung
Verwenden Sie beim Kompilieren für ml_* Instances mit PyTorch Framework das Feld Compiler-Optionen in der Ausgabekonfiguration, um den richtigen Datentyp (dtype) der Eingabe des Modells bereitzustellen.
Der Standard ist auf "float32" gesetzt.
AWS Inferenz
SageMaker Neo unterstützt die folgenden Deep-Learning-Frameworks für Inf1:
| Framework | Framework-Version | Modellversion | Modelle | Modellformate (in *.tar.gz verpackt) | Toolkits |
|---|---|---|---|---|---|
| MXNet | 1.5 oder 1.8 | Unterstützt 1.8, 1.5 und früher | Bildklassifizierung, Objekterkennung, semantische Segmentierung, Posenschätzung, Aktivitätserkennung | MXNET: Neo erwartet eine einzelne Symboldatei (.json) und eine einzelne Parameterdatei (.params) | GluonCV v0.8.0 |
| PyTorch | 1.7, 1.8 oder 1.9 | Unterstützt 1.9 und früher | Bildklassifizierung | Eine Modelldefinitionsdatei (.pt oder .pth) mit dem Eingabetyp dtype von float32 | |
| TensorFlow | 1.15 oder 2.5 | Unterstützt 2.5, 1.15 und früher | Bildklassifizierung | Für gespeicherte Modelle eine .pb- oder eine .pbtxt-Datei und ein Variablenverzeichnis, das Variablen enthält Bei gefrorenen Modellen nur eine .pb- oder .pbtxt-Datei |
Anmerkung
„Modellversion“ ist die Version des Frameworks, das zum Schulen und Exportieren des Modells verwendet wird.
Sie können Ihr SageMaker Neo-kompiliertes Modell auf AWS Inferentia-basierten Amazon EC2-Inf1-Instances bereitstellen. AWS Inferentia ist der erste benutzerdefinierte Silicon-Chip von Amazon, der darauf ausgelegt ist, Deep Learning zu beschleunigen. Derzeit können Sie die ml_inf1 Instance verwenden, um Ihre kompilierten Modelle bereitzustellen.
AWS Inferentia2 und AWS Trainium
Derzeit können Sie Ihr SageMaker Neo-kompiliertes Modell auf AWS Inferentia2-based Amazon EC2-Inf2-Instances (in der Region USA Ost (Ohio)) und auf AWS Trainium-basierten Amazon EC2-Trn1-Instances (in der Region USA Ost (Nord-Virginia))) bereitstellen. Weitere Informationen zu unterstützten Modellen auf diesen Instances finden Sie unter Richtlinien für Modellarchitektur
Amazon Elastic Inference
SageMaker Neo unterstützt die folgenden Deep-Learning-Frameworks für Elastic Inference:
| Framework | Framework-Version | Modellversion | Modelle | Modellformate (in *.tar.gz verpackt) |
|---|---|---|---|---|
| TensorFlow | 2.3.2 | Unterstützt 2.3 | Bildklassifizierung, Objekterkennung, semantische Segmentierung, Posenschätzung, Aktivitätserkennung | Für gespeicherte Modelle eine .pb- oder eine .pbtxt-Datei und ein Variablenverzeichnis, das Variablen enthält. Bei gefrorenen Modellen nur eine .pb- oder .pbtxt-Datei. |
Sie können Ihr SageMaker Neo-kompiliertes Modell in einem Elastic Inference Accelerator bereitstellen. Weitere Informationen finden Sie unter Verwenden Sie EI auf Amazon SageMaker Hosted Endpoints.