NeMo AutoModel skaliert Diffusers-Finetuning von einer GPU bis zum Cluster
Kurz in fünf Sätzen
- Nvidia und Hugging Face verbinden NeMo AutoModel enger mit Modellen im Diffusers-Format.
- Modelle sollen ohne Konvertierung der Checkpoints oder individuelle Neuschreibung trainiert werden können.
- Die Skalierung wird über konfigurierbare Parallelismusverfahren statt separater Trainingsprogramme gesteuert.
- Fertige Rezepte decken mehrere offene Bild- und Videomodellfamilien sowie vollständiges Finetuning und LoRA ab.
- Eine typisierte Python-API ist angekündigt, aber in der beschriebenen Version noch nicht verfügbar.
Ausführliche Einordnung
NeMo AutoModel ist eine quelloffene, auf PyTorch DTensor basierende Trainingsbibliothek, die nun direkt mit Modellen im Hugging-Face-Diffusers-Format arbeitet. Checkpoints lassen sich aus diesem Ökosystem laden und ohne gesonderte Konvertierung wieder dorthin schreiben. Für ein neues Modell soll ein begrenzter Adapter genügen, statt das Trainingsprogramm vollständig neu zu bauen. Die Integration steht unter Apache 2.0.
Die Skalierung wird per Konfiguration gesteuert. Unterstützt werden FSDP2 sowie Tensor-, Expert-, Context- und Pipeline-Parallelismus. Der aktuelle Diffusionspfad gilt nur für Flow-Matching-Modelle. Rezepte gibt es für Wan 2.1, Wan 2.2, FLUX.1, FLUX.2, HunyuanVideo 1.5 und Qwen-Image. Je nach Modell sind vollständiges Finetuning oder LoRA möglich.
Das Beispiel passt FLUX mit 78 gemeinfreien Rider-Waite-Bildern über 200 Schritte an. Es demonstriert den Ablauf, belegt aber keine allgemeine Ausgabequalität. Die Leistungsmessungen liefen auf acht H100-GPUs mit 80 Gigabyte und stammen von den beteiligten Anbietern. Eine typisierte Python-Rezept-API ist als zukünftige Arbeit angekündigt und gehört noch nicht zur beschriebenen Version.