Vision-Language-Action-Modelle: Wie aus Kamerabild und Sprachbefehl Roboterbewegung wird

Ein Vision-Language-Action-Modell (kurz VLA-Modell) gehört zu einer Klasse multimodaler Foundation Models, die zwei Eingaben verarbeiten – ein Kamerabild der Roboterumgebung und eine Anweisung in natürlicher Sprache – und daraus direkt hardwarenahe Roboteraktionen erzeugen: Posen des Endeffektors, Gelenkbefehle oder diskretisierte Motor-Token, die sich unmittelbar ausführen lassen. Der entscheidende Bruch mit der klassischen Robotik liegt im Wort „direkt“. Statt Wahrnehmung, Planung und Regelung als getrennte, von Hand entworfene Module zu verschalten, bildet ein einziges gelerntes Modell den Weg vom Pixel und vom Wort bis zum Bewegungsbefehl ab.

Diese Bestandsaufnahme ordnet ein, was hinter dem Begriff steckt: die Definition, den Weg vom Bild zum Motorbefehl, die Trainingsmethode, die prägenden Modellfamilien – RT-1/RT-2, Open X-Embodiment, OpenVLA, Nvidia GR00T, Physical Intelligence π0, Figure Helix und Gemini Robotics – sowie die Grenzen, die Stand Mitte 2026 jenseits der Produktvideos real sind. Eingebettet ist das Ganze in die größere Frage, was physische KI von reiner Software-KI überhaupt unterscheidet.

Was ist ein Vision-Language-Action-Modell – und was ein „Foundation Model“ für die Robotik?

Die Idee hinter der Technik trägt den Namen „Foundation Model für die Robotik“. Ein großes Sprachmodell (LLM) wird einmal auf riesigen Textmengen vortrainiert und deckt danach viele Aufgaben ab, ohne für jede neu trainiert zu werden. Ein VLA-Modell überträgt dieses Muster auf Bewegung: Eine einzige, groß vortrainierte Steuerungs-Policy soll sich über viele Aufgaben, Objekte und Roboterkörper hinweg übertragen lassen, statt dass Ingenieure für jede Aufgabe und jeden Robotertyp eine maßgeschneiderte Regelung schreiben. Das Vortraining kombiniert Bild-Sprach-Daten in der Größenordnung des Internets mit großen, roboterübergreifenden Demonstrationsdatensätzen (Definition u. a. laut Wikipedia-Eintrag „Vision-language-action model“ und dem Survey arXiv 2505.04769).

Der Anspruch ist also Transfer: Ein Modell, das anhand tausender Greifvorgänge gelernt hat, soll auch ein nie gesehenes Objekt auf eine neu formulierte Anweisung hin greifen. Ob dieser Transfer in der Breite trägt, ist die eigentliche offene Frage – dazu weiter unten mehr. (Begriffe wie Foundation Model, Cross-Embodiment oder sim-to-real erklären wir kompakt im Glossar.)

Wie kommt das Modell vom Kamerabild zum Motorbefehl?

Zwischen „Bild plus Satz“ und der fertigen Bewegung steht die Frage, wie ein neuronales Netz eine Aktion überhaupt repräsentiert. Zwei Ansätze dominieren das Feld (Stand 2026), und der Unterschied entscheidet über Geschwindigkeit und Geschmeidigkeit der Steuerung.

Der erste Ansatz diskretisiert die Bewegung. RT-2 hat das Verfahren geprägt: Jede Dimension einer Aktion – etwa eine Achse der Endeffektor-Bewegung – wird gleichmäßig in 256 Stufen (Bins) quantisiert. Das Modell sagt diese Aktions-Token dann autoregressiv voraus, genau so, wie ein Sprachmodell das nächste Wort vorhersagt; Aktion und Sprache teilen sich denselben Ausgaberaum.

Der zweite Ansatz erzeugt kontinuierliche Bewegungsverläufe. Statt zu diskretisieren, hängt man an das Sprach-Bild-Modell einen sogenannten „Action Expert“, der über ein Diffusions- oder Flow-Matching-Verfahren ganze Trajektorien in einem Durchgang generiert. Das Startup Physical Intelligence nutzt dies in seinem Modell π0 und gibt eine Echtzeit-Steuerung von rund 50 Hz an. Der Vorteil liegt in feinerer, nicht in Stufen zerhackter Bewegung bei höherer Frequenz. Welche Sensoren das zugrundeliegende Kamerabild überhaupt liefern und wie sie sich zu einem verlässlichen Zustand verschmelzen lassen, beschreibt der Beitrag zum Sensor-Stack des Roboters.

Wie werden VLA-Modelle trainiert?

Der Hauptweg ist Imitationslernen, konkret Behavior Cloning (Verhaltensklonen). Das Modell lernt aus Datensätzen von Tripeln – Bild, Sprachanweisung, Aktion –, die überwiegend durch menschliche Teleoperation echter Roboter entstehen: Ein Mensch führt den Roboter, das System zeichnet Beobachtung und ausgeführte Aktion auf. Zunehmend kommen Simulationsdaten und egozentrische Videos von Menschen (Aufnahmen aus der Ich-Perspektive) hinzu.

Wie teuer echte Roboterdaten sind, zeigt eine viel zitierte Plattform zur Datenerfassung: Stanfords ALOHA beziehungsweise Mobile ALOHA, ein günstiges bimanuelles Teleoperations-Rig aus zwei Armen mit 14 Freiheitsgraden plus mobiler Basis und einem 16-dimensionalen Aktionsvektor. Die Stanford-Gruppe beziffert die Gesamtkosten auf rund 32.000 US-Dollar (Paper „Mobile ALOHA“, arXiv 2401.02117, Januar 2024). „Günstig“ ist relativ – verglichen mit dem quasi kostenlosen Abgriff von Text und Bildern aus dem Netz bleibt das Sammeln von Roboterdaten langsam und teuer.

Nach dem groß angelegten Vortraining werden viele VLA-Modelle nachtrainiert – durch zusätzliche aufgabenspezifische Demonstrationen oder durch Reinforcement Learning. Dieses Muster zieht sich durch die VLA-Survey-Literatur der Jahre 2025 und 2026 (etwa arXiv 2511.05936); die genaue Ausgestaltung pro Modell ist jedoch oft nicht öffentlich dokumentiert und sollte im Einzelfall als unsicher gelten.

Welche VLA-Modelle prägen das Feld?

Das Feld ist jung, aber die Entwicklungslinien lassen sich klar nachzeichnen. Sie führen von Googles Robotics-Transformer-Reihe über den ersten großen offenen Datensatz bis zu den Humanoid-Foundation-Models der Jahre 2025 und 2026.

RT-1 und RT-2: die Google-Linie

RT-1 (Robotics Transformer 1, Google, Dezember 2022) ist streng genommen noch kein VLA im vollen Sinn, sondern dessen direkter Vorläufer. Es handelt sich um eine Transformer-Policy, die Kamerabilder und Sprachanweisung in Aktionen tokenisiert – trainiert allerdings ausschließlich auf echten Roboterdemonstrationen, nicht auf Internet-Wissen. Die Zahlen: über 130.000 reale Roboter-Episoden, mehr als 700 Aufgaben, in 17 Monaten mit einer Flotte von 13 Robotern gesammelt; berichtet wird eine Erfolgsquote von rund 97 % bei antrainierten Anweisungen (arXiv 2212.06817).

RT-2 (Google DeepMind, Juli 2023) ist das erste Modell, das DeepMind ausdrücklich als „Vision-Language-Action“-Modell bezeichnet hat. Der Kniff: Man nimmt ein bereits auf Web-Daten vortrainiertes Vision-Language-Modell (VLM) und trainiert es gemeinsam auf Bild-Sprach-Daten und Robotertrajektorien weiter – die Aktionsvorhersage wird als Erzeugung von Text-Token behandelt. Zwei Varianten wurden veröffentlicht: RT-2-PaLI-X auf Basis des 55-Milliarden-Parameter-VLM PaLI-X und RT-2-PaLM-E auf einem 12-Milliarden-Backbone. Das größere Modell schnitt bei bislang unbekannten Szenarien deutlich besser ab (rund 62–63 % gegenüber rund 44 % beim kleineren 5-Milliarden-Vergleichsmodell) und zeigte erste emergente Fähigkeiten: Zero-Shot-Übertragung auf neue Objekte und rudimentäres schrittweises Schließen (arXiv 2307.15818).

Open X-Embodiment: der geteilte Datensatz

Im Oktober 2023 bündelten Google DeepMind und 34 akademische Labore rund 60 bestehende Datensätze zu Open X-Embodiment (OXE) – über eine Million reale Robotertrajektorien, 22 verschiedene Roboterkörper (Einzelarme, bimanuelle Roboter, Vierbeiner), 527 Fähigkeiten, verteilt auf rund 160.000 Aufgaben. Das darauf trainierte RT-1-X übertraf roboterspezifische Spezialmodelle bei zurückgehaltenen Aufgaben um rund 50 %. Die Lehre daraus: Ein Generalist, der über viele Roboterkörper hinweg trainiert wird (Cross-Embodiment), kann Spezialisten schlagen (arXiv 2310.08864).

OpenVLA: der offene Gegenentwurf

OpenVLA (2024, geführt von Stanford und Berkeley, mit Toyota Research Institute und Google DeepMind) zeigte, dass es auch offen und kleiner geht. 7 Milliarden Parameter, ein Llama-2-7B-Sprach-Backbone plus ein fusionierter Bildencoder (rund 600 Mio. Parameter) aus DINOv2- und SigLIP-Merkmalen, trainiert auf 970.000 realen Manipulations-Episoden aus OXE. Laut eigenem Benchmark der Autoren übertrifft OpenVLA das weit größere, geschlossene RT-2-X (55B) über 29 Aufgaben hinweg um 16,5 Prozentpunkte bei der absoluten Erfolgsrate – und das mit rund einem Siebtel der Parameter. Zur Einordnung: Das ist die von den Autoren berichtete Zahl, unabhängige Replikationen schwanken. Gewichte und Trainings-Pipeline sind offen (Hugging Face), und das Modell lässt sich mit LoRA effizient an neue Roboter anpassen (arXiv 2406.09246).

Nvidia Isaac GR00T: Foundation Model für Humanoide

Nvidia positioniert die GR00T-Familie (Generalist Robot 00 Technology) offensiv. GR00T N1, vorgestellt auf der GTC im März 2025, gilt Nvidia zufolge als „erstes offenes Foundation Model für humanoide Roboter“. Die Architektur ist zweigeteilt (Dual-System, inspiriert von der Zwei-Prozess-Theorie des Denkens): Ein langsameres, VLM-basiertes Modul (System 2) plant aus Anweisung und Szene, ein schnelles Aktionsmodul (System 1) setzt den Plan in kontinuierliche Motorbefehle in Echtzeit um. Trainiert wird auf einer Mischung aus realer Teleoperation, Simulationsdaten und egozentrischem Menschenvideo, ergänzt durch synthetische Daten aus Nvidias Simulations- und Weltmodell-Pipelines (arXiv 2503.14734). Demonstriert wurde GR00T unter anderem auf den Humanoiden Fourier GR-1 und 1X.

Die Familie entwickelte sich schnell weiter: GR00T N1.5 (Mitte 2025) verbesserte das Befolgen von Sprachanweisungen; Nvidia gibt an, die Daten dafür in rund 36 Stunden über den synthetischen „GR00T-Dreams“-Prozess erzeugt zu haben statt in rund drei Monaten manueller Sammlung – eine Herstellerangabe, unabhängig nicht bestätigt. Ein veröffentlichter Checkpoint auf Hugging Face (nvidia/GR00T-N1.6-3B) deutet auf ein 3-Milliarden-Parameter-Modell hin. Für 2026 nennt Nvidia GR00T N1.6 und N1.7 (neuer VLM-Backbone, rund 20.000 Stunden „EgoScale“-Menschenvideo im Vortraining) sowie ein angekündigtes GR00T N2, das laut Nvidia auf Ranglisten wie RoboArena mehr als die doppelte Erfolgsrate führender VLA-Vergleichsmodelle erreichen soll. Diese Angaben aus dem Jahr 2026 reichen bis an unseren Redaktionsstand heran oder darüber hinaus und sind Stand Mitte 2026 nicht unabhängig verifiziert – bitte als vorläufig behandeln. Mehr zur Architektur und den einzelnen Ausbaustufen liefert ein eigener Beitrag zu Nvidia Isaac und GR00T.

π0, Helix und Gemini Robotics

Physical Intelligence stellte π0 (pi-zero) im Oktober 2024 vor – ein Generalist-VLA mit vortrainiertem VLM-Backbone und Flow-Matching statt diskreter Token, trainiert auf Daten von 7 Roboterplattformen und 68 Aufgaben, demonstriert an langen, feinmotorischen Aufgaben wie Wäschefalten und Tischabräumen (arXiv 2410.24164). Der Nachfolger π0.5 (2025) zielt auf „Open-World“-Generalisierung.

Figure AI zeigte im Februar 2025 Helix, ein VLA für die eigenen humanoiden Roboter (Figure 02). Ebenfalls Dual-System, mit einer schnellen visuomotorischen „System-1“-Policy, die laut Figure den gesamten Oberkörper – Handgelenke, Rumpf, Kopf, einzelne Finger – mit 200 Hz kontinuierlich steuert. Die Frequenz- und Leistungsangaben stammen vom Hersteller.

Google DeepMind bündelt seinen aktuellen Ansatz unter Gemini Robotics (ab März 2025), aufgebaut auf dem multimodalen Gemini-2.0-Backbone. Bemerkenswert für den Praxiseinsatz: Gemini Robotics On-Device (ab Mitte 2025) läuft lokal auf der Roboter-Hardware und lässt sich laut Google mit gerade einmal 50 Demonstrationen auf eine neue Aufgabe feinabstimmen. Gemini Robotics 1.5 (Herbst 2025, arXiv 2510.03342) trennt ein eigenes Modul für verkörpertes Schließen (Embodied Reasoning) vom Aktionsmodell ab. Eine im Januar 2026 gemeldete Partnerschaft mit Boston Dynamics – Integration in den Atlas-Humanoiden und den Spot-Vierbeiner, Pilotbetrieb in Hyundai-Werken – beruht bislang vor allem auf Unternehmensblogs und ist entsprechend brandaktuell, aber nur schwach belegt.

Modell (Linie)	Herkunft	Vorstellung	Aktionsform	Besonderheit
RT-1	Google	Dez. 2022	diskrete Token	Vorläufer, nur Roboterdaten
RT-2	Google DeepMind	Juli 2023	diskrete Token (256 Bins)	erstes „VLA“, VLM-Co-Training
RT-1-X / RT-2-X (OXE)	DeepMind + 34 Labore	Okt. 2023	wie RT-1/RT-2	Cross-Embodiment, 1 Mio.+ Trajektorien
OpenVLA	Stanford/Berkeley u. a.	2024	diskrete Token	7B, Open Source, LoRA
π0	Physical Intelligence	Okt. 2024	Flow-Matching (kontinuierlich)	~50 Hz, feinmotorische Aufgaben
GR00T N1	Nvidia	März 2025	Dual-System, kontinuierlich	Foundation Model für Humanoide
Helix	Figure AI	Feb. 2025	Dual-System, kontinuierlich	ganzer Oberkörper, 200 Hz*
Gemini Robotics	Google DeepMind	März 2025	VLA auf Gemini 2.0	On-Device-Variante, ab 50 Demos*

*Herstellerangaben, nicht unabhängig auditiert.

Wo stoßen VLA-Modelle 2026 an ihre Grenzen?

So schnell die Fortschritte sind – die Survey-Literatur der Jahre 2025 und 2026 (u. a. arXiv 2505.04769, 2511.05936, 2510.24795) benennt fünf hartnäckige Grenzen. Wer VLA nüchtern bewertet, sollte sie kennen.

• Latenz und Rechenkosten. VLM-Backbones mit Milliarden Parametern sind langsam, gemessen an den Steuerfrequenzen von zehn bis mehreren hundert Hz, die geschickte, dynamische Manipulation braucht. Genau deshalb arbeitet die Forschung an Layer-Pruning, Early-Exit, Action-Chunking und an den Dual-System-Architekturen (schnell/langsam), die GR00T und Helix nutzen.
• Datenknappheit. Reale Teleoperationsdaten bleiben teuer, und ihre Erhebung ist langsam. Simulation, synthetische Daten und Video-Vortraining sind Behelfe – doch die Lücken bei Sim-to-Real und beim Cross-Embodiment-Transfer bestehen fort.
• Begrenzte Generalisierung. Die Modelle kommen mit neuen Objekten oder Formulierungen gut zurecht, solange diese innerhalb einer ähnlichen Aufgabenverteilung bleiben. Bei echten neuen Langzeit-Aufgaben, kontaktreicher Feinmotorik oder Roboterkörpern weit außerhalb der Trainingsverteilung fällt die Leistung ab.
• Sicherheit und Verlässlichkeit. Mehrere Arbeiten aus dem Jahr 2026 (etwa arXiv 2604.23775) behandeln VLA-Sicherheit – adversariale Robustheit, Fehlererkennung, Verhalten außerhalb der Verteilung – ausdrücklich als offenes Problem. Formale Sicherheitsgarantien fehlen; man verlässt sich auf empirische Erfolgsraten, nicht auf zertifiziertes Verhalten.
• Zersplitterte Benchmarks. Die Erfolgsraten von RT-2, OpenVLA, π0 oder GR00T sind fast immer anhand der eigenen Aufgaben und Roboter der jeweiligen Autoren gemessen. Ein sauberer Modellvergleich ist damit kaum möglich; standardisierte, unabhängige Benchmarks (etwa RoboArena) entstehen erst.

Wie viel Vorsicht angebracht ist, zeigt schon die Marktschätzung. Für den Markt humanoider Roboter im Jahr 2025 kursieren je nach Analysehaus Zahlen von 1,84 Mrd. US-Dollar (Precedence Research) über 2,92 Mrd. (MarketsandMarkets) und 4,87–4,89 Mrd. (SNS Insider, Fortune Business Insights) bis 7,80 Mrd. (Future Market Insights) – für dasselbe Jahr eine Spanne von mehr als dem Vierfachen, je nach Abgrenzung (nur Hardware oder Hardware plus Software und Dienste). Eine einzelne dieser Zahlen als „die“ Marktgröße zu zitieren, wäre unseriös.

Unterm Strich sind Vision-Language-Action-Modelle der bislang ernsthafteste Versuch, das Foundation-Model-Rezept auf Bewegung zu übertragen – und die Fortschritte seit RT-2 (2023) sind real. Zugleich ist die Technik Stand Mitte 2026 ein Forschungsfeld, kein gelöstes Problem: zu langsam für dynamische Aufgaben, hungrig nach teuren Daten, ohne Sicherheitsgarantien und schwer vergleichbar. Für die Grundlagen der physischen KI heißt das: Die Richtung stimmt, die Zeitpläne der Marketingfolien nicht unbedingt.