Der Roboter-Sensor-Stack: Kameras, Lidar, Kraft-Momenten- und taktile Sensorik im Zusammenspiel

Ein Roboter sieht nichts. Er empfängt Zahlenströme — Millionen Pixel pro Sekunde, Punktwolken aus dem Lidar, Gelenkwinkel, Kraftmesswerte — und muss daraus in wenigen Millisekunden ableiten, wo er steht, was um ihn herum ist und was gerade an seinem Werkzeug passiert. Der Weg von diesen Rohsignalen zu einer Handlung ist der eigentliche Kern jeder physischen KI. Dieser Lagebericht zerlegt den Roboter-Sensor-Stack Schicht für Schicht — nüchtern und ohne das Versprechen, dass der nächste Sensor das Manipulationsproblem im Alleingang löst.

Was ist der Roboter-Sensor-Stack — kurz gesagt?

Der Roboter-Sensor-Stack ist die geschichtete Kombination aller Sensoren eines Roboters samt der Software, die deren Signale zu einer einzigen Zustandsschätzung verschmilzt. Man unterscheidet zwei Klassen: exterozeptive Sensoren, die die Umwelt erfassen (RGB-Kameras, Tiefenkameras, Lidar), und propriozeptive Sensoren, die den eigenen Körper messen (Gelenk-Encoder, IMU, Kraft-Momenten-Sensoren, taktile Fingerkuppen). Kein einzelner Sensor liefert ein vollständiges Bild; jede Modalität hat systematische blinde Flecken. Die Sensorfusion — in der Robotik meist ein Kalman-Filter, zunehmend auch ein gelerntes Modell — kombiniert die überlappenden, teils widersprüchlichen Messungen zu einem konsistenten Zustand, auf den eine Regelung oder eine Policy reagieren kann. Eingeordnet in den größeren Zusammenhang ist dieser Sensor-Stack einer der Bausteine, die physische von rein digitaler KI überhaupt unterscheiden — mehr dazu im Grundlagenartikel zu physischer KI jenseits des Chatbots.

Der Punkt, der in Marketing-Demos gern untergeht: Ein Sensor ist nur so nützlich wie die Fusion, die dahintersteht. Eine teure Lidar-Einheit ohne saubere Zeitsynchronisation und Kalibrierung liefert schlechtere Zustandsschätzungen als ein billiger Stereo-Aufbau, dessen Signale sauber verrechnet werden. Hardware ist die eine Hälfte; die Schätzung ist die andere.

Welche Sensormodalitäten stecken im Stack?

Kameras: RGB, Stereo, Time-of-Flight und strukturiertes Licht

Eine RGB-Kamera ist billig, semantisch reich und liefert Textur und Farbe — aber sie bleibt zweidimensional. Für Greifen und Navigation braucht der Roboter Tiefe. Drei kostengünstige Verfahren dominieren:

• Passive Stereo-Vision nutzt zwei RGB-Kameras und berechnet Tiefe aus der Disparität zwischen beiden Bildern (klassisch oder per neuronalem Netz, etwa bei der ZED-Serie von Stereolabs). Sie funktioniert drinnen wie draußen mit einer effektiven Reichweite bis rund 20 m; die Genauigkeit liegt im Nahbereich bei etwa 1 % der Distanz und verschlechtert sich zum Maximum hin auf rund 9 %. Der Haken: Sie braucht Textur in der Szene und GPU-Rechenleistung.
• Time-of-Flight (ToF) sendet moduliertes Infrarotlicht aus und misst die Phasenverschiebung. Typische Reichweite ~0,2–5 m, dichte Tiefenkarten bei moderater Auflösung und geringer Rechenlast — dafür anfällig für Mehrwege-Interferenz (Multipath) in Ecken und Vertiefungen.
• Strukturiertes Licht (z. B. die Orbbec-Astra-Reihe) projiziert ein IR-Muster und leitet Tiefe aus dessen Verzerrung ab. Präzise im Nahbereich, versagt aber bei hellem Umgebungslicht und im Freien.

Ein Wort zum Anbietermarkt, weil er die Stack-Planung direkt betrifft: Intel begann zwischen 2021 und 2023, Teile von RealSense (Lidar, Gesichtsauthentifizierung, Tracking) einzustellen, behielt aber die Stereo-Tiefenkameras. Mitte 2025 kündigte Intel die Ausgliederung des Tiefenkamera-Geschäfts an; die Ausgründung erfolgte mit 50 Mio. USD von Intel Capital und dem MediaTek Innovation Fund. RealSense agiert seither als eigenständiges Unternehmen (nach eigenen Angaben rund 130 Mitarbeitende). Im Klartext heißt das: Verfügbarkeit und Roadmap eines Sensors sind eine Lieferketten-Frage, kein Naturgesetz.

Lidar: exakte Geometrie, aber teuer und blind für Textur

Lidar tastet die Umgebung mit Laserpulsen ab und liefert eine Punktwolke mit direkten, lichtunabhängigen Distanzmessungen über zig Meter — die Grundlage für Kartierung und Lokalisierung (SLAM). Der Preis dafür: Ein Lidar ignoriert Farbe und Textur, ist teuer und bei rotierenden Bauformen mechanisch verschleißanfällig. Solid-State-Lidar soll genau das ändern.

Zur Größenordnung — und ausdrücklich als Schätzung zu lesen: Eine Marktschätzung von MarketsandMarkets sieht den Solid-State-Lidar-Markt von ~0,50 Mrd. USD (2025) auf ~3,20 Mrd. USD bis 2030 wachsen (~45 % CAGR). Solche Zahlen schwanken je nach Marktforschungshaus erheblich; sie geben eine Richtung vor, taugen aber nicht als harte Planungsbasis. Als volumenstärkster Anbieter im Automotive-/Solid-State-Segment gilt Hesai (China), das 2025 nach eigenen Angaben 2 Mio. kumulierte Lidar-Auslieferungen überschritt und die Kapazität 2026 auf über 4 Mio. Einheiten pro Jahr ausbaut. Weitere genannte Hersteller sind RoboSense, Ouster, Velodyne, Luminar und Innoviz. Konkrete Marktanteile variieren je nach Studie und sind als Schätzung zu behandeln.

Kraft-Momenten-Sensoren: der Tastsinn des Handgelenks

Ein sechsachsiger Kraft-Momenten-Sensor misst gleichzeitig drei Kraftkomponenten (Fx, Fy, Fz) und drei Momente (Tx, Ty, Tz) — üblicherweise am Handgelenk zwischen Arm und Werkzeug montiert. Er ist die Voraussetzung für kraftgeregelte Aufgaben wie Fügen, Entgraten oder Einsetzen mit Toleranz. ATI Industrial Automation ist ein häufig zitierter Hersteller; die Produktbreite reicht beispielhaft vom Nano17 (17 mm Durchmesser, einer der kleinsten Sechsachser am Markt) über den Axia80 (Ethernet-Ausgabe mit bis zu 8 kHz Abtastrate) bis zum Omega331 (Großlast, bis ~21.000 lbf in Fz). Das sind Beispielwerte eines Anbieters, kein Branchenstandard.

Sicherheitsrelevant wird die Kraftmessung bei kollaborierenden Robotern: Die im Februar 2025 veröffentlichten Normen ISO 10218-1:2025 und ISO 10218-2:2025 (sie ersetzen die Ausgaben von 2011) integrieren die Kraft- und Druckgrenzwerte aus ISO/TS 15066 nun normativ in die Hauptnorm. Kraft-Momenten- und Gelenkmomentsensorik ist eine der Möglichkeiten, solche Grenzwerte im Betrieb zu überwachen.

Propriozeption: wo der Roboter seine eigenen Gelenke spürt

Bevor ein Roboter die Welt vermisst, muss er sich selbst kennen. Propriozeption heißt hier: Jedes Gelenk meldet seinen Winkel. In der Praxis kombinieren hochwertige Roboterarme zwei Gebertypen — Inkrementalgeber (relative Position, sehr niedrige Latenz, hohe Auflösung mit 10.000+ Impulsen pro Umdrehung, benötigen aber eine Referenzfahrt) und Absolutwertgeber (magnetisch oder optisch, liefern die absolute Position schon beim Einschalten ohne Referenzfahrt, in modernen Designs häufig ~14 Bit Auflösung). Angebunden werden sie über digitale Schnittstellen wie BiSS-C oder ABZ; der BiSS-C-Continuous-Modus erlaubt eine schnelle, latenzarme Positionsrückführung. Ergänzt wird das durch eine IMU (Beschleunigung und Drehrate), die vor allem in mobilen und Laufrobotern die Basis der Zustandsschätzung bildet.

Taktile Sensorik: Kontakt an der Fingerkuppe

Ein Kraft-Momenten-Sensor am Handgelenk sagt nichts darüber, wie ein Objekt an den Fingerspitzen liegt oder ob es rutscht. Diese Lücke schließen taktile Sensoren. Ein etabliertes Paradigma sind optische, kamerabasierte Sensoren: Eine winzige Kamera filmt eine verformbare Gel- bzw. Elastomerhaut von innen und leitet aus deren Verformung Kontaktgeometrie, Kraftverteilung und teils Scherung und Schlupf ab (GelSight, DIGIT, PaXini). DIGIT — ursprünglich von Meta AI (FAIR) auf GelSight-Basis entwickelt — ist kompakt und quelloffen, liefert 320×240-Bilder mit 60 fps und ist kleiner als das GelSight Mini (~20×27×18 mm). Der weiterentwickelte Digit-360-Sensor (GelSight mit Meta AI) soll laut Herstellerangaben über 18 unterschiedliche Messmodalitäten kombinieren und Berührung im Mikrometerbereich digitalisieren — diese Angabe stützt sich stark auf eine einzelne Quelle und ist entsprechend vorsichtig zu lesen. Ebenfalls nur einzeln belegt und daher unbestätigt: eine im März 2026 gemeldete Phase-II-SBIR-Förderung von GelSight durch die U.S. Air Force für eine robuste taktile Fingerkuppe.

Modalitäten im Vergleich — welche Kompromisse gehen Sie ein?

Modalität	Misst	Reichweite / Auflösung	Stärke	Schwäche
RGB-Kamera	Farbe, Textur (2D)	hohe Pixelauflösung	billig, semantisch reich	keine Tiefe, lichtabhängig
Passive Stereo	Tiefe (Disparität)	bis ~20 m; ~1–9 % Fehler	drinnen + draußen, passiv	braucht Textur + GPU
Time-of-Flight	Tiefe (Laufzeit)	~0,2–5 m	dichte Tiefe, wenig Rechenlast	Multipath in Ecken
Structured Light	Tiefe (Musterverzerrung)	Nahbereich	präzise im Nahbereich	versagt bei hellem Licht
Lidar	Geometrie (Punktwolke)	zig Meter, präzise	exakte, lichtunabhängige Distanz	teuer, ignoriert Farbe/Textur
Kraft-Momenten-Sensor	3 Kräfte + 3 Momente	bis ~kHz-Abtastung	Kontaktkraft direkt	nur am Montageort
Encoder (Propriozeption)	Gelenkwinkel	~14 Bit / 10.000+ Impulse	sehr niedrige Latenz	sagt nichts über die Umwelt
Taktiler Sensor	Kontaktgeometrie, Schlupf	Fingerkuppe	Griff- und Schlupfkontrolle	nur bei Berührung, kleiner Bereich

Wie verschmilzt die Sensorfusion all das zu einem Zustand?

Sensorfusion in der Robotik heißt: aus mehreren unsicheren, unterschiedlich schnellen und teils widersprüchlichen Messungen eine gemeinsame Schätzung mit quantifizierter Unsicherheit bilden. Der klassische Standardansatz ist der Erweiterte Kalman-Filter (EKF) beziehungsweise der Unscented-Kalman-Filter (UKF). Das typische Muster in mobilen und Laufrobotern: Die hochfrequente IMU treibt den Vorhersageschritt (Prädiktion), während langsamere, aber driftfreie Messungen — Odometrie, Lidar, Kamera (visuell-inertial) und GNSS — den Korrekturschritt liefern. Für Lauf- und humanoide Roboter ist eine verbreitete Architektur ein mittlerer Error-State-EKF, der mit rund 1 kHz Körper-IMU, Glieder-IMUs, Vorwärtskinematik und Kontakterkennung fusioniert.

Der Trend in der Feldrobotik geht allerdings weg vom reinen Filter: Optimierungsbasierte Verfahren (Faktorgraphen, im Stil von Bundle-Adjustment) verrechnen viele Messungen gemeinsam über ein Zeitfenster und erreichen nachweislich eine höhere globale Genauigkeit und mehr Flexibilität als EKF/UKF — allerdings zu höherem Rechenaufwand. Das ist eine dokumentierte Entwicklung, kein einzelnes datiertes Ereignis.

Wie wird aus Rohsignalen etwas, worauf eine Policy reagieren kann?

Quer durch die aktuelle Literatur sieht die generische Pipeline so aus: Rohsignale (RGB-Frames, Tiefenkarten, Lidar-Punktwolken, Kraft-Momenten-Werte, Encoder-Werte, IMU-Daten, taktile Bilder) → Vorverarbeitung und Normalisierung pro Modalität → und dann eine von zwei Grundformen.

Paradigma A — expliziter Zustand. Ein Filter oder Optimierer verdichtet alles zu einem kompakten Zustandsvektor (Pose, Geschwindigkeit, Kontaktzustand), den ein klassischer Regelungs- und Planungsstack weiterverarbeitet. Dominant in Navigation und Lokalisierung (SLAM). Solche Fusionsknoten laufen in der Praxis oft in einem Middleware-Framework wie ROS 2 (aktuelle Standardausgabe „Kilted Kaiju“, allgemein verfügbar seit 23. Mai 2025, rund 1,5 Jahre Support; die für Mai 2026 geplante Ausgabe ist als LTS-Release vorgesehen).

Paradigma B — gelernte Fusion. Statt eines von Hand konstruierten Zustandsvektors werden die (roh oder leicht vorverarbeiteten) Modalitäten als Tokens direkt in eine transformerbasierte Vision-Language-Action-Policy (VLA) gespeist, die Aktionen ausgibt — oft als Aktionsblöcke, kontinuierlich oder diffusionsbasiert. Hier findet die Fusion implizit im Modell statt. Meilensteine: RT-2 von Google DeepMind (Juli 2023) als erstes großes VLA, das Roboteraktionen als Text-Tokens darstellt; OpenVLA als quelloffenes 7-Mrd.-Parameter-Modell, trainiert auf 970.000 realen Roboter-Demonstrationsepisoden aus dem Open-X-Embodiment-Datensatz (Erstveröffentlichung um Mitte 2024 — genaues Datum unsicher); und NVIDIA Isaac GR00T N1 (März 2025) mit seiner Zwei-System-Architektur (schnelles reaktives „System 1“, langsameres überlegendes „System 2“). Ein angekündigtes GR00T N2 ist Stand Mitte 2026 als bloße Ankündigung zu werten und noch nicht ausgeliefert. Wie solche Modelle Kamerabild und Sprachbefehl konkret in Bewegung übersetzen, erklärt ein eigener Beitrag zu Vision-Language-Action-Systemen in der Robotik.

Die ehrliche Einordnung: Beide Paradigmen koexistieren Mitte 2026. Für Manipulation zeigt der Trend klar Richtung gelernter End-to-End-Fusion; für Navigation und Lokalisierung bleibt die klassische filterbasierte Fusion die dominante, robustere Wahl. Wie viel klassische Schätzung ein konkretes kommerzielles Produkt intern noch verwendet, ist firmenspezifisch und meist nicht offengelegt — Behauptungen zu einzelnen Serienprodukten sind daher mit Vorsicht zu genießen.

Welche Modalität für welche Aufgabe?

Kurz und praktisch: Für Navigation dominieren Lidar plus IMU plus Odometrie, fusioniert im Filter — Distanz und Geometrie zählen, Farbe kaum. Für Manipulation zählt der Nahbereich: Tiefenkamera für die Grobausrichtung, Kraft-Momenten-Sensor für den Kontakt, taktile Sensorik für Griff und Schlupf, zunehmend als Eingabe in eine gelernte Policy. Wer einen Stack plant, wählt also nicht „den besten Sensor“, sondern das kleinste Set, das die blinden Flecken der jeweiligen Aufgabe schließt — und investiert den Rest des Budgets in Kalibrierung, Zeitsynchronisation und die Fusion. Eine vollständige Einordnung dieses Sensor-Bausteins in den gesamten Stack liefert der Beitrag zum Physical-AI-Stack im Überblick. Mehr Grundlagen dazu finden Sie im Cluster Grundlagen der physischen KI.