Stack sensoryczny robota: jak fuzja sensorów składa kamery, lidar i dotyk w jeden stan

Robot nie „widzi“ świata tak jak człowiek. Widzi strumień liczb z kilkunastu czujników naraz — i każdy z nich myli się inaczej. Dopiero połączenie tych strumieni w jeden spójny obraz pozwala maszynie cokolwiek zrobić: chwycić przedmiot, ominąć przeszkodę, dokręcić śrubę z właściwą siłą. Ten przegląd rozkłada stos sensoryczny robota na części pierwsze — kamery, lidar, czujniki siły i dotyku, propriocepcję — pokazuje, gdzie każda modalność zawodzi, i wyjaśnia, jak surowy sygnał zamienia się w postać, z której może korzystać polityka sterująca. Bez szumu i bez obietnic, że „roboty zaraz nas zastąpią“. Jeśli szukasz szerszego wprowadzenia do samego pojęcia fizycznej AI, zacznij od pillarowego materiału czym jest fizyczna AI.

Czym jest stos sensoryczny robota i jak fuzja składa go w jeden stan?

Stos sensoryczny robota to zestaw uzupełniających się czujników, w którym żaden pojedynczy element nie wystarcza do działania. Typowo obejmuje kamery (RGB, głębi, stereo), lidar, sześcioosiowe czujniki siły i momentu, enkodery w stawach oraz IMU — to razem tworzy propriocepcję, czyli wewnętrzny zmysł ciała — a coraz częściej także czujniki dotyku. Fuzja sensorów to proces łączenia tych strumieni w jedno, spójne oszacowanie stanu: pozycji, prędkości, mapy otoczenia i kontaktu z obiektami.

Fuzja jest konieczna, bo każda modalność mierzy co innego, z inną częstotliwością, opóźnieniem i charakterem błędu. Kamera gubi głębię w jednorodnej, pozbawionej tekstury ścianie. Lidar nie widzi szkła. Enkoder zna z dokładnością do ułamka stopnia kąt stawu, ale nie wie, gdzie znajduje się dłoń w przestrzeni. Klasycznie fuzję realizuje filtr Kalmana (EKF/UKF) albo estymator oparty na grafie czynników; w nowszych systemach uczenia robotów odbywa się ona niejawnie wewnątrz jednej sieci neuronowej — polityki typu VLA — która przyjmuje surowe modalności jako tokeny wejściowe.

Sedno jest takie: warstwa, która steruje robotem — planer, regulator albo wyuczona polityka — chce jednego, uzgodnionego obrazu świata, a nie ośmiu sprzecznych strumieni danych. Cała reszta tego przeglądu opisuje, skąd te strumienie się biorą i jak się je uzgadnia.

Jak działają kamery robota: RGB, głębia i stereo?

Kamera RGB jest najtańszym i najbogatszym w informację czujnikiem — daje barwę, teksturę i semantykę sceny (co to za obiekt) — ale z pojedynczej klatki nie wyznaczy metrycznej odległości. Dlatego robotyka używa trzech dominujących, tanich technologii pomiaru głębi, a każda wiąże się z innym kompromisem:

• Stereowizja pasywna (dwie kamery RGB + wyznaczanie głębi z rozbieżności obrazów lub sieć neuronowa; np. seria ZED firmy Stereolabs) działa wewnątrz i na zewnątrz, ma zasięg do ~20 m i dokładność rzędu ~1% odległości z bliska, spadającą do ~9% na krańcu zasięgu — ale wymaga tekstury w scenie i mocy GPU.
• Czas przelotu (ToF) emituje modulowaną podczerwień i mierzy przesunięcie fazy; typowy zasięg ~0,2–5 m, gęsta mapa głębi przy niewielkich kosztach obliczeń, lecz z artefaktami interferencji wielodrogowej w narożnikach i wklęsłościach.
• Światło strukturalne (np. seria Orbbec Astra) rzuca wzór w podczerwieni i wylicza głębię z jego zniekształcenia — dokładne z bliska, ale psuje się w jasnym świetle otoczenia i na zewnątrz.

Warto pamiętać, że rynek tych podzespołów bywa niestabilny. Intel przez lata rozwijał kamery RealSense, po czym wygaszał części tej oferty (2021–2023), a dział kamer głębi wydzielił do osobnej spółki do połowy 2025 roku — z finansowaniem 50 mln USD od Intel Capital i MediaTek Innovation Fund; RealSense działa dziś jako niezależna firma (podawane ~130 osób). Dla operatora to sygnał: nawet podstawowy sprzęt sensoryczny bywa nietrwały i warto planować drugie źródło dostaw.

Co lidar daje robotowi, czego nie dają kamery?

Lidar jest czujnikiem aktywnym: wysyła impulsy lasera i mierzy czas powrotu odbitego światła, budując metryczną chmurę punktów 3D niezależnie od oświetlenia i tekstury sceny. To czyni go podstawą nawigacji, budowy map i wykrywania przeszkód — tam, gdzie stereo się gubi, lidar podaje twardą geometrię. Jego słabości są równie konkretne: nie widzi powierzchni przezroczystych i lustrzanych (szkło, lustra), traci w deszczu, mgle i pyle, jest droższy od kamery oraz daje rzadszy i uboższy semantycznie obraz.

Trend na 2026 to lidar półprzewodnikowy (solid-state) — bez ruchomych części, tańszy i odporniejszy. Wg jednej z prognoz rynkowych (MarketsandMarkets) segment ten ma urosnąć z ~0,50 mld USD (2025) do ~3,20 mld USD w 2030 (~45% CAGR); segment motoryzacyjny — z ~1,70 mld USD (2026) do ~11,26 mld USD w 2033 (~31% CAGR). Traktuj te liczby jako jeden z szacunków — prognozy różnych firm badawczych mocno się rozjeżdżają. Wśród dostawców najczęściej wymienia się Hesai (podawane ponad 2 mln skumulowanych dostaw w 2025 i zwiększanie mocy produkcyjnych do 4+ mln sztuk rocznie w 2026), a także RoboSense, Ouster, Velodyne, Luminar i Innoviz.

Czujniki siły-momentu i propriocepcja — wewnętrzny zmysł robota

Sześcioosiowy czujnik siły i momentu mierzy jednocześnie trzy składowe siły (Fx, Fy, Fz) i trzy momenty (Tx, Ty, Tz), zwykle montowany w nadgarstku ramienia. To zmysł, którego nie zastąpi żadna kamera: pozwala wyczuć kontakt, dociskać z zadaną siłą, montować na wcisk czy szlifować. Jako ilustracja zakresu jednego producenta (ATI Industrial Automation): Axia80 z wyjściem Ethernet do 8 kHz próbkowania, linia pojemnościowa (~200 N / ~4 Nm w wersji kompaktowej), Nano17 (17 mm średnicy, jeden z najmniejszych na rynku) czy Omega331 (do ~21 000 lbf w osi Fz). To specyfikacje jednej oferty, nie norma branżowa.

Pomiar siły spina się z bezpieczeństwem współpracy człowiek–robot. Limity siły i nacisku dla cobotów z ISO/TS 15066 zostały w 2025 roku formalnie włączone do zaktualizowanej normy ISO 10218-2:2025 (luty 2025) — towarzyszącej części dotyczącej integracji i zastosowań, obok bazowej ISO 10218-1:2025.

Propriocepcja to wiedza robota o własnym ciele. Składają się na nią przede wszystkim enkodery w stawach: inkrementalne (pozycja względna, opóźnienie poniżej mikrosekundy, 10 000+ impulsów na obrót, ale wymagają bazowania po włączeniu) oraz absolutne (magnetyczne lub optyczne, podające pozycję bezwzględnie już przy starcie, we współczesnych konstrukcjach ~14-bitowe). Wysokiej klasy ramiona łączą oba typy przez interfejsy cyfrowe takie jak BiSS-C czy ABZ. Do tego dochodzi IMU (przyspieszenia i prędkości kątowe), które daje szybki, ale dryfujący sygnał — i właśnie dlatego potrzebuje korekcji na podstawie innych czujników.

Dotyk: jak działają optyczne czujniki dotyku?

Kamera i lidar kończą swoją pracę w momencie kontaktu — o tym, co dzieje się na opuszku chwytaka, mówi dopiero dotyk. Dominującym dziś podejściem badawczym są optyczne (wizyjne) czujniki dotyku: wewnętrzna kamera obserwuje odkształcalną warstwę żelu lub elastomeru i z jej deformacji wylicza geometrię kontaktu, rozkład sił, a w części konstrukcji także ścinanie i poślizg. Do tej rodziny należą GelSight, DIGIT oraz konkurenci tacy jak PaXini.

DIGIT to kompaktowy, tani czujnik z otwartym sprzętem, opracowany pierwotnie w Meta AI (FAIR) z użyciem technologii GelSight; daje obraz 320×240 przy 60 kl./s i jest mniejszy od GelSight Mini (~20×27×18 mm). Bardziej zaawansowany Digit 360 (wspólnie GelSight i Meta AI) ma łączyć 18+ modalności pomiaru, aby osiągnąć „mikronową“ rozdzielczość dotyku — to jednak informacja z materiałów producenta, więc traktuj ją ostrożnie. Z jednego źródła pochodzi też informacja o przyznaniu firmie GelSight kontraktu SBIR fazy II przez Siły Powietrzne USA (marzec 2026) na zmilitaryzowany, wzmocniony czujnik dotyku do chwytania. Wniosek operacyjny: dotyk jest realnym, aktywnie rozwijanym zmysłem, ale w produkcji wciąż rzadkim — to głównie domena laboratoriów manipulacji, stan na 2026.

Porównanie modalności: co która realnie mierzy?

Modalność	Co mierzy	Typowy zasięg / rozdzielczość	Mocne strony	Główne ograniczenia
Kamera RGB	Barwa, tekstura, semantyka sceny	zależne od optyki	tania, bogata w informację, rozpoznaje obiekty	brak metrycznej głębi z jednej klatki, wrażliwa na światło
Stereo (pasywne)	Głębia z rozbieżności dwóch obrazów	do ~20 m; błąd ~1% z bliska, ~9% na krańcu	działa wewnątrz i na zewnątrz	wymaga tekstury i mocy GPU
ToF	Głębia z przesunięcia fazy modulowanej IR	~0,2–5 m	gęsta mapa głębi, mało obliczeń	artefakty wielodrogowe w narożnikach
Światło strukturalne	Głębia z deformacji rzucanego wzoru IR	krótki zasięg	dokładne z bliska	psuje się w jasnym świetle / na zewnątrz
Lidar	Odległość do punktów (chmura 3D)	metry–setki metrów	niezależny od tekstury i światła, precyzja geometryczna	nie widzi szkła i luster, gorszy w deszczu/mgle, kosztowny
Czujnik siły-momentu	3 siły + 3 momenty (6 osi)	od ~200 N / ~4 Nm (kompakt) do ~21 000 lbf (duży)	mierzy kontakt, którego nie widać	tylko w punkcie montażu (nadgarstek)
Enkodery (propriocepcja)	Kąt / pozycja stawu	absolutne ~14 bit; inkrementalne 10 000+ imp./obrót	bardzo małe opóźnienie, wysoka rozdzielczość	znają staw, nie pozycję dłoni w przestrzeni
IMU	Przyspieszenie + prędkość kątowa	wysoka częstotliwość	świetne do predykcji, szybkie	dryf — wymaga korekcji z innych czujników
Dotyk optyczny	Geometria kontaktu, rozkład siły, poślizg	np. 320×240 @ 60 kl./s (DIGIT)	jedyny „czuje“ chwyt	krótki zasięg, delikatny, głównie badawczy

Żadna kolumna tej tabeli nie „wygrywa“. Nawigacja opiera się na lidarze i kamerach, manipulacja — na sile i dotyku, a stabilność chodu na IMU i enkoderach. Wartość bierze się z połączenia, nie z jednego cudownego czujnika.

Jak fuzja sensorów łączy to w jeden stan?

Klasyczna fuzja dla robotów mobilnych i kroczących używa filtru Kalmana w wersji rozszerzonej (EKF) lub bezśladowej (UKF). Schemat jest powtarzalny: szybki sygnał z IMU napędza krok predykcji, a wolniejsze pomiary — odometria kół lub nóg, lidar, kamera (wizyjno-inercyjnie), GNSS — wchodzą jako krok korekcji, ważone według swojej niepewności. Dla robotów kroczących i humanoidalnych typowa jest architektura z błędowym EKF (error-state) działającym ~1 kHz, łączącym IMU korpusu, IMU kończyn, kinematykę prostą i wykrywanie kontaktu z podłożem.

Nowsze prace z robotyki terenowej odchodzą od filtrów ku metodom optymalizacyjnym (grafy czynników, styl bundle adjustment), argumentując to wyższą globalną dokładnością i elastycznością — to udokumentowany trend, nie pojedyncze wydarzenie. Równolegle w systemach uczenia robotów fuzja coraz częściej dzieje się niejawnie: wyuczona polityka przyjmuje surowe lub lekko przetworzone modalności (RGB, głębia, propriocepcja, czasem dotyk) jako tokeny, zamiast ręcznie zaprojektowanego EKF produkującego jawny, niskowymiarowy wektor stanu.

Ważne zastrzeżenie: to, w jakim stopniu konkretny wdrożony produkt używa klasycznej estymacji, a w jakim fuzji wyuczonej, jest zwykle nieujawniane — nie warto zgadywać po nazwie firmy. Praktyczny podział na 2026 jest taki: nawigacja i lokalizacja (SLAM) pozostają domeną filtrów i metod optymalizacyjnych, a manipulacja wyraźnie skręca ku fuzji uczonej end-to-end. Oba podejścia współistnieją.

Jak robot zamienia surowy sygnał w postać, z której korzysta polityka?

Ogólny potok wygląda tak: surowe sygnały (klatki RGB, mapy głębi, chmury punktów lidaru, odczyty siły-momentu, wartości enkoderów, dane IMU, obrazy dotykowe) → przetwarzanie i normalizacja osobno dla każdej modalności → i tu ścieżka się rozwidla. Wariant (a): jawna fuzja w zwarty wektor stanu przez filtr (EKF/UKF) lub estymator optymalizacyjny, z którego korzysta klasyczny stos sterowania i planowania. Wariant (b): tokenizacja surowych lub lekko przetworzonych modalności wprost do polityki typu transformer (VLA), która zwraca działania — często porcjami, ciągłe, czasem generowane dyfuzyjnie.

Linia rozwoju modeli VLA — dokładniej opisana w osobnym materiale o modelach wizja-język-akcja — pokazuje ten drugi wariant w praktyce. RT-2 (Google DeepMind, lipiec 2023) był pierwszym dużym modelem wizja–język–działanie: dostraja model wizyjno-językowy na trajektoriach robota i zapisuje działania jako tokeny tekstowe, dzięki czemu zaskakująco dobrze uogólniał się na nowe obiekty i polecenia. OpenVLA (połowa 2024; dokładna data bywa podawana różnie) to otwarty model 7 mld parametrów, wytrenowany na 970 tys. rzeczywistych epizodów z Open X-Embodiment — przedstawiany jako pierwszy w pełni otwarty VLA nadający się do zastosowań komercyjnych. NVIDIA Isaac GR00T N1 (marzec 2025) wprowadził architekturę dwusystemową: szybki, reaktywny „System 1“ i wolniejszy, rozważny „System 2“, ze stopniową aktualizacją N1.5, a od kwietnia 2026 dostępną w trybie early access wersją N1.7 (nowy backbone Cosmos-Reason2-2B/Qwen3-VL, pretrenowany na ok. 20 854 h wideo egocentrycznego) — kolejny punkt danych producenta, jeszcze bez niezależnego benchmarku.

Tu wchodzi zdrowy sceptycyzm. Zapowiadany GR00T N2 (oparty na badaniach „DreamZero“, z deklarowaną ponad 2× wyższą skutecznością niż czołowe modele VLA) — gdy powstawał ten tekst, wciąż nie został wydany; jego premierę zapowiedziano „do końca roku“ 2026, więc to na razie obietnica, nie produkt (stan na połowę 2026). Podobnie szczegóły z GTC 2026 — wariant GR00T do robotyki chirurgicznej oraz otwarty projekt referencyjny humanoida (platforma Unitree, dłonie pięciopalczaste, obliczenia Jetson Thor i oprogramowanie Isaac GR00T) — podaję z ostrożnością, bo nazwy sprzętu wymagają potwierdzenia w źródłach pierwotnych. Warstwą, w której te strumienie realnie płyną między węzłami systemu, jest zwykle ROS 2 (wydanie „Kilted Kaiju“, GA 23 maja 2025, wsparcie standardowe; kolejne wydanie LTS spodziewane w maju 2026).

I to jest właściwy, nienachalny wniosek: więcej czujników nie znaczy mądrzejszy robot. Śmieci w jednej modalności potrafią zatruć całe oszacowanie stanu, a najżmudniejszą, najmniej efektowną pracą jest kalibracja, synchronizacja czasu między czujnikami i decyzja, któremu sygnałowi zaufać, gdy się rozjeżdżają. To tam rozstrzyga się los fizycznej AI — nie na slajdzie z jednym modelem, który „potrafi wszystko“. Stos sensoryczny to tylko jedna warstwa większej układanki — pełny, warstwa po warstwie rozpisany przegląd znajdziesz w materiale o tym, z czego składa się stack fizycznej AI.

Definicje pojęć takich jak propriocepcja, SLAM czy VLA znajdziesz w słowniku, a szerszy obraz zagadnienia daje hub klastra Podstawy fizycznej AI.