Percepcja multimodalna i fuzja danych: podstawowy silnik inteligentnych UAV
Percepcja stała się głównym czynnikiem wpływającym na inteligencję dronów, wspieraną przez przełomy w wykrywaniu multimodalnym i fuzji danych. Systemy z jednym czujnikiem nie sprawdzają się w złożonych, dynamicznych środowiskach, co sprawia, że połączenie wizji i LiDAR jest kluczowym postępem.
Baya i in. połączył CNN z danymi LiDAR, aby znacznie usprawnić dynamiczne wykrywanie i śledzenie przeszkód, zwiększając bezpieczeństwo lotów w bardzo dynamicznych scenariuszach (rys. 3 (a)). Ullah i in. w dalszym ciągu udoskonalano strategię fuzji wizji i LiDAR, rozszerzając jej zakres z dynamicznego rozpoznawania przeszkód na adaptację w wielu środowiskach, rozszerzając wsparcie dla różnorodnych, złożonych misji.
Jeśli percepcja pozwala dronom „widzieć wyraźnie”, fuzja danych gwarantuje, że „widzą precyzyjnie”. Xu i in. opracowali platformę fuzji multimodalnych sieci neuronowych, która aktualizuje modele środowiskowe w czasie rzeczywistym i optymalizuje planowanie tras, zapewniając duże możliwości adaptacji w trudnym terenie. Jiang i in. uzupełnili tę pracę wieloskalowym algorytmem fuzji obrazu w podczerwieni i obrazu w warunkach słabej widoczności. Łącznie te postępy wzmacniają percepcję w czasie rzeczywistym, modelowanie środowiska i niezawodność misji autonomicznych dronów.
