Мультимодальное восприятие и слияние данных: ядро интеллектуальных БПЛА
Восприятие стало центральным двигателем интеллекта дронов, чему способствовали прорывы в мультимодальном зондировании и слиянии данных. Системы с одним датчиком не справляются в сложных динамических средах, что делает слияние данных от камер и LiDAR ключевым достижением.
Бая и др. объединили сверточные нейронные сети (CNN) с данными LiDAR для значительного улучшения обнаружения и отслеживания динамических препятствий, повышая безопасность полетов в высокодинамичных сценариях (рис. 3(а)). Улла и др. далее усовершенствовали стратегию слияния данных от камер и LiDAR, расширив ее фокус с распознавания динамических препятствий на адаптацию к различным средам, тем самым расширив поддержку разнообразных сложных миссий.
Если восприятие позволяет дронам «видеть ясно», то слияние данных гарантирует, что они «видят точно». Сюй и др. разработали мультимодальную нейросетевую структуру слияния, которая обновляет модели окружающей среды в режиме реального времени и оптимизирует планирование траектории, демонстрируя высокую адаптивность на пересеченной местности. Цзян и др. дополнили эту работу алгоритмом мультимасштабного слияния инфракрасных и визуальных данных для условий низкой видимости. В совокупности эти достижения повышают надежность восприятия в реальном времени, моделирования окружающей среды и выполнения миссий для автономных дронов.
