Nhận thức đa phương thức và hợp nhất dữ liệu: Động cơ cốt lõi của UAV thông minh
Nhận thức đã trở thành động lực trung tâm của trí tuệ máy bay không người lái, được hỗ trợ bởi những đột phá trong cảm biến đa phương thức và hợp nhất dữ liệu. Các hệ thống cảm biến đơn lẻ không đáp ứng được trong môi trường động phức tạp, làm cho việc hợp nhất thị giác-LiDAR trở thành một bước tiến quan trọng.
Baya và cộng sự đã kết hợp CNN với dữ liệu LiDAR để cải thiện đáng kể việc phát hiện và theo dõi chướng ngại vật động, nâng cao an toàn bay trong các tình huống động cao (Hình 3(a)). Ullah và cộng sự đã tinh chỉnh thêm chiến lược hợp nhất thị giác-LiDAR, mở rộng trọng tâm từ nhận dạng chướng ngại vật động sang thích ứng đa môi trường, mở rộng hỗ trợ cho các nhiệm vụ phức tạp đa dạng.
Nếu nhận thức giúp máy bay không người lái "nhìn rõ", thì hợp nhất dữ liệu đảm bảo chúng "nhìn chính xác". Xu và cộng sự đã phát triển một khung hợp nhất mạng nơ-ron đa phương thức cập nhật mô hình môi trường theo thời gian thực và tối ưu hóa lập kế hoạch đường đi, với khả năng thích ứng mạnh mẽ trên địa hình gồ ghề. Jiang và cộng sự đã bổ sung cho công trình này bằng một thuật toán hợp nhất hồng ngoại-thị giác đa tỷ lệ cho điều kiện tầm nhìn thấp. Cùng nhau, những tiến bộ này tăng cường khả năng nhận thức thời gian thực, mô hình hóa môi trường và độ tin cậy của nhiệm vụ cho máy bay không người lái tự hành.
