Terrain relative navigation based on deep feature template matching and visual odometry
Another Title
Навигация по снимкам местности на основе сопоставления глубоких признаков и визуальной одометрии
Bibliographic entry
Rulko, E. V. Terrain relative navigation based on deep feature template matching and visual odometry = Навигация по снимкам местности на основе сопоставления глубоких признаков и визуальной одометрии / E. V. Rulko // Системный анализ и прикладная информатика. – 2025. – № 1. – С. 4-19.
Abstract
The main hurdle for terrain relative navigation systems is the incongruity of visual features between a patch of a satellite reference map and a view from an onboard UAV camera. Images are taken during different time of year, under different weather, vegetation and lighting conditions, with different angles of observation. This work proposes the usage of deep feature template matching, where features are extracted during unsupervised training using a triplet loss. It provides semantic understanding, agnostic to terrain transformations. In order to overcome struggling to navigate over featureless terrains, the work proposes additional usage of visual odometry with the procedure of sticking to the map after encountering enough features, with the procedure of hypothesizing over possible locations. Passing a fragment of the reference map through the trained feature extractor, applying an entropy filter and then a path-finding algorithm allows planning a flying path over areas rich of features relevant for navigation.
Abstract in another language
Основной проблемой для систем навигации по снимкам местности является несоответствие визуальных признаков между фрагментом опорной картой и изображением с борта БПЛА. Снимки могут быть сделаны в различное время года, в различную погоду, с различными растительным покровом, условиями освещения и под различными углами обзора относительно плоскости земной поверхности. Данная работа предлагает использование сопоставления глубоких признаков, извлеченных в рамках неконтролируемого обучения с использованием триплет-ошибки. Это обеспечивает понимание семантики изображений, не зависящей от трансформаций местности. В рамах полёта над местностью с недостаточным количеством визуальных признаков для навигации (лес, поле), в работе предложено дополнительное использование визуальной одометрии с процедурой привязывания к опорной карте после получения достаточного количества признаков, с построением гипотез относительно местоположения. Извлечение глубоких признаков натренированной сетью из опорной карты и применение к ним фильтра энтропии позволяет планировать маршруты полёта над местностью, обладающей достаточным разнообразием признаков, необходимых для навигации.
View/
Collections
- № 1[9]