Статистический подход к обнаружению и удалению шумовых выбросов в визуализированных данных зондовой электрометрии
Another Title
Statistical Detection and Removal of Noise Outliers in Visualized Probe Electrometry Data
Bibliographic entry
Статистический подход к обнаружению и удалению шумовых выбросов в визуализированных данных зондовой электрометрии = Statistical Detection and Removal of Noise Outliers in Visualized Probe Electrometry Data / О. В. Юхновская, М. А. Гундина, Е. Д. Ромашко, К. В. Пантелеев // Приборы и методы измерений. – 2025. – № 4. – С. 406-416.
Abstract
Рост объёмов измерительной информации делает ручную обработку непрактичной, а существующие алгоритмы демонстрируют ограниченную эффективность (до 93 %). Целью работы являлась разработка комбинированного алгоритма на основе синтеза существующих методов для повышения точности и надёжности автоматизированного выявления аномальных значений в данных промышленных измерительных систем, в частности, на обработку изображений, получаемых техническими приборами. Для повышения точности и надёжности обнаружения аномалий предложен комбинированный алгоритм, интегрирующий статистические методы обнаружения выбросов на основе многомерного нормального распределения для фильтрации шумовых аномалий, методы бинаризации и морфологической обработки изображений для выделения геометрических контуров, а также алгоритм анализа связных компонент для локализации области интереса. Особое внимание уделено обработке визуализированных данных (изображений), где ключевой задачей является отделение полезных аномалий от шума. Разработанный метод позволяет автоматически выделять области интереса и сжимать исходные данные более чем вдвое от их объёма без потери информативности. Также разработан подход для локализации нескольких разрозненных областей с аномальной интенсивностью на основе анализа связных компонентов. Алгоритм позволяет автоматически присваивать уникальные метки каждому связному объекту и извлекать их характеристики (площадь, периметр, центроид) для последующего анализа. Реализация и тестирование проведены в среде Wolfram Mathematica на примере карт распределения поверхностного электростатического потенциала композитных материалов. Предложенные подходы упрощают последующий анализ измерительных данных и могут быть использованы совместимо с алгоритмами машинного обучения.
Abstract in another language
The increasing volume of measurement information makes manual processing impractical, while existing algorithms demonstrate limited effectiveness (up to 93 %). The aim of this work was to develop a combined algorithm based on a synthesis of existing methods to improve the accuracy and reliability of automated anomaly detection in data from industrial measurement systems, with a particular focus on processing images obtained by technical instruments. To enhance the accuracy and reliability of anomaly detection, a combined algorithm is proposed. It integrates statistical outlier detection methods based on a multivariate normal distribution for filtering noise anomalies, image binarization and morphological processing techniques for highlighting geometric contours, as well as a connected component analysis algorithm for localizing the region of interest. Special attention is paid to the processing of visualized data (images), where the key challenge is separating useful anomalies from noise. The developed method allows for the automatic extraction of regions of interest and compresses the source data by more than half without loss of informativeness. An approach for localizing several disparate regions with anomalous intensity based on connected component analysis has also been developed. The algorithm automatically assigns unique labels to each connected object and extracts their characteristics (area, perimeter, centroid) for subsequent analysis. Implementation and testing were carried out in the Wolfram Mathematica environment using the example of surface electrostatic potential distribution maps of composite materials. The proposed approaches simplify the subsequent analysis of measurement data and can be used in conjunction with machine learning algorithm
View/
Collections
- Т. 16, № 4[12]