Распознавание объектов и анализ сцен - Основные результаты

· Анализ динамических сцен

Алгоритм моделирования и анализа движения параметризованных объектов, модифицированный алгоритм вычисления оптического потока, алгоритм оценки параметров движения потока точечных объектов при больших межкадровых смещениях, алгоритм моделирования значений пикселей фона на динамическом изображении, Алгоритм обнаружения и отслеживания движения объектов, заданных параметрически (основан на пороговых оценках разностей кадров видеопоследовательности и использует корреляционные фильтры для полного восстановления формы (классификации) движущихся объектов, параметры объектов (исходные данные) определяют построение корреляционных масок, а пики корреляций позволяют классифицировать движущиеся объекты). Алгоритмы реализованы в виде программной системы обработки, анализа и классификации динамических сцен. Система выполнена в компонентной модели с открытой архитектурой. Это дало возможность использовать распространенные средства моделирования динамических сцен с параметризованными объектами и траекториями движения – Autodesk 3ds Max, AutoDesk Maya и подобные. Возможности синтеза динамических сцен могут быть расширены использованием библиотек OpenGL, GDI+ в средах разработки С++ Builder, Visual C++, Visual C#. Алгоритмы ориентированы на использование в интеллектуальных системах видеонаблюдения, которые применяются в сферах безопасности и контроля. Потенциальными потребителями таких систем являются государственные службы, городские департаменты и предприятия. (ИНФОТЕХ 60).

[ИНТ60]

· Идентиикация и распознавание объектов на изображениях

Методы и алгоритмы обработки и идентификации изображений для построения карт полей сельскохозяйственных культур, отличающиеся применением спектральных моделей на этапе предварительной обработки изображений и выделения информативных признаков, и моделей искусственных нейронных сетей на базе нечеткой логики для цветоделения и анализа изображений. На их основе создана компьютерная технология, которая существенно повышает достоверность распознавания участков растительности с заданными цветовыми характеристиками и выявления изменений на наблюдаемом участке на различных этапах болезни растений. Предложенная технология может быть положена в основу систем мониторинга окружающей среды, контроля изменений и картографирования участков растительности в сельском и лесном хозяйствах

Методика распознавания объектов на аэрофотоснимках сельскохозяйственной растительности для мониторинга заболеваний. Данная методика включает отбор наиболее информативных признаков и свойств классифицируемых объектов на основе интервально-значного представления исходных данных об объектах, построения дескрипторов объектов на основе нечеткой логики, кластеризации одним из алгоритмов нечеткой и возможностной кластеризации и построения системы нечеткого вывода типа Мамдани, применение системы вывода для классификации пикселей, извлекаемых из входных изображений. При этом собственно распознавание объектов на аэрофотоснимках сельскохозяйственной растительности производится в системе нечеткого вывода. При мониторинге заболеваний растительности на основе данной методики генерируется последовательность систем вывода, соответствующая изменению состояния растительности.

Алгоритмы выделения заболевших участков сельскохозяйственной растительности. Они основываются на анализе гистограмм исходных изображений, представленных в RGB и HSV виде. Использование цветовых характеристик изображений сельскохозяйственных полей позволило выделять пораженные заболеванием участки полей, при появлении первых видимых признаков заболевания.

Метод комбинирования информативных признаков многоспектральных изображений для оценки состояния сельскохозяйственной растительности. Метод строится на совместном использовании данных видимого диапазона и ряда вегетационных индексов, вычисляемых по изображениям в видимой и инфракрасной областях спектра, а также цветовых и текстурных характеристик. Использование предложенного метода позволит формировать различные тематические карты для задач точного земледелия.

Алгоритм распознавания состояния сельскохозяйственной растительности по данным аэрофотосъемки на основе комбинации двух сверточных нейронных сетей, используемых в качестве классификатора для отдельных участков изображений («почва»-«растительность», «здоровая растительность»-«пораженная растительность»). В дальнейшем результаты работы классификаторов объединяются, что дает три класса изображений. Использование предложенного алгоритма распознавания позволило повысить точность экспериментальной системы распознавания, разрабатываемой в лаборатории идентификации систем ОИПИ НАН Беларуси.

Экспериментальная система распознавания, ее тестирование показало, что наибольшую информативность представляет индекс NDVI на основе близкого инфракрасного спектрального диапазона, а также, что использование нейросетевой модели позволяет более точно формировать контуры распознаваемых объектов. В качестве развития результатов определены следующие направления: использование дополнительных датчиков изображений; использование дополнительных фенотипичных спектральных индексов растительности; применение глубоких нейронных сетей семантической сегментации; оптимизация скорости обучения нейронных сетей.

Экспериментальные программные средства распознавания объектов на аэрофотоснимках сельскохозяйственной растительности, которые состоят из модулей взаимодействия с пользователем, предобработки, постобработки, распознавания, обработки и базы данных MongoDB. Программные средства реализованы на языке Python. Для визуализации используются встроенные средства библиотеки OpenCV. Разработанное программное обеспечение предназначено для организации экспериментальной проверки предложенных алгоритмов распознавания объектов, а архитектурные решения позволяют без изменений программного кода подключать модули предобработки изображений, анализа и постобработки, что дает возможность гибкой настройки порядка выполнения действий модулями. Разработаны экспериментальные программные средства распознавания объектов на аэрофотоснимках сельскохозяйственной растительности, с использованием сверточных нейронных сетей, построенных на базе четырезклассовых нейросетевых моделей SegNet и U-Net. Представленные программные средства позволили выполнить сегментацию аэрофотоснимков со средней точностью 92-93 %. Результаты работы могут найти практическое использование в системах обработки данных дистанционного зондирования Земли для решения задач точного земледелия, устойчивого лесопользования и мониторинга состояния растительных покровов.

[Ф16МС-012, Ф18В-005, ИК704, Ф18ПЛШГ-008]

· Контроль топологии на изображениях печатных плат

Технология распознавания топологических образов, основанная на декомпозиции изображения топологии на элементарные фрагменты и дальнейшем их анализе. Технология включает:

- построение модели топологии, которая описывает проводники, контактные площадки и дефекты печатной платы набором элементарных фрагментов, их характеристик и связей;
- метод и алгоритм выделения информативных признаков, базирующийся на декомпозиции топологии печатной платы на фрагменты;
- алгоритм формирования нечеткого описания дефектов топологии печатных плат, основанный на вычислении его информативных параметров и представлении их в виде интервально-значного нечеткого множества;
- метод повышения точности сегментации изображений печатных плат, основанный на экспертной классификации результатов кластеризации по k-средним в пространстве RGB;
- нейросетевой метод поиска и классификации дефектов топологии печатных плат, основанный на использовании нечеткого описания объектов и предложенного алгоритма его формирования;
- алгоритм обучения ансамбля нейронных сетей для классификации дефектов топологии на изображениях печатных плат;
- гибридный алгоритм контроля топологии печатной платы, основанный на анализе формы и координат ее элементарных фрагментов – контактных площадок и прямоугольных фрагментов дорожек, и проверке соответствия их связей соответствующим связям эталонной печатной платы;
- алгоритм поиска макродефектов топологии печатной платы, основанный на объединении методом морфологического замыкания локальных множеств дефектов топологии, найденных на предварительных этапах её контроля;
- алгоритм поиска макродефектов подложки печатной платы, основанный на анализе цветовых и яркостных характеристик изображения подложки.

Предложенная технология реализована в виде экспериментальной программной системы поиска и классификации дефектов топологии печатных плат.

[Ф16-070, Ф19МС-032]

· Контроль топологии полупроводниковых пластин СБИС

Методы и алгоритмы улучшения изображений полупроводниковых пластин; формирования дескрипторов дефектов; качественные и количественные описания дефектов топологии, применяемые в технологическом процессе производства интегральных схем. На базе этого разработаны программные средства классификации дефектов топологии, обнаруживаемых в результате автоматического контроля топологических слоев полупроводниковых пластин, которые реализуют функции управления базой данных дефектов, классификации и визуального просмотра дефектов на цифровой модели пластины, просмотра дефектных ведомостей и статистического анализа дефектов.

[ИК403, Ф19МС-032, Ф16-070, ИИТ_1-03, Ф16М-023, МЭКБ23, Ф11ОБ-071]
Обработка изображений в проектровании и производстве ИС.pdf (монография)