Новый метод «регистрации» определяет признаки растений на снимках крупным планом

Современные камеры, датчики, алгоритмы обработки изображений и искусственный интеллект (ИИ) открывают новую эру точного земледелия и селекции растений. В будущем фермеры и учёные смогут количественно оценивать различные признаки растений, просто направляя на них специальные устройства.

Однако перед этим необходимо преодолеть ряд препятствий. Ключевая проблема при сенсорной съёмке — сложность объединения данных об одном растении, полученных с нескольких датчиков изображения (так называемая мультиспектральная или мультимодальная съёмка). Разные датчики оптимизированы для разных диапазонов частот и предоставляют ценную информацию о растении. К сожалению, процесс объединения таких изображений, называемый «регистрацией», может быть крайне сложным.

Регистрация становится ещё сложнее при работе с трёхмерными (3D) мультиспектральными изображениями растений, сделанными с близкого расстояния. Для правильного совмещения таких снимков с разных камер необходимы вычислительные алгоритмы, эффективно исправляющие геометрические искажения. Кроме того, алгоритмы регистрации для съёмки крупным планом более подвержены ошибкам из-за неравномерного освещения, что часто встречается из-за теней от листьев, а также отражения и рассеивания света в густых кронах.

На этом фоне исследовательская группа под руководством профессора Хайянь Ценя из Чжэцзянского университета (Китай) предложила новый подход для создания высококачественных облаков точек растений путём слияния глубинных изображений и моментальных спектральных снимков. Как объясняется в их статье, опубликованной в Plant Phenomics, учёные использовали трёхэтапный процесс регистрации изображений в сочетании с новой методикой на основе ИИ для коррекции эффектов освещения.

Профессор Цень поясняет: «Наше исследование показывает, что использование стерео-референсов для коррекции спектров растений и создания высокоточных 3D мультиспектральных облаков точек растений является многообещающим».

Экспериментальная установка состояла из подъёмной платформы с вращающейся сценой на заданном расстоянии от двух камер на штативе: RGB-D камеры (красный, зелёный, синий + глубина) и моментальной мультиспектральной камеры. В каждом эксперименте растение помещали на сцену, вращали и фотографировали с 15 разных углов.

Также были сделаны снимки плоской поверхности с тефлоновыми полусферами в различных позициях. Изображения этих полусфер послужили эталонными данными для метода коррекции отражательной способности, который команда реализовала с помощью искусственной нейронной сети.

Для регистрации команда сначала использовала обработку изображений, чтобы выделить структуру растения, удалить шум и сбалансировать яркость. Затем была выполнена грубая регистрация с использованием метода Speeded-Up Robust Features (SURF), который идентифицирует важные особенности изображения, в основном не зависящие от изменения масштаба, освещения и вращения.

Наконец, исследователи выполнили точную регистрацию с помощью метода «Demons». Этот подход основан на поиске математических операторов, которые могут оптимально «деформировать» одно изображение, чтобы совместить его с другим.

Эксперименты показали, что предложенный метод регистрации значительно превосходит традиционные подходы. Более того, предложенная техника коррекции отражательной способности дала впечатляющие результаты. Профессор Цень отмечает: «Мы рекомендуем использовать наш метод коррекции для растений на стадиях роста с низкой структурной сложностью кроны, а также с плоскими и широкими листьями». В исследовании также были выделены несколько потенциальных областей для улучшения предложенного подхода.

Довольный результатами, профессор Цень заключает: «В целом, наш метод можно использовать для получения точной 3D мультиспектральной модели облака точек растений в контролируемой среде. Модели могут генерироваться последовательно без изменения условий освещения».

В будущем подобные методы помогут учёным, фермерам и селекционерам легко интегрировать данные с разных камер в единый согласованный формат. Это не только позволит визуализировать важные признаки растений, но и передавать эти данные новому ПО на основе ИИ для упрощения или даже полной автоматизации анализа.