Улучшение обнаружения колосьев в теплицах с помощью глубокого обучения для анализа фенотипических признаков

Точное извлечение фенотипических признаков из изображений критически важно для исследований зерновых культур. Однако обнаружение колосьев в условиях теплицы затруднено из-за сходства колосьев и листьев по цвету и структуре. Существующие методы, включая повышение разрешения изображений и использование нейросетей (например, SpikeSegNet), часто плохо справляются с локализацией мелких колосьев. Необходимы дальнейшие улучшения в настройке нейронных сетей и создании новых моделей.

В январе 2024 года журнал Plant Phenomics опубликовал исследование "Высокопроизводительное обнаружение колосьев у зерновых культур в теплице с помощью моделей глубокого обучения на основе механизмов внимания".

В работе были реализованы и обучены три модели глубоких нейронных сетей (DNN):

  • FRCNN

  • FRCNN-A (с добавленным модулем внимания)

  • Swin Transformer

Для оптимизации использовался SGD-оптимизатор. Модели требовали разного числа эпох для обучения:

  • FRCNN: 900–1200 эпох
  • FRCNN-A: 800–1000 эпох
  • Swin Transformer: 2500–3000 эпох

Применялась стратегия динамической скорости обучения для улучшения сходимости моделей. Сети показали эффективность в обнаружении колосьев разной сложности, особенно в густой массе листьев.

Результаты:

  • Swin Transformer показал наивысшую точность (mean average precision, mAP) без использования аугментации или трансформации данных.
  • FRCNN-A с модулем внимания значительно превзошел исходную модель FRCNN. Механизм внимания эффективно улавливал иерархический контекст областей интереса, что помогало обнаруживать сложные колосья.
  • Обучение на девяти наборах данных из двух фенотипических установок показало, что точность всех моделей росла с увеличением объема исходных изображений в тренировочных наборах.
  • Swin Transformer продемонстрировал наивысший средний mAP, подтвердив превосходство в извлечении признаков.
  • При этом FRCNN-A обеспечивает более быстрое и эффективное обучение, что особенно полезно для наборов данных со схожими характеристиками.

Исследование подчеркнуло важность адаптивности моделей к аугментированным изображениям и их хорошую работу на тестовом наборе IPK, что указывает на потенциал для улучшения обнаружения колосьев у смешанных сортов пшеницы.

Вывод: Модифицированный FRCNN-A (с уменьшенным числом сверточных слоев и добавлением модуля внимания) и вычислительно сложный Swin Transformer представляют собой значительный прогресс в обнаружении мелкомасштабных объектов в сложных оптических сценах. Эти инновации обещают повышение точности и эффективности фенотипирования, хотя компромисс между временем вывода и точностью остается важным фактором для приложений реального времени.