Самообучающиеся CNN для точной сегментации перекрывающихся растений в полевых условиях

Высокопроизводительный фенотипирование значительно продвинуло сбор данных о растениях в сельском хозяйстве. Однако возникают сложности с точной сегментацией перекрывающихся растений на полевых изображениях. Современные методы, такие как нейронные сети и обучение с помощью K-means, эффективно обрабатывают изображения с простым фоном, но не справляются со сложными сценами с перекрывающимися растениями.

Актуальная исследовательская задача — разработать автоматизированную технику машинного обучения для сегментации перекрывающихся растений в полевых условиях, которая не зависит от трудоёмких данных, размеченных человеком. Это критически важно для точного анализа роста на экспериментальных полях с ограниченным пространством.

В мае 2023 года журнал Plant Phenomics опубликовал статью "Высокопроизводительное фенотипирование полевых растений: метод самообучающейся последовательной CNN для сегментации перекрывающихся растений".

В исследовании была предложена самообучающаяся последовательная свёрточная нейронная сеть (SS-CNN), специально разработанная для решения задачи разделения изображений перекрывающихся растений при фенотипировании. Модель SS-CNN использует интенсивности пикселей из окружения растения, чтобы различать растения переднего и заднего плана — задача более сложная, чем отделение растений от фона.

Сегментированные изображения позволяют точно измерить высоту растений, что способствует построению полных кривых роста. Эти кривые затем анализировались с помощью функционального анализа главных компонент (FPCA) для изучения динамики роста и влияния генотипа.

При применении SS-CNN к данным с сухого поля 2017 года были вычислены медианные высоты растений для 103 генотипов и предоставлены оценки индивидуальных кривых роста. Стоит отметить, что из-за повреждений от шторма в августе 2017 года для построения кривых роста использовались только изображения, сделанные до августа.

Первые две функциональные главные компоненты (FPC) объяснили более 95% общей дисперсии этих кривых роста. Эти компоненты были ключевыми для понимания различных темпов роста и изменений во времени среди генотипов. Диаграммы рассеяния оценок FPC дали представление о моделях роста конкретных пар генотипов, иллюстрируя вариации в общих темпах роста и изменениях в течение вегетационного сезона.

В итоге, этот подход представляет собой значительный прогресс в исследованиях фенотипирования, позволяя проводить автоматизированные, точные измерения признаков растений и статистический анализ в реальном времени в полевых условиях. В планах на будущее — интеграция этого конвейера с полевым роботом для съёмки изображений для динамической обработки данных на месте. Этот метод открывает новые возможности для детального и эффективного анализа роста растений и эффектов генотипа в фенотипических исследованиях.