Восстановление 3D-моделей листьев растений с помощью глубокого обучения

Технология 3D point cloud (облака точек) позволяет проводить неинвазивные измерения фенотипических параметров растений. Однако сбор данных осложняется взаимным перекрытием (окклюзией) листьев, что приводит к неполным облакам точек и неточностям в расчётах.

В ноябре 2023 года в журнале Plant Phenomics была опубликована статья, посвящённая решению этой проблемы с помощью глубокого обучения.

Метод исследования

  • Объект: Листья цветущей китайской капусты (сложная структура).
  • Сбор данных: Неполные облака точек получены с помощью камеры Azure Kinect.
  • Алгоритм: Для завершения (completion) облаков точек использовалась нейронная сеть PF-Net.
  • Сравнение: Результаты сравнивались с реконструкцией, полученной по алгоритму MVS-SFM (Multi-View Stereo – Structure from Motion).

Ключевые результаты

  1. Завершение облаков точек: PF-Net успешно восстанавливал облака точек листьев разной формы и степени изгиба, демонстрируя хорошую способность к работе со сложными структурами.
  2. Влияние степени повреждения: Эффективность восстановления снижалась при увеличении доли отсутствующих данных, особенно в областях с множественными пропусками.
  3. Точность реконструкции: Около половины пар точек в восстановленных облаках имели ошибку расстояния менее 2 мм по сравнению с методом MVS-SFM.
  4. Расчёт площади листа: Точность оценки площади листа улучшилась после завершения облака точек с помощью PF-Net, приблизившись к результатам MVS-SFM.

Ограничения и перспективы

  • Проблемы: Алгоритм испытывал трудности при множественных окклюзиях или высокой доле отсутствующих данных. Также остаётся сложной задача определения правильной ориентации облака точек (проблема инвариантности к вращению).
  • Будущее развитие: Для улучшения результатов необходимы более реалистичные наборы данных для обучения и, возможно, многоэтапные сети, которые сначала определяют правильную позу модели, а затем завершают её.

Исследование подтверждает потенциал глубокого обучения для повышения точности оценки фенотипических параметров растений на основе данных активных сенсоров.