NeuroMechFly: Цифровой двойник дрозофилы
Ученые EPFL создали цифровую модель плодовой мушки Drosophila melanogaster, реалистично симулирующую движения животного. Этот двойник — большой шаг к обратному проектированию нейромеханического контроля поведения животных и созданию биоинспирированных роботов.
Для построения NeuroMechFly использовали два типа данных: КТ-сканирование реальной мушки для создания морфологически реалистичной биомеханической модели и данные о реальных движениях конечностей, полученные с помощью ПО для оценки позы, разработанного за последние годы.
Группа профессора Павана Рамдьи в сотрудничестве с лабораторией биоробототехники профессора Ауке Айспирта представила в Nature Methods первую точную цифровую копию мушки.
Фундамент модели
Работа основана на предыдущих разработках группы:
- DeepFly3D (2019): ПО для захвата движения на основе глубокого обучения, использующее несколько камер для 3D-количественной оценки движений дрозофилы.
- LiftPose3D (2021): метод реконструкции 3D-поз животного по 2D-изображениям с одной камеры.
NeuroMechFly, ограниченная морфологическими и кинематическими данными из этих исследований, включает независимые вычислительные части, симулирующие разные отделы тела насекомого:
- Биомеханический экзоскелет с сочленяющимися частями (голова, ноги, крылья, сегменты брюшка, хоботок, антенны, жужжальца).
- Нейросетевые "контроллеры" с моторным выходом.
Зачем создавать цифровой двойник?
Модель позволяет:
- Протестировать, достаточно ли наших знаний о нервной системе и биомеханике мушки для объяснения ее поведения.
- Интегрировать множество взаимосвязанных компонентов и предсказать последствия их изменений, что становится критически важным по мере усложнения нейронауки.
Валидация и возможности
Исследователи проверили точность модели:
- Измерили 3D-движения реальных ползающих и чистящихся мух.
- Воспроизвели эти поведения в физической симуляционной среде, используя биомеханический экзоскелет NeuroMechFly.
Модель успешно предсказала различные непроизмеряемые параметры движения, такие как крутящий момент ног и силы контактной реакции с грунтом. Также с ее помощью обнаружили параметры нейронной сети и мышц, позволяющие мушке "бегать" способами, оптимизированными и для скорости, и для устойчивости.
Неудачи симуляции в воспроизведении поведения указывают пути для улучшения модели, делая NeuroMechFly мощным полигоном для понимания того, как поведение возникает из взаимодействия сложных нейромеханических систем с их физическим окружением.
Проект для сообщества
NeuroMechFly — это инструмент для всего научного сообщества:
- ПО с открытым исходным кодом, свободно доступное для использования и модификации.
- Модульная архитектура с руководствами по применению.
Модель задает новую планку реализма, показывая, как можно напрямую использовать данные для информирования модели, воспроизводить поведения и извлекать значимую информацию.