Искусственный интеллект оживляет виртуальную муху

Учёные из Janelia и Google DeepMind, используя искусственный интеллект, создали компьютерную модель плодовой мушки, которая может ходить и летать, как настоящая.

Новая виртуальная муха — это наиболее реалистичная симуляция плодовой мушки на сегодняшний день. Она сочетает анатомически точную модель внешнего скелета мухи, быстрый физический симулятор и искусственную нейронную сеть, обученную на поведении мух, чтобы имитировать действия реального насекомого.

Помимо ходьбы и полёта по сложным траекториям, виртуальная муха может использовать свои глаза для управления и корректировки полёта.

"Вы берёте реальные данные о мухах — как они летают и как ходят — обучаете сеть имитировать эти движения, а затем позволяете этой обученной сети управлять мухой и указывать, как двигаться. Это как маленький мозг, который контролирует движения мухи", — говорит Роман Ваксенбург, специалист по машинному обучению из лаборатории Тураги в Janelia, руководивший проектом.

Новая модель — это первая итерация виртуальной мухи команды, которую они планируют сделать ещё более реалистичной, добавив анатомические и сенсорные особенности, а также настоящую нейронную сеть. Это также первая модель в серии реалистичных моделей животных, которые они и другие исследователи теперь могут создавать с помощью этого универсального открытого фреймворка.

Эти модели могут помочь учёным полнее понять, как нервная система, тело и окружающая среда взаимодействуют для управления поведением. Реалистичные виртуальные модели позволят понять, как все эти компоненты взаимодействуют и как факторы, которые нельзя измерить в лаборатории — например, сила, действующая на тело при полёте, — влияют на поведение.

"Симуляция тела может показать, как команды нервной системы преобразуются в действия и поведение, и это 'как' связано с формой тела и физикой взаимодействия тела с миром. Всё это закодировано в этой физической симуляции", — говорит руководитель группы Janelia Шринивас Турага, старший учёный проекта.

Создание мухи

Новая модель основана на предыдущих работах по симуляции поведения плодовой мушки, включая Grand Unified Fly (использует упрощённую модель тела и ручную систему управления для симуляции полёта) и более позднюю NeuroMechFly (использует реалистичную модель тела и ручную систему управления с обученными компонентами для симуляции ходьбы).

В новой работе исследователи Janelia и учёные DeepMind под руководством старшего научного сотрудника Юваля Тассы и Джоша Мерела (ныне в Fauna Robotics) стремились улучшить анатомию, биомеханику, физику и поведение модели мухи, чтобы создать более реалистичную симуляцию, способную выполнять несколько действий.

"Исследования в вычислительной нейробиологии редко стремились моделировать вещи на таком глобальном уровне, несмотря на широкое признание, что понимание функций мозга зависит от понимания тела и его взаимодействий с другими физическими объектами", — говорит Мэтью Ботвиник, старший директор по исследованиям в DeepMind.

Специалист по исследованиям Janelia Игорь Сиванович отобразил различные части взрослой самки плодовой мушки под микроскопом и с помощью программного обеспечения создал анатомически точную виртуальную модель внешнего тела мухи, включая движения суставов и конечностей.

Исследователи DeepMind перевели эту виртуальную модель в код, который загрузили в симулятор MuJoCo — быстрый открытый физический симулятор, созданный для робототехники и биомеханики. Чтобы поддержать модель плодовой мушки, исследователи внесли значительные улучшения в симулятор, включая адгезионные приводы, моделирующие силы, создаваемые при сцеплении ног насекомого с поверхностью.

Команде также повезло, что Гвидо Новати разработал новую модель сил жидкости, которая описывает силы, действующие на муху при движении в воздухе. Модель может поддерживать все виды аэродинамического поведения, включая полёт с крыльями.

Затем Ваксенбург построил искусственную нейронную сеть и обучил её на реальном поведении мух, используя информацию из видеозаписей, предоставленных экспертами по поведению мух. Высокая скорость симулятора MuJoCo позволила команде внедрить в модель мухи нейронную сеть Ваксенбурга, которая научилась реалистично двигать мухой для выполнения действия. Когда модели даётся команда высокого уровня (например, идти вперёд с определённой скоростью), нейронная сеть переводит эту команду в движения низкого уровня, которые использовала бы настоящая муха.

"Цель состояла в том, чтобы повысить уровень реализма, и мы сделали это на двух фронтах: один — улучшение захвата анатомических деталей (как построена плодовая мушка), а другой — захват поведения (как она двигается и реагирует)", — говорит Ваксенбург.

Первый шаг

Новая модель — это только начало. Далее команда надеется создать ещё более реалистичную модель мухи, включив в своего виртуального насекомого другие части анатомии (например, мышцы и сухожилия) и реалистичную сенсорную систему. Они также хотят использовать для управления моделью настоящую нейронную сеть, например, коннектом вентрального нервного тяжа плодовой мушки.

Теперь, когда команда показала, что может создавать такие реалистичные виртуальные модели, они также хотят создать виртуальную мышь и рыбку данио — два организма, широко изучаемых нейробиологами. Конвейер, который они использовали для создания виртуальной мухи, также свободно доступен исследователям по всему миру, позволяя другим создавать свои собственные реалистичные модели.

"Мы показали, как это сделать, и можем сделать это снова для другого организма", — говорит Турага.