Разработан новый ИИ-инструмент для продвинутого анализа поведения животных

Исследователи из Института фундаментальных наук (IBS) создали новый аналитический инструмент SUBTLE (Spectrogram-UMAP-Based Temporal-Link Embedding) для классификации и анализа поведения животных с помощью ИИ на основе 3D-информации о движении. Работа опубликована в International Journal of Computer Vision.

Проблема традиционных методов:

  • Анализ часто основан на низкоразмерных данных (время, частота движений) с одной камеры.
  • Обучение ИИ требует трудоёмкой ручной разметки данных человеком.
  • Результаты могут искажаться из-за субъективной оценки экспериментатора (observer bias).

Как работает SUBTLE:

  1. Сбор данных: Движения мышей записываются несколькими камерами. Из видео извлекаются 3D-координаты девяти ключевых точек (голова, ноги, бёдра), формируя данные о скелетных движениях во времени.
  2. Обработка: Временные ряды данных сокращаются до двух измерений для эмбеддинга — создания векторов, которые представляют сложные данные более сжато и содержательно.
  3. Кластеризация: Схожие поведенческие состояния группируются в субкластеры, которые затем объединяются в суперкластеры, представляющие стандартные паттерны поведения (репертуар): ходьба, стояние, уход за шерстью и т.д.

Ключевое нововведение:

В процессе кластеризации исследователи предложили новую метрику — Индекс Временной Близости (Temporal Proximity Index, TPI). Она оценивает, насколько каждый кластер включает одно и то же поведенческое состояние и эффективно представляет движения во времени, аналогично тому, как люди учитывают временную информацию при классификации поведения.

Значение и применение:

  • Чхэ Миён, руководитель группы Data Science: «Внедрение новых метрик оценки и эталонных данных для автоматизации классификации поведения животных — результат сотрудничества нейробиологии и data science. Ожидаем, что этот алгоритм будет полезен в различных отраслях, требующих распознавания паттернов поведения, включая робототехнику».
  • Ли Джастин, директор Центра когнитивности и социальности IBS: «Мы разработали эффективную систему анализа поведения, которая минимизирует человеческое вмешательство, применяя механизмы распознавания человеческих поведенческих паттернов. Она имеет значительный промышленный потенциал и может быть инструментом для более глубокого понимания принципов распознавания поведения в мозге».

Дополнительно:

  • Технология SUBTLE была передана компании Actnova (специализируется на ИИ-анализе поведения) в апреле 2023 года. В этом исследовании использовалась система анализа поведения животных AVATAR3D от Actnova.
  • Код SUBTLE является open-source. Для исследователей, не знакомых с программированием, доступен удобный графический интерфейс (GUI) через веб-сервис SUBTLE.