MammAlps: новый мультимодальный датасет для мониторинга поведения диких животных в Альпах

Ученые из EPFL создали MammAlps — первый богато аннотированный, многовидовой и мультимодальный видео-датасет, фиксирующий поведение диких млекопитающих в Швейцарских Альпах. Этот ресурс может стать прорывом для мониторинга дикой природы и природоохранных усилий.

Понимание естественного поведения животных критически важно для защиты экосистем, особенно на фоне изменений климата и антропогенного воздействия. Традиционные методы наблюдения (прямое или с помощью датчиков) часто инвазивны, а камеры-ловушки генерируют огромные объемы данных, сложные для анализа.

Для обучения ИИ-моделей распознаванию поведения необходимы размеченные датасеты. Существующие наборы данных либо собраны из интернета и лишены аутентичности дикой природы, либо представляют собой небольшие полевые записи без детального контекста.

Разработка датасета MammAlps

Ученые EPFL в сотрудничестве со Швейцарским национальным парком установили девять камер-ловушек, которые за несколько недель записали более 43 часов сырых видеоматериалов. После обработки с помощью ИИ-инструментов для детекции и отслеживания животных было получено 8,5 часов материала, демонстрирующего взаимодействия дикой природы.

Поведение было размечено с использованием иерархического подхода:

• Высокоуровневая активность: поиск пищи, игра.
• Детальные действия: ходьба, груминг, обнюхивание.

Для обогащения контекста видеозаписи были дополнены:

• Аудиодорожками.
• «Референсными картами сцены» с фиксацией элементов среды (источники воды, кусты, камни).
• Данными о погодных условиях и количестве особей в каждом событии.

«Включив другие модальности помимо видео, мы показали, что ИИ-модели могут лучше идентифицировать поведение животных. Этот мультимодальный подход дает нам более полную картину», — объясняет Александр Матис.

Новый стандарт и перспективы

MammAlps устанавливает новый стандарт мониторинга, предоставляя полный сенсорный снимок поведения с нескольких ракурсов, со звуком и контекстом. Датасет также вводит бенчмарк для «понимания долгосрочных событий», позволяя изучать не изолированные короткие клипы, а расширенные экологические сцены во времени (например, преследование волком оленя через несколько камер).

Исследования продолжаются. Команда обрабатывает данные, собранные в 2024 году, и проводит новые полевые работы в 2025-м для расширения записей по редким видам (альпийский заяц, рысь) и разработки методов анализа поведения в течение нескольких сезонов.

Создание подобных датасетов может радикально масштабировать мониторинг, позволив ИИ выявлять целевое поведение в сотнях часов видео. Это даст защитникам природы своевременную и полезную информацию для отслеживания влияния изменения климата, деятельности человека или вспышек болезней на поведение животных и поможет защитить уязвимые виды.

Работа была представлена как Highlight на конференции IEEE/CVF CVPR (11–15 июня 2025) и опубликована на сервере препринтов arXiv.