Мыши решают головоломки-сейфы: создан крупный видео-датасет с несколькими камерами
Видео-датасеты, такие как записи с камер наблюдения за дикой природой или в лаборатории, стали ключевым инструментом для изучения поведения животных. Они позволяют проводить количественный анализ движений, взаимодействий, отслеживания и классификации поведения.
Однако большинство существующих видео-датасетов с мышами фиксируют лишь простые или социальные действия, что не позволяет изучать более сложное, целенаправленное поведение, например, решение задач. Исследователи из берлинского кластера Excellence Science of Intelligence создали новую крупномасштабную коллекцию видео, где мыши решают головоломки-«сейфы», чтобы получить награду.
Этот датасет, включающий съёмку с нескольких ракурсов, является одним из крупнейших когда-либо полученных для мышей и предоставляет эталон для разработки и тестирования новых инструментов изучения сложного поведения животных. Исследование принято на воркшоп CV4Animals конференции CVPR 2025. Препринт статьи доступен на сервере arXiv.
Крупные датасеты помогают лучше понять поведение
Вычислительная этология — это междисциплинарная область, использующая современные достижения машинного обучения и компьютерного зрения для измерения, описания и анализа естественного поведения свободно движущихся животных.
Хотя эта область становится всё важнее, большинство существующих датасетов предназначены только для анализа простых и социальных действий (например, еды, атаки, обнюхивания или ходьбы) и не имеют хорошо определённых меток и аннотаций, позволяющих изучать сложное поведение. Это ограничивает их применение для анализа целенаправленных действий, решения задач и других процессов, критичных для понимания когнитивных функций.
Один из крупнейших датасетов с мышами
Чтобы создать достаточно большую базу данных, учёные сняли двенадцать мышей, которые многократно пытались решить механические головоломки-сейфы. Каждый сейф состоял из одного механизма или серии последовательных механизмов, ведущих к награде — овсяному хлопью.
«Это первый крупномасштабный размеченный видео-датасет с несколькими ракурсами, показывающий сложное поведение отдельной мыши при решении механических головоломок», — сказал Марк Бун, один из основных авторов исследования. «Каждый сейф содержит пищевую награду и состоит из одного или комбинации четырёх различных механизмов».
Исследователи получили более 100 часов видеозаписей, а затем размечили около 15 выбранных часов, добавив информацию о наблюдаемом поведении: взаимодействиях между частями тела мыши и отдельными механизмами сейфов. Насколько части тела мыши удалены от головоломки? Касается ли мышь чего-то передними лапами? Кусает? Отпирает? Достигает награды? В результате получился датасет с несколькими камерами, который по размеру превосходит большинство предыдущих датасетов с мышами.
Согласованность между аннотаторами была очень важным аспектом создания датасета. «Чтобы обеспечить высокое качество меток, каждое размеченное видео аннотировалось двумя обученными людьми, а их согласие тщательно оценивалось», — пояснил ведущий первый автор Патрик Райске.
«Согласованность между людьми-оценщиками — ключевой аспект, поскольку любой анализ поведения опирается на высококачественные метки как на базовый уровень. Например, если один аннотатор пометил поведение как "кусание рычажного механизма", мы должны установить, согласен ли с этим другой аннотатор, а также даёт ли наш автоматический алгоритм ту же самую метку. Для этого мы используем устоявшуюся качественную метрику для оценки так называемой межэкспертной надёжности, чтобы обеспечить честное сравнение согласия "человек–человек" (золотой стандарт) с согласием "человек–компьютер"».
Почему это важно
Понимание сложного поведения животных необходимо для понимания того, как работает интеллект — как биологический, так и искусственный. В то время как большинство существующих датасетов фиксируют лишь простые действия, ограничивая нашу способность изучать когнитивные процессы, такие как планирование, принятие решений и решение задач, этот новый датасет заполняет пробел, предоставляя высококачественные, многоракурсные, размеченные человеком данные о животных, выполняющих целенаправленные последовательные задачи.
«Главная важность этих датасетов в том, что они служат эталоном, с которым можно сравнивать новые алгоритмы анализа поведения животных. Например, если исследователи разрабатывают новые алгоритмы оценки позы, классификации действий и обучения представлений и хотят оценить их точность, они найдут наш датасет полезным», — пояснила соавтор работы Соле Траверсо.