Новый и быстрый способ извлечения поведения животных из видео
Исследователи из кластера передового опыта Collective Behavior представили метод YOLO-Behaviour: новую компьютерную систему для автоматической идентификации поведения животных на видео. Этот надежный и простой в использовании инструмент снижает порог входа для биологов, желающих автоматизировать сбор данных с помощью технологий ИИ.
Сбор видеоданных — давно устоявшийся способ, которым биологи собирают данные для измерения поведения животных и людей. Например, видео могут снимать людей, сидящих перед камерой во время совместного приема пищи в Университете Констанца, или для подсчета частоты посещений гнезд родителями домовых воробьев на острове Ланди, Великобритания.
Все эти видеонаборы данных объединяет одно: после их сбора исследователям приходится кропотливо просматривать каждое видео, вручную отмечая, кто, где и когда совершает интересующее действие — процесс, известный как «аннотация». Это становится основным узким местом при анализе данных, так как ручная аннотация часто занимает много времени и может быть подвержена человеческим предубеждениям.
С недавним взрывным развитием ИИ и компьютерного зрения такие инструменты, как ChatGPT, могут «читать» изображение и понимать, что на нем происходит. Можно ввести описание видео, и модели ИИ сгенерируют его фотореалистичный образец. Многие биологи задаются вопросом: неужели эти мощные модели не могут помочь им сэкономить время на трудоемкой аннотации видео?
К сожалению, пока это не так. Проблема в том, что каждая экспериментальная установка уникальна, каждый исследователь хочет извлекать разные данные, и оптимальное решение для компьютерного зрения часто меняется в зависимости от обстоятельств. Это затрудняет для биологов выбор лучшей модели ИИ, несмотря на множество решений, разработанных компьютерными учеными за годы.
Разнообразная команда исследователей из кластера Collective Behavior и Института поведения животных Общества Макса Планка под руководством аспиранта Алекса Чана Хой Ханга надеется решить эту проблему. В своей статье, опубликованной в журнале Methods in Ecology and Evolution, команда представила YOLO-Behaviour — надежную и гибкую систему для поведенческой аннотации видео.
В отличие от распространенного определения «You only live once» (ты живешь только один раз), YOLO здесь означает «You only look once» (ты смотришь только один раз) и описывает семейство моделей компьютерного зрения, которые идентифицируют объекты на изображениях, сканируя их один раз.
Команда продемонстрировала гибкость системы, представив кейсы от контролируемых лабораторных условий до данных, собранных в дикой природе. Система может автоматически идентифицировать:
- домовых воробьев, посещающих гнездовые ящики на острове Ланди, Великобритания;
- кукш, питающихся с кормушки в шведской Лапландии;
- людей, принимающих пищу в лаборатории в Констанце;
- голубей, ухаживающих и кормящихся в Констанце;
- зебр и жирафов, бегающих и пасущихся в национальном парке в Кении.
Снижение барьера для автоматизированного анализа
Показано, что YOLO-Behaviour работает в самых разных исследовательских системах и кейсах, и, что важно, его очень легко обучать и внедрять, не требуя специализированных навыков программирования. Чтобы обеспечить широкую применимость метода, авторы также предоставили подробную документацию, инструкции и видеоурок.
«Каждый поведенческий эколог, которому приходилось вручную кодировать видео, мечтал об инструменте, который все автоматизирует, — добавляет Чан. — Я надеюсь, что этот инструмент станет шагом к этой мечте и поможет исследователям в области поведения животных сэкономить время на трудоемком кодировании», — сказал Фумихиро Кано, старший автор статьи.
Этот метод уже внес вклад в автоматический анализ видео в каждой из представленных систем. В системе с домовыми воробьями на Ланди метод был применен для извлечения данных о частоте родительских посещений из почти 2000 ранее не проанализированных видео, более чем вдвое увеличив объем данных для изучения причин и последствий родительского поведения. Для системы с кукшами метод можно применить для обработки видеозаписей кормления за несколько лет, чтобы изучать кооперативное поведение и эволюцию жизни в социальных группах.
Метод не ограничивается применением в поведенческой экологии и имеет потенциал в таких областях, как психология, благополучие животных или управление домашним скотом. Ожидается, что этот инструмент сможет легко применяться в разных системах по всему миру, увеличивая скорость сбора и анализа данных, чтобы помочь исследователям понимать и измерять поведение животных.