Виртуальные маркеры обеспечивают высокоточное отслеживание поз нескольких животных в переполненных средах
Для изучения социального поведения животных в естественных условиях необходимо одновременное и точное отслеживание нескольких особей, взаимодействующих в общем пространстве.
Традиционные системы, такие как multi-animal DeepLabCut (maDLC) и Social LEAP Estimates Animal Poses (SLEAP), используют покадровую идентификацию без маркеров. Они эффективны в простых сценариях, но становятся неэффективны в переполненных средах, где животные сбиваются в кучу или заслоняют друг друга.
Для решения этих проблем исследователи из Университета Дошиша (Япония) разработали метод "Virtual Marker Tracking" (vmTracking). Он присваивает виртуальные маркеры безмаркерным животным на видео для постоянной идентификации, что затем используется для отслеживания поз.
Принцип работы vmTracking
Метод эволюционировал из идеи отслеживания визуально различимых животных (например, черных и белых мышей) с помощью single-animal DLC (saDLC). В vmTracking метки, полученные от обычного многоживотного отслеживания поз, используются как «виртуальные» маркеры. Процесс включает два последовательных этапа:
- Отслеживание нескольких животных и создание файла с результатами.
- Присвоение виртуальных маркеров отдельным особям для точной покадровой идентификации и последующий анализ видео с помощью инструмента отслеживания поз для одного животного (например, saDLC).
Результаты испытаний
- При отслеживании черных мышей на черном фоне (условия низкой контрастности) интеграция vmTracking с DLC (vmT-DLC) превзошла maDLC по количеству совпадений и улучшила точность отслеживания поз с ростом процента идентификации.
- При отслеживании черных мышей на белом фоне vmTracking значительно превзошел maDLC по совпадениям и продемонстрировал точность, превосходящую точность самих виртуальных маркеров, даже в условиях перекрытия и скученности.
- Метод минимизировал необходимость ручных корректировок и кадров для аннотации при обучении.
- В эксперименте со стаей из 10 рыб целевой и прогнозируемый процент совпадений с помощью vmT-DLC превысил 99%.
- Высокоточные результаты также были получены при отслеживании скоординированных поз и движений человеческих танцоров.
Значение и перспективы
Исследование демонстрирует, что применение виртуальных маркеров к видео с безмаркерными животными позволяет проводить точное и эффективное отслеживание даже в сложных и переполненных средах. Метод упрощает процесс, значительно снижая зависимость от ручной аннотации и обучения.
vmTracking представляет собой надежную альтернативу традиционным методам и полезный инструмент для изучения поведения животных, экологии и смежных областей. Он также имеет потенциал для применения в человеческих сценариях, таких как анализ в спорте (например, в футболе или баскетболе), где часты взаимодействия игроков.
Дальнейшие исследования влияния количества, цвета, размера и положения виртуальных маркеров на точность vmTracking помогут усовершенствовать метод и открыть возможности для более глубокого понимания динамики стад и социального поведения.