Новый алгоритм использует онлайн-обучение для работы с огромными наборами данных о клетках

Ученые до сих пор стремятся определить различные типы клеток, из которых состоят наши органы. Техника одноклеточного секвенирования позволяет распознавать и классифицировать клетки по характеристикам, таким как экспрессия генов, но она генерирует колоссальные объемы данных — наборы в сотни тысяч и миллионы клеток.

Исследователи под руководством Джошуа Уэлча, Ph.D., и аспиранта Чао Гао разработали новый алгоритм, который использует онлайн-обучение. Это значительно ускоряет процесс анализа и позволяет исследователям по всему миру работать с большими наборами данных, используя объем памяти стандартного ноутбука. Результаты опубликованы в журнале Nature Biotechnology.

"Наша техника позволяет любому, у кого есть компьютер, проводить анализ в масштабе целого организма", — говорит Уэлч.

Принцип работы и преимущества:

• Добавление новых данных без пересчета старых: Обычно каждый новый набор данных нужно повторно анализировать вместе со всеми предыдущими. Новый подход позволяет добавлять данные к существующим без повторной обработки старых.
• Обработка "мини-пакетами": Алгоритм разбивает наборы данных на "мини-пакеты", что резко снижает требуемый объем оперативной памяти.
• Критично для больших данных: "В этом году вышло пять-шесть статей с двумя миллионами клеток или более. Объем памяти, который вам нужен просто для хранения сырых данных, значительно больше, чем есть у любого на компьютере", — поясняет Уэлч.

Аналогия и применение:

Уэлч сравнивает технику с непрерывной обработкой данных в социальных сетях, таких как Facebook и Twitter, которые обрабатывают постоянно генерируемый контент. "Здесь вместо людей, пишущих твиты, у нас есть лаборатории по всему миру, проводящие эксперименты и публикующие свои данные".

Алгоритм был протестирован на данных Инициативы BRAIN Национальных институтов здоровья (NIH) — проекта по картированию каждой клетки человеческого мозга. Эта разработка может значительно повысить эффективность и других амбициозных проектов, таких как Карта человеческого тела и Атлас клеток человека.

"Понимание нормального набора клеток в организме — это первый шаг к пониманию того, как они нарушаются при болезни", — заключает Уэлч.