Анализ геномов человека в облаке

Большинство биоинформатических программ для геномного анализа являются экспериментальными и имеют относительно высокий процент сбоев. Кроме того, облачная инфраструктура сама по себе при работе в больших масштабах подвержена системным сбоям. Эти проблемы означают, что анализ больших биомедицинских данных может занимать много времени и требовать огромных затрат. Чтобы решить эти проблемы, Сергей Якнеен, Ян Корбель и их коллеги из EMBL разработали систему, которая эффективно выявляет и исправляет сбои.

Исследователям, работающим в облаке, необходим ряд технологических навыков: от настройки больших кластеров машин и загрузки на них ПО до работы с сетями, безопасностью данных и эффективного восстановления после сбоев. Butler помогает исследователям освоить эти новые области, предоставляя подходящие инструменты для преодоления всех этих проблем.

Экономия времени за счёт мониторинга системы

Butler отличается от других систем биоинформатических рабочих процессов тем, что постоянно собирает метрики работоспособности всех компонентов системы, например, центрального процессора (CPU), памяти или дискового пространства. Его модули самовосстановления используют эти метрики, чтобы определить, когда что-то пошло не так, и могут автоматически перезапустить вышедшие из строя службы или машины.

Когда автоматическое действие не срабатывает, оператор уведомляется по электронной почте или Slack для решения проблемы. Ранее для проверки подобной системы и обнаружения сбоев требовалась команда обученных людей. Автоматизируя этот процесс, Butler значительно сокращает время, необходимое для выполнения крупных проектов. «Действительно очень приятно, что эти масштабные анализы теперь могут занимать несколько месяцев вместо лет», — говорит Корбель.

Открытый исходный код

Для отдельных проблем, связанных с научными вычислениями в облаке, уже существуют хорошие решения. Поэтому вместо изобретения велосипеда команда усовершенствовала существующие технологии. «Мы создали Butler, интегрировав большое количество устоявшихся проектов с открытым исходным кодом, — говорит первый автор статьи Сергей Якнеен, ныне операционный директор SOPHiA GENETICS. — Это значительно повышает простоту и рентабельность поддержки программного обеспечения и регулярно привносит новые функции в экосистему Butler без необходимости серьёзных усилий по разработке».

Помимо стабильности и ремонтопригодности системы, использование облака для геномных исследований также сопряжено с проблемами конфиденциальности данных и различиями в их регулировании в разных странах. Крупным проектам потребуется одновременное использование нескольких облачных сред в разных институтах и странах, чтобы соответствовать разнообразным требованиям различных юрисдикций к обработке данных. Butler решает эту задачу, поскольку может работать на самых разных облачных вычислительных платформах, включая большинство крупных коммерческих и академических облаков. Это позволяет исследователям получать доступ к самому широкому спектру наборов данных, соблюдая при этом строгие требования к защите данных.

Butler в действии

Способность Butler облегчать такие сложные анализы была продемонстрирована в рамках проекта Pan-Cancer Analysis of the Whole Genome. Butler обработал набор данных геномов рака объёмом 725 терабайт эффективно по времени и единообразно, используя 1500 ядер CPU, 5,5 терабайт оперативной памяти и примерно один петабайт памяти. Европейский институт биоинформатики (EMBL-EBI) сыграл решающую роль, предоставив доступ и поддержку своему Embassy Cloud, который использовался для тестирования Butler. Система недавно также использовалась в других проектах, например, в пилотном проекте European Open Science Cloud (EOSC).

Проект Pan-Cancer

Проект Pan-Cancer Analysis of Whole Genomes — это сотрудничество более 1300 учёных и клиницистов из 37 стран. В его рамках был проанализирован 2601 геном 38 различных типов опухолей, что создало огромный ресурс первичных геномов рака. Это стало отправной точкой для 16 рабочих групп, изучающих различные аспекты развития, причин, прогрессирования и классификации рака.