Учёные помогают обуздать волну геномных данных с помощью SDSC Trestles

Секвенирование ДНК организма стало рутинной задачей, но сборка полученной информации в целостную картину остаётся серьёзной проблемой обработки данных. Исследователи, используя вычислительные ресурсы Суперкомпьютерного центра Сан-Диего (SDSC), создали более быстрый и эффективный способ сборки геномной информации.

В статье, представленной на 39-й Международной конференции по очень большим базам данных (VLDB2013), Сяфэн Янь объясняет, как он использовал кластер SDSC Trestles для разработки нового алгоритма MSP (minimum substring partitioning), который помогает с высокой эффективностью собирать геномы. MSP — критическая часть программного конвейера, собирающего целые геномы.

Янь и его коллеги смогли оптимизировать один из двух шагов, чтобы использовать всего 10 гигабайт памяти без замедления времени выполнения.

"Высококачественное секвенирование генома лежит в основе многих важных биологических и медицинских проблем. С появлением технологий массового параллельного секвенирования ДНК вопрос управления и обработки больших последовательностей данных стал важной проблемой. Экспериментальные результаты показали, что MSP может не только успешно выполнять задачи на очень больших наборах данных с использованием небольшого объёма памяти, но и превосходит по производительности существующие передовые алгоритмы".

Экспериментальные результаты демонстрируют, что улучшение эффективности MSP может вскоре сделать возможной сборку больших геномов с использованием менее дорогих стандартных кластеров вместо высокопроизводительных ресурсов.

Существующие методы секвенирования производят огромное количество — миллиарды для высшего организма, такого как человек — перекрывающихся коротких последовательностей, случайно отобранных из генома. Основная задача — собрать эти короткие чтения (от десяти до нескольких сотен оснований) обратно в целый геном, что требует огромного объёма памяти.

Используя Trestles, Янь и его коллеги показали, что MSP значительно сокращает использование памяти на одном из требуемых шагов по сравнению с широко используемыми алгоритмами (Velvet, SOAPdenovo), устраняя одно из узких мест. Геном млекопитающего, обрабатываемый другими алгоритмами, потребляет сотни гигабайт памяти, в то время как MSP позволяет выполнить ключевой шаг с 10 ГБ памяти без замедления.

Янь и его коллеги работают над оптимизацией второго шага, который также потребляет значительный объём памяти, и уже сократили его использование памяти на две трети.