Учёные Сингапура разработали новый метод сжатия данных геномного секвенирования

Компания Hitachi и Институт хранения данных (Data Storage Institute, DSI) Агентства по науке, технологиям и исследованиям (A*STAR) разрабатывают технологию сжатия данных для решения проблемы растущего объёма данных геномного секвенирования, генерируемых в здравоохранении и биомедицине. Поскольку прогнозируется, что объём таких данных будет удваиваться ежегодно, партнёры стремятся создать более эффективную технологию хранения, которая будет сжимать данные геномного секвенирования лучше существующих методов. Это продолжение более раннего сотрудничества, в ходе которого исследователи Hitachi и DSI обнаружили паттерны типичных операций с геномными данными, позволяющие оптимизировать работу современных систем хранения.

Геномное секвенирование — процесс, требующий обработки больших данных, и для расшифровки порядка нуклеотидных оснований дезоксирибонуклеиновой кислоты (ДНК) — Аденина (A), Цитозина (C), Гуанина (G) и Тимина (T) — необходимы мощные вычислительные машины. Геном одного человека содержит более трёх миллиардов таких генетических «букв» и занимает до 725 МБ несжатых данных. Объём данных многократно увеличивается при их репликации, обработке и глобальном обмене между исследователями, достигая терабайтов. Учёные и медики используют данные секвенирования для расшифровки последовательности букв, чтобы лучше понять анатомию человека, взаимодействие генов и их влияние на рост и развитие организма. Это, в свою очередь, помогает выявить причины распространённых генетических расстройств. Например, секвенирование генов опухолевых клеток помогает врачам изучать мутации и отличать раковые клетки от здоровых тканей, позволяя точнее подбирать лекарства для лечения конкретных опухолей.

Такие ощутимые медицинские преимущества в сочетании с развитием высокопроизводительных секвенаторов ведут к всё более широкому использованию инструментов генетического анализа. Это, вероятно, приведёт к лавинообразному росту скорости, объёма и разнообразия создаваемых геномных данных. Эта тенденция создаёт серьёзные проблемы для дата-центров, которым необходимо обеспечивать высокопроизводительные системы хранения и быстрый доступ к большим геномным файлам. Экспоненциальный рост данных геномного секвенирования также увеличит нагрузку на существующие дата-центры, снизит их производительность и создаст огромный спрос на большее дисковое пространство. Другие факторы, повышающие стоимость, включают высокое энергопотребление дата-центров и операционные расходы на поддержку инфраструктуры.

Стремясь решить текущие проблемы с вычислительными мощностями и масштабируемостью, исследователи DSI по заказу изучили, как данные геномного секвенирования оптимизируются учёными из Института генома Сингапура (GIS), также входящего в A*STAR. Исследование характеристик геномных данных показало, что существующие методы сжатия вряд ли справятся с текущими нагрузками из-за неэффективности и высоких требований к объёму памяти. Опираясь на коллективные выводы этого более раннего проекта, Hitachi и DSI теперь работают над устранением недостатков современных моделей хранения данных, чтобы разработать инновационный метод сжатия геномных данных. Его цели — снизить потребность в ёмкости хранилищ, ускорить процесс распаковки данных и уменьшить стоимость хранения.

«Повысив степень сжатия, мы можем представить, что небольшие центры геномного секвенирования смогут обрабатывать петабайты данных в год по сравнению с текущими терабайтами, которые в основном доступны лишь крупным центрам из-за ограничений по хранению. DSI продолжит играть ключевую роль в создании новых технологий хранения для биомедицинских исследований и здравоохранения, чтобы ускорить научные открытия», — заявил д-р Пантелис Алексопулос, исполнительный директор DSI.

«Мы рады продолжить наше давнее партнёрство с DSI в области исследований сетевых систем хранения. Как лидер отрасли в области технологий хранения и биоинформатических программных решений, я уверен, что результат этого сотрудничества приведёт к созданию более инновационных решений, которые потенциально могут стать одним из будущих направлений бизнес-экспансии Hitachi», — сказал г-н Макото Нагасима, управляющий директор Hitachi Asia Ltd.