International conference of developers
and users of free / open source software

Обзор решений на рынке открытого ПО для создания СХД

Александр Клыга, Минск, belarus

LVEE Winter 2016

The survey of possible data storage solutions based on Open Source programs is presented. We focus on the ZFS file system and available solutions for data storage within the direct-attached storage model. In addition, solutions to form data storage by using network-attached storage and storage area networks are outlined. Eventually, a review of cluster data storage on the basis of the storage object files system is considered.

Создание эффективного хранилища данных – одна из сложных задач для системного архитектора и системного администратора, которому предстоит им управлять, и поэтому неудивительно, что очень часто эти две разные роли объединяются в одном лице. Именно ему приходится выбирать решение, способное эффективно решать поставленные задачи, и когда ограниченность ресурсов не дает возможности приобретения дорогих решений от ведущих вендоров в производстве систем хранения данных, выходом из подобной ситуации зачастую является использование решений с открытым программным обеспечением на базе операционных систем Linux.

Операционная система Linux с ее открытым кодом в сочетании с широкими возможностями поддержи различных аппаратных платформ и программных продуктов Open Source идеально подходит для создания эффективных систем хранения данных СХД любой сложности. Ниже представлен обзор нескольких таких решений.

Первое решение – программный продукт на базе дистрибутива Debian OpenMediaVault (официальный сайт проекта openmediavault.org), ориентированный на создание СХД модели NAS. Включает в себя программный RAID (0, 1, 5, 6, 10, JBOD), почтовый клиент, SSH, FTP, SMB/CIFS, NFS, RSYNC, средства управления пользователями и мониторинга работы. Возможности OMV могут быть расширены плагинами, например, такими как DAAP-медиа-сервер, ISCSI, BitTorrent-клиент и другими. В настоящий момент разработка и развитие OMV версии 2 приостановлена (последняя стабильная версия 2.1), и полным ходом идет работа над новой версией OMV 3.0 с кодовым названием “Erasmus” (данная версия в качестве beta доступна для скачивания и установки). Ключевой особенностью 3-й версии OMV станет адаптация проекта под новую версию Debian 8 и расширение возможностей за счет переработки старых и выпуска новых плагинов. В качестве ключевых особенностей данного дистрибутива также можно отметить многоязычность (включая поддержку русского языка), поддержку GPT и файловых систем ext4/XFS/JFS, неплохой web-интерфейс. Руководит проектом Волкер Тейле (Volker Theile), бывший основной разработчик FreeNAS.

Следующее решение в обзоре – проект openfiler (официальный сайт проекта www.openfiler.com), основанный на интересном дистрибутиве rPATH Linux. В настоящий момент для скачивания доступна версия 2.99. Ключевой особенностью данного проекта является возможность создания СХД моделей NAS/SAN с поддержкой интерфейсов FC (Fibre Channel) и iSCSI большой емкости (более 60TB). Openfiler поддерживает cсоздание и обслуживание программных RAID-массивов различных уровней (0,1,5,6 и 10), позволяет создавать и управлять кластерами. Данное решение включает широкий круг возможностей для предоставления и гибкого управления сетевыми сервисами (NFS, CIFS, HTTP/DAV, FTP, rsync). Также следует отметить, что openfiler поддерживает сетевые каталоги NIS, LDAP, Active Directory (в обычном и совмещенном режиме), контроллер домена Windows NT 4 и Hesio. Подключение по web-интерфейсу осуществляется по защищенному протоколу https. Все исходные коды проекта openfiler открыты и могут быть использованы для разработки и модификации собственных проектов.

При реализации DAS (direct-attached storage) модели СХД одним из решений может быть использование функционала файловой системы ZFS (в отличие от других типов файловых систем, ZFS это 128-битная ФС). Основным преимуществом ZFS для СХД является возможность строить хранилище данных большой емкости, с высокой отказоустойчивостью. Изначально файловая система ZFS была разработана в компании Sun для операционной системы Solaris, но в настоящее время ZFS портирована на большинство *NIX-систем (FreeBSD, MacOS), а также Linux (официальный сайт проекта zfsonlinux.org). Большинство облачных решений используют файловую систему ZFS как базовую для СХД, а в качестве базового дистрибутива Linux 64-битный дистрибутив Debian (версия 7 или 8). Также стоит отметить наиболее популярные решения СХД на базе файловой системы ZFS: это FreeNAS, NAS4Free, ZFSGuru (построены на базе дистрибутива FreeBSD) и NexentaOS (на базе проекта OpenSolaris).

Кластерные решения СХД базируются на возможностях распределенной файловой системы для построения высокопроизводительных и отказоустойчивых сетей хранения данных; как правило, данные решения наиболее востребованы при создании облачной инфраструктуры или организации централизованного хранилища данных в организациях. GlusterFS является наиболее популярным решением распределенной файловой системы для построения кластерных СХД. Кроме того, существует еще одно очень интересное решение, Ceph – распределенная файловая система, предназначенная для построения единого пространства СХД на базе отдельных узлов или аппаратных решений (официальный сайт проекта ceph.com).

Решение Ceph относится к открытым распределенным файловым системам и предназначено для создания отказоустойчивого распределенного хранилища данных, работающего по протоколу TCP. Одно из базовых свойств Ceph — масштабируемость до петабайтных размеров. РФС Ceph предоставляет на выбор три различных абстракции для работы с хранилищем: объектного хранилища (RADOS Gateway), блочного устройства (RADOS Block Device) или POSIX-совместимой файловой системы (CephFS). Главным отличием Ceph является абстрагирование от уровня ядра: вся обработка ведется в пользовательском пространстве, что позволяет исключить зависимость от аппаратной платформы. Как правило, данное решение используется при создании облачного хостинга или внутреннего единого корпоративного СХД.

Abstract licensed under Creative Commons Attribution-ShareAlike 3.0 license

Back