Применение iSCSI RAID LVM для создания частного облачного хранилища данных. Эльдорадо под нашими ногами

Вячеслав Бочаров, Минск, Belarus
LVEE Winter 2012

Creation of a cloud storage system is presented, nodes of which are workstations based on existing technologies (RAID, iSCSI, LVM). Lowcost file storage from nothing and its evolution perspectives are discussed.

Постоянная потребность пользователей информационных систем в дисковом пространстве для надежного хранения данных приводит к необходимости развертывания систем хранения данных с достаточно высокой стоимостью приобретения и эксплуатации. В тоже время дисковое пространство рабочих мест пользователей информационной системы остается незадействованным, и не используется в инфраструктуре предприятия. Фактически, как в фантастическом Эльдорадо, такое нужное дисковое пространство “рассыпано” у нас под ногами, и его можно заставить работать на благо нашей инфраструктуры без изобретения “Звезды смерти” – все нужные технологии у нас уже есть. Для этого необходимо выполнить следующие шаги:

Предоставить часть дискового пространства рабочей станции в общее пользование – для этого мы используем iSCSI taraget. При среднем размере диска рабочей станции в 300 ГБ реально используется не более 150, поэтому еще столько же можно отдать в облако. Если на предприятии 100 рабочих станций – результатом будет 15 Тб “сырого” пространства на 100 дисках.
Собрать предоставленное пространство в единый RAID-массив на сервере.

Реализация перечисленных действий требует решения нескольких проблем.
В частности, используя рабочие станции пользователей как поставщики дискового пространства, мы должны учитывать следующее: то, что для СХД является нештатной ситуацией (выход из строя нескольких дисков), для нашего облака – обычное явление. Поэтому избыточность должна быть большой. Я использую конфигурацию RAID-10 через mdadm на CentOS. Это позволяет контролировать состояние RAID-массива, менять вышедшие из эксплуатации узлы ISCSI, оперативно настраивать массив.

Также необходимо большое количество дисков HOT SPARE, и нужна система их активации. Это повышает процент потери пространства (в опробованной конфигурации до 40% уходит на резервирование), но зато это пространство практически взято из воздуха.

Еще один проблемный момент – окончание рабочего дня, когда большая часть узлов выключается. Можно было бы реализовать схему со спящим режимом, но тогда возрастает энергопотребление организации. Проще рассматривать нерабочий период как прерывание работы контроллера системы и выключение контроллера по расписанию либо по достижению определенного порога выхода из сети iSCSI-дисков, что легко реализуется скриптами bash.

Вполне естественно будет упомянуть необходимость использования в сети 1Gb и Jambo Frame.
В отношении скорости такой системы можно заметить, что данная конфигурация дает показатели IOPS 75/80 – значения, сравнимые с показателями SATA 7200 HDD.
Оперативное изменение размера облака решаемо штатными средствами – LVM. Благодаря использованию LVM мы имеем возможность расширять существующее дисковое пространство просто добавлением еще одной группы RAID.

Резюме:

Хотя предлагаемое решение не предназначено быть заменой высоконагруженным решениям, оно может вполне успешно использоваться для системы файлового хранения – как известно, самой прожорливой.
Стоимость данного решения чрезвычайно низка. Оно позволяет эксплуатировать ресурсы предприятия полностью.
Развитие представленного направления в облачных СХД имеет большое будущее. Благодаря таким подходам надежные системы хранения станут не уделом дорогих систем корпоративного уровня, а будут доступны рядовым пользователям. При разработке специализированной системы с резервированием контроллеров, оптимизацией распределение ресурсов между дисками, повышением отказоустойчивости и уменьшением потерь дискового пространства, возможно даже появление сообществ, позволяющих создавать дисковое пространство, разделяемое не только между пользователями одной организации, но и между членами самоорганизующихся сообществ.

Текст тезисов доступен под лицензией Creative Commons Attribution-ShareAlike 3.0.