Особенности физических исследований в ГРИД-инфраструктуре Украины
Дмитрий Сподарец, Григорий Драган, Одесский национальный университет имени И.И.Мечникова
LVEE 2012
The paper introduces basic concepts and principles of GRID functioning illustrated by the Ukrainian National GRID, describes goals and tasks of High-Performance Computing & Free /Open Source Centre of I.I. Mechinkov Odessa National University, and explains steps required to register and work in GRID.
ГРИД-технологии позволяют объединять информационные и вычислительные ресурсы путём создания единой компьютерной инфраструктуры нового типа, которая обеспечивает глобальную интеграцию этих ресурсов на базе сетевых технологий и специализированного программного обеспечения промежуточного уровня, а также набора стандартизированных служб для обеспечения доступа к географически распределённых информационных и вычислительных ресурсов: компьютеров, кластеров, хранилищ данных.
Для развития и популяризации Украинского национального ГРИД (УНГ) на юге Украины, а также для увеличения собственных вычислительных ресурсов при Одесском национальном университете имени И.И. Мечникова был создан Центра суперкомпьютерных вычислений и свободного программного обеспечения. Сегодня Центр активно участвует в популяризации ГРИД-технологий, на его базе проводятся научные исследования по самоорганизации упорядоченных структур в дымовой плазме, он выполняет роль регионального регистратора УНГ, проводит различные семинары и конференции, в частности, осенью на конференции FOSS Sea 2012 будет сформирована отдельная секция, посвящённая HPC и GRID-технологиям. Кроме этого, Центр активно поддерживает OpenSource-сообщество, открыт для сотрудничества и воплощения в жизнь новых интересных совместных проектов.
В качестве базового программного обеспечения на кластере Центра используется свободное программное обеспечение промежуточного уровня ARC, разработанное с использованием Globus toolkit и распространяемое по лицензии Apache. Для моделирования физико-химических процессов используется пакет молекулярной динамики — GROMACS, который распространяется под GPL лицензией.
Организации, которая хотела бы совместно использовать вычислительные ресурсы GRID и предоставить свои ресурсы сообществу УНГ, необходимо пройти ещё регистрацию ГРИД-сайта, которая описана здесь: http://ung.in.ua/ua/join/.
Для обеспечения работы подключаемого кластера, на нем должно быть настроено программное обеспечение ARC. На данный момент ARC поддерживает взаимодействие практически со всеми широко распространенными системами управления очередями задач.
Подключиться к УНГ в качестве пользователя и начать работать достаточно просто. Рассмотрим основные шаги по регистрации и началу работы.
Для обеспечения аутентификации пользователю необходимо получить сертификат пользователя. Полная процедура получения описана по адресу http://ung.in.ua/ua/certification/.
После получения персонального сертификата, его и закрытую часть ключа необходимо установить в директорию .globus:
- usercert.pem – цифровой сертификат пользователя (часть с открытым ключом). Ключ обязательно должен быть подписан Центром сертификации и быть добавлен в какую-то виртуальную организацию;
- userkey.pem – секретный ключ сертификата пользователя.
Доступ в ресурсам GRID происходит под именем, содержащемся в сертификате, и контролируется с помощью специальной программы-посредника (электронной «доверенности» – proxy), которая создается на определенный ограниченный срок с помощью персонального ключа (userkey.pem) пользователя. Сервисные службы GRID могут выполнять любые действия, только если располагают копией такой доверенности.
Данная доверенность создаётся при помощи команды grid-proxy-init и действительна на протяжении 12 часов (для увеличения срока можно использовать параметр параметра -hours). Уничтожить доверенность до истечения ее срока можно с помощью команды grid-proxy-destroy. Для получения информации о выданной доверенности используйте команду grid-proxy-info с параметром –all, которая выдает полную информацию о доверенности.
Система отправки заданий в среду GRID представляет собой набор команд для направления заданий, проверки их статуса и получения результатов. В отличие от локальных систем управления заданиями (таких как PBS, LSF и др.), система отправки заданий GRID:
- обеспечивает единообразный доступ к ресурсам на различных узлах сети;
- автоматически согласовывает требования, необходимые для выполнения задания, с имеющимися ресурсами.
Как и в кластерных системах, пользовательская команда запуска содержит имя скрипта, запрос ресурсов в котором специфицируется в виде строки XRSL.
Команды управления заданиями имеют следующий вид: ngsub
Файл с описанием задания создается с помощью языка описания заданий (Extended Resource Specification Language, XRSL) и содержит необходимые входные данные, требования к ресурсам и сведения о том, куда должны быть записаны результаты обработки задания. Типичный xrsl-файл имеет вид:
&
- this is comment *)
(executable=ex.sh)
(executables=example1)
(inputFiles=(example1 ""))
(arguments=”100000000” “13” “0.324”)
(stdout=“out.txt”)
(stderr=“err.txt”)
(outputFiles=(“out.txt” "")(“err.txt” "")(“sol.ps” "")(“err.ps” "")(“data.txt” ""))
(gmlog=“gridlog”)
(jobname=“Example”)
(cputime=20)
(middleware>=“nordugrid-arc-0.3.24”)
Больше информации об Украинском национальном ГРИД, учебные материалы, а также анонсы мероприятий и конкурсов можно найти на таких сайтах: http://ung.in.ua, http://infrastructure.kiev.ua, http://grid.nas.gov.ua/, http://grid.bitp.kiev.ua, http://hpcandfosscenter.od.ua.
Текст тезисов доступен под лицензией Creative Commons Attribution-ShareAlike 3.0.
