РГС

Участие ОИЯИ в проекте создания Российской грид-сети

Общая информация о проекте

В сентябре 2009 года Комиссия при Президенте Российской Федерации по модернизации и технологическому развитию экономики России  утвердила перечень проектов по направлению «Развитие суперкомпьютеров и грид-технологий», в котором, в том числе, утвержден проект по развитию грид-сети для высокопроизводительных вычислений. В 2010 году была создана пилотная зона Российской национальной грид-сети (РГС), одной из основных задач которой было создание сетевой инфраструктуры и подключение к ней крупнейших суперкомпьютерных центров, предприятий высокотехнологичных отраслей  промышленности  и  научных  организаций. С 2011 года начались работы по созданию базовых грид-сервисов  для прототипа инфраструктуры РГС, системы безопасности, адаптации пакетов прикладных программ для использования в окружении грид-сети. Работы про данному проекту были завершены к концу 2012 года.

Основными задачами проекта РГС являлись:

  • создание сети, связывающей ресурсные центры (суперкомпьютеры) и основных потребителей;
  • разработка базовых грид-сервисов для построения инфраструктуры РГС;
  • подключение суперкомпьютерных центров через грид-шлюзы;
  • организация веб-портала для доступа к системе, создание интерфейсов пользователя для работы в грид-сети (подготовка и выполнение вычислительных задач, передача данных, управление лицензиями и т.д.);
  • создание системы безопасности.

В 2011 году основными организациями-исполнителями проекта РГС в части создания грид-инфраструктуры были ФГУП НИИ «Восход», НИИЯФ МГУ, ОИЯИ, Т-Платформы, ВЦ ДВО РАН, Инжиниринговая компания ТЕСИС.

Объединённый институт ядерных исследований совместно с НИИЯФ МГУ выполнял работы по разработке и развёртыванию базовых грид-сервисов, а также по адаптации прикладных программных пакетов и созданию проблемно-ориентированных веб-интерфейсов для работы с этими программными пакетами.

Базовые грид-сервисы

Основные базовые грид-сервисы и службы, разработанные в рамках проекта РГС:

  • грид-шлюз для запуска заданий в ресурсные центры – НИИЯФ МГУ;
  • сервис выполнения многошаговых заданий – НИИЯФ МГУ;
  • информационная система – НИИЯФ МГУ;
  • подсистема учёта (сбор данных об использовании вычислительных мощностей в ресурсных центрах) – ОИЯИ;
  • подсистема мониторинга (мониторирование ресурсов, сервисов и вычислительных задач в грид-сети) – ОИЯИ;
  • подсистема аккаунтинга (учёт потребления ресурсов пользователями и виртуальными организациями) – ОИЯИ;
  • сервис регистрации ресурсов и сервисов грид-сети – ОИЯИ.

Подсистема мониторинга служит для сбора, хранения и предоставления информации о состоянии ресурсов и сервисов грид-сети, а также информации о выполняемых в системе пользовательских заданиях. Сведения о текущем состоянии ресурсов, заданий и других объектов в системе собираются со всех грид-сервисов в единую базу данных. Используется как статическая, так и динамическая информация (например, состояние очередей на вычислительном кластере). Обработанная информация предоставляется администраторам грид, администраторам виртуальных организаций (ВО) и конечным пользователям грид-сети через веб-интерфейс.

Подсистема аккаунтинга служит для сбора, хранения и предоставления информации о вычислительных ресурсах грид-сети, потребленных при выполнении заданий пользователей системы. Информация предоставляется системе биллинга, администраторам грид, администраторам виртуальных организаций (ВО) и конечным пользователям грид-сети.

Основной задачей, которую решает Сервис регистрации ресурсов и грид-сервисов, является хранение и предоставление информации о ресурсах и грид-сервисах РГС. Обеспечивается возможность ввода и модификации данных администраторами и пользователями системы, а также вывод информации в машинно-ориентированном и предназначенном для человека представлениях. При внесении, изменении и доступе к информации для разграничения прав и ролей доступа используется авторизация и аутентификация.

Разработанные сервисы были использованы при развёртывании прототипа грид-сети на базе НИИ «Восход» и нескольких ресурсных центров.

Проблемно-ориентированные интерфейсы к пакетам прикладных программ

С целью облегчения работы пользователей в Российской грид-сети (т. е. выполнения таких операций, как формирование и запуск счётных заданий, контроль хода их выполнения и получение результатов вычислений) были разработаны проблемно-ориентированные веб-интерфейсы (ПОИ) для набора прикладных пакетов, призванные скрыть от пользователя детали и сложности работы самой грид-сети. Непосредственный счёт на вычислительных ресурсах выполняется с использованием того или иного конкретного прикладного пакета, который должен быть установлен на рабочих узлах грид-сайтов.

Командой ЛИТ ОИЯИ были разработаны ПОИ к таким прикладным программным пакетам, как DL_POLY (молекулярная динамика), Elmer (инженерные расчёты) и GEANT4-DNA (моделирование биологических повреждений, вызванных ионизирующей радиацией на клеточном или субклеточном уровне). Для выполнения этих работ на учебно-исследовательской и тестовой грид-инфраструктуре был установлен сервис «Графический веб-интерфейс», в виде плагинов к которому и разрабатывались ПОИ для указанных приложений, а также  развёрнут тестовый грид-сайт полигона РГС.

Снимки экранов ПОИ для трёх упомянутых выше приложений приведены на рисунках ниже.

Разработанные ПОИ позволяют пользователю задать название задания (по умолчанию ПОИ автоматически генерирует в соответствующем поле название, состоящее из имени пакета, текущей даты и времени), указать требуемое окружение на вычислительных узлах, задать необходимое количество процессоров (только для DL_POLY и Elmer), выбрать архив входных данных, которые должны быть подготовлены теми же средствами, как и при работе с пакетом вне грид-среды, указать имя файла для архива с выходными данными (если имя в поле «Архив выходных данных» пользователем не задано, тогда будет использоваться имя output.tar.gz). После того, как обязательные поля заполнены, для запуска задания в РГС пользователь должен нажать на ПОИ кнопку «Запустить». Результат данной операции будет отражён в окне «Журнал работы». Отслеживание статуса отправленных заданий осуществляется в меню «Запуск и контроль».

Комментарии запрещены.