RDIG-мониторинг

Российский консорциум РДИГ (Российский Грид для Интенсивных Операций с Данными – Russian Data Intensive Grid, RDIG) был организован в 2003 г. Основная его цель – создание грид-инфраструктуры для интенсивных операций с научными данными. Данная инфраструктура была необходима для поддержки участия российских ученых в экспериментах в областях физики высоких энергий, биологии, химической физики, наук о земле и т. д. К моменту завершения проекта EGEE (май 2010 года) в консорциум входили 15 ресурсных центров (так называемых грид-сайтов) из России, а также по одному белорусскому и украинскому центру.

Наряду с существенной географической распределённостью, РДИГ обладает значительными ресурсами: более 4000 вычислительных слотов и около 2 Пбайт хранилищ данных. Инфраструктура консорциума поддерживала работу более чем сорока виртуальных организаций.

Для отслеживания состояния этой масштабной системы в ОИЯИ были разработаны средства мониторинга и учета использования ресурсов. Был подготовлен специализированный пакет для грид-мониторинга, который в настоящее время установлен во всех ресурсных центрах РДИГ. Для распределенного сбора данных мониторинга в качестве основы использовался пакет MonALISA (http://monalisa.cacr.caltech.edu). Вся информация была доступна на сайте мониторинга РДИГ (http://rocmon.jinr.ru). Отображалось как текущее состояние системы, так и история изменения наиболее важных величин.

В качестве наиболее значимых параметров функционирования грид-системы и состояния задач виртуальных организаций были выбраны следующие показатели:

  • количество ресурсов, доступных виртуальным организациям в ресурсных центрах;
  • число вычислительных слотов и их производительность;
  • объем установленных дисковых массивов;
  • текущее использование инфраструктуры;
  • количество задач, запущенных виртуальными организациями (число как выполняющихся в настоящее время, так и ожидающих своей очереди);
  • объемы данных, хранимые виртуальными организациями в каждом из ресурсных центров и грид-инфраструктуре в целом;
  • загрузка вычислительных элементов, выполняющих распределение задач пользователей по рабочим узлам;
  • для эксперимента — использование ресурсов хранения различными группами пользователей внутри виртуальной организации.

С 2011 года, т.е. после завершения проекта EGEE, на сайте мониторинга (http://rocmon.jinr.ru:8080/accounting/) доступен только архив статистики использования вычислительных ресурсов РДИГ виртуальными организациями за период с 2004 по 2010 гг. С момента организации консорциума РДИГ до конца 2010 года было обработано свыше 26 миллионов вычислительных задач, и на это затрачено более 30 миллионов часов чистого процессорного времени. Большая часть ресурсов потреблялась виртуальными организациями, связанными с Большим Адронным Коллайдером.

В настоящее время полная информация по использованию ресурсов как отдельных сайтов РДИГ, так и всего консорциума может быть получена на сайте аккаунтинга проекта EGI (http://accounting.egi.eu/country.php).

Комментарии запрещены.