Dashboard

Участие в работах по развитию системы DASHBOARD

Система мониторирования работы экспериментов LHC в среде грид, Dashboard (http://dashboard.cern.ch), разработана, поддерживается и развивается в Отделении информационных технологий ЦЕРН. Начиная с 2007 года, сотрудники ЛИТ ОИЯИ в рамках сотрудничества с ЦЕРН  вносят существенный вклад в работы по развитию этой системы.

Так например, для системы Dashboard разработан пакет мониторинга задач, запущенных в системе распределенных вычислений Condor, что позволяет мониторировать и организовывать эффективное выполнение задач виртуальных организаций на инфраструктуре Open Science Grid (OSG). Собираемые данные о задачах (состояние, различные параметры запуска и выполнения, сообщения о возникающих неполадках) собираются и обрабатываются в полном соответствии со структурой информации, используемой в системе Dashboard. Отслеживаются все существенные события, связанные с изменением состояния каждой запущенной задачи на каждой стадии выполнения.

Собранные данные отправляются на серверы системы Dashboard, где объединяются с данными из других источников (системы запуска задач, оболочки для выполнения задач и т.п.). Это позволяет получить правильную общую картину функционирования инфраструктуры и работы виртуальных организаций.

В процессе развития и совершенствования системы Dashboard производился анализ и систематизация диагностических сообщений об ошибках при аварийном завершении задач в среде грид, в результате чего были произведены изменения и дополнения в соответствующих таблицах базы данных системы Dashboard. Усовершенствованы таблицы о грид-сайтах CMS и CMS Computing Elements (CE).  Было осуществлено тестирование возможности сбора информации о задачах с использованием грид-сервиса L&B (Logging and Bookkeping).

Осуществлена валидация новой версии системы мониторирования задач СMS Historical View. Проведено тестирование веб-интерфейсов систем мониторинга передачи данных на основе системы xrootd  для экспериментов CMS (http://dashb-cms-xrootd-transfers.cern.ch/ui/#) и ATLAS (http://dashb-atlas-xrootd-transfers.cern.ch/ui/#). Валидирована новая версия мониторинга надежности и доступности грид-сайтов и грид-сервисов (SAM3)  (подробно…).

В 2013 году начаты работы по оценке и внедрению nosql баз данных для мониторинга грид, а именно: возможности применения Hbase и Elasticsearch для мониторинга грид-инфраструктуры и активности в грид.

Летом 2014 года были выполнены работы по разрешению топологии WLCG-сайтов в системе мониторинга  xRootD (подробно…), созданию системы сравнения результатов мониторинга xRootD в Dashboard и Monalisa (подробно…) и созданию системы мониторинга Scheduled_jobs в Oracle (подробно…).

Работы по развитию и совершенствованию системы Dashboard включают в себя как развитие таблиц базы данных и пользовательских интерфейсов, так и совершенствование подходов к сбору и представлению мониторируемых данных. В процессе создания системы визуализации мониторинга грид-инфраструктуры EGEE, как географически распределённой системы, была разработана и внедрена в Dashboard новая функциональная возможность с использованием приложения Google Earth для динамического мониторинга в реальном времени http://dashb-earth.cern.ch/dashboard/doc/guides/service-monitor-gearth/html/user/index.html. Данная работа является  важным этапом  на пути совершенствования систем представления данных мониторинга. Вот как выглядит пользовательский интерфейс этой разработки:

пользовательский интерфейс

Комментарии запрещены.