ATLAS DQ2 сервис удаления данных

  • Система управления распределенными данными DQ2 коллаборации ATLAS отвечает за репликацию, доступ и учет данных на распределенных грид-сайтах, обеспечивающих обработку данных коллаборации. Она также реализует политику управления данными, определенную в вычислительной модели ATLAS.
  • Работа по разработке сервиса удаления данных проводилась в течение 2010 года
  • Сервис удаления данных один из основных сервисов DQ2. Этот распределенный сервис взаимодействует с различным промежуточным программным обеспечением грид и DQ2 каталогами для обслуживания запросов на удаление. Кроме того, сервис организует балансировку нагрузки, обеспечивая масштабируемость и отказоустойчивость системы DQ2, корректную обработку исключений, возникающих в процессе работы, стратегию повтора операций в случае возникновения отказов.
  • Разработка включала построение нового интерфейса между компонентами сервиса удаления (основанного на технологии веб-сервисов), создание новой схемы базы данных, перестройку ядра сервиса, разработку интерфейсов с системами массового хранения, и развитие системы мониторинга работы сервиса.
  • Сервис разработан, внедрен и поддерживается сотрудниками ОИЯИ.
  • Недельный объем удаляемых данных составляет 2 Пб (20 000 000 файлов)

Результаты выполнения работ были представлены на конференциях CHEP’2010 и CHEP’2012.

Подробная информация

Комментарии запрещены.