СОВРЕМЕННЫЕ GRID – ТЕХНОЛОГИИ
Источник:
Первая фаза вычислительного проекта GRID для LHC была одобрена на Совете ЦЕРН. Сегодня важно не только иметь доступ к информации, но и распределенным образом обрабатывать ее. Четыре гигантских детектора этого ускорителя - ALICE, ATLAS, CMS и LHCb - будут накапливать больше чем 10 миллионов гигабайт данных в течение каждого года о событиях, происходящих при столкновении частиц. Это эквивалентно содержанию, примерно, 20 миллионов компьютерных компакт - дисков.
Ведущие российские исследовательские центры различных ведомств ведут работы по проекту LHC, как по созданию самого ускорителя, так и всех четырех его детекторов. На выполнение соответствующих заказов по проекту LHC задействованы десятки российских заводов. В целом вклад России в проект LHC можно оценить в размере 5%.
Научно-исследовательские центры РФ, участвующие в проекте «Большой адронный коллайдер», разрабатывают два основных направления развития GRID технологий:
- интенсивные операции с базами данных, data intensive GRID (проект DataGRID);
- вычислительный computational GRID (проект EuroGRID), в котором создаваемая инфраструктура нацелена на достижение максимальной скорости расчетов за счет глобализации распределения (распараллеливания) вычислений.
Концепция GRID (название по аналогии с электрическими сетями - electric power grid) предполагает создание компьютерной инфраструктуры нового типа, обеспечивающей глобальную интеграцию информационных и вычислительных ресурсов на основе управляющего и оптимизирующего программного обеспечения (middleware) нового поколения. Для достижения этой цели создается набор стандартизированных служб для обеспечения надежного, совместимого, дешевого и всепроникающего доступа к географически распределенным высокотехнологичным информационным и вычислительным ресурсам - отдельным компьютерам, кластерам и суперкомпьютерным центрам, хранилищам информации, сетям, научному инструментарию и т.д.
Важнейшим является междисциплинарный характер GRID. Имеется довольно много общего в вычислительных потребностях различных областей научных исследований - развиваемые технологии применяются в физике высоких энергий, космофизике, микробиологии, экологии, метеорологии, различных инженерных приложениях (например, в самолетостроении). Схожие проблемы наблюдаются и в других областях. Например, NASA реализует для своих нужд сеть высокопроизводительных компьютеров, роботизированных устройств массовой памяти, высокоскоростных каналов связи, научных инструментов и продвинутых интерфейсов для пользователя под названием Information Power Grid.
В настоящее время кроме LHC идет подготовка нескольких научных экспериментов нового поколения - эксперименты с использованием интерферометров для регистрации гравитационных волн бинарных пульсаров, новых сверхсвезд и иных экзотических объектов (эксперимент LIGO), а также автоматизированная цифровая космическая съемка с очень высоким разрешением (более 1012 пикселей), которая позволит значительно развить систематическое изучение звезд, галактик и крупномасштабных космических структур (эксперимент SDSS) для создания подробного каталога астрономических данных. Все эти эксперименты рассчитаны на длительный период и предполагают накопление и последующую обработку массивов данных.
Требования к вычислительным и архивным ресурсам для этих экспериментов различны. Процессорные затраты, необходимые для LIGO составляют несколько петафлопов. Объемы данных у LHC будут значительно больше, чем у LIGO, а у LIGO - значительно больше, чем у SDSS.
Среди основных направлений использования computational GRID на данный момент можно выделить:
- распределенные супервычисления, решение очень крупных задач, требующих огромных процессорных ресурсов, памяти и т.д.;
- «высокопоточные» вычисления (High - Throughput Computing), позволяющие организовать эффективное использование ресурсов для небольших задач, утилизируя временно простаивающие компьютерные ресурсы;
- вычисления «по требованию» (On-Demand Computing), крупные разовые расчеты;
- вычисления с привлечением больших объемов распределенных данных (Data-Intensive Computing), например, в метеорологии, астрономии, физике высоких энергий;
- коллективные вычисления (Collaborative Computing).
К общим характеристикам потребностей, которые делают оправданной организацию вычислительных архитектур типа Data intensive GRID, можно отнести следующие:
- большие объемы данных, распределенных по различным научным центрам, странам и континентам;
- участие большого количества специалистов в обработке данных из разных институтов и университетов;
- информация, которую следует проанализировать, имеет сложную структуру;
- алгоритмы обработки информации имеют нетривиальный характер (объем программ составляет миллионы строк текста);
- наконец, масштабируемость базового программного обеспечения (фактически, всего того, что лежит ниже прикладного уровня), которое должно устойчиво работать как на настольной машине, так и на суперкомпьютере.
Как прогнозируется, эволюционные изменения в полупроводниковых технологиях и архитектуре микропроцессоров приведут в ближайшие пять лет к десятикратному увеличению вычислительных мощностей. Уже сегодня возможности рядовых пользователей, подключенных к цифровым каналам связи с предоставлением комплексных услуг, сравнимы с теми возможностями, которыми обладали суперкомпьютерные центры 10-15 лет назад.
Технологическое основание для создания Grid - инфраструктур дают уже существующие волоконно-оптические сети, высокопроизводительные процессоры, параллельные архитектуры, протоколы связи, математическое обеспечение распределенных структур, механизмы обеспечения безопасности.
В НовГУ создана лаборатория "GRID-ТЕХНОЛОГИИ В СОВРЕМЕННОЙ ФИЗИКЕ".
Ее задачами являются:
1.Подготовка научных сотрудников, программистов и инженеров по направлениям:
- обработка и анализ экспериментальных данных с ускорителя LHC;
- работа по созданию программного обеспечения для проекта DATAGRID,
- работа по созданию программного обеспечения для моделирования физических процессов;
- работа по проекту распределенных вычислений EuroGRID.
2.Проведение работ:
- создание и развитие российского сегмента DATAGRID;
- моделирование экспериментов на детекторах ALICE, ATLAS, CMS;
- обработка экспериментальных данных с этих детекторов, а также с детектора TOTEM.
3. Создание программного обеспечения для DATAGRID и EuroGRID.
4. Создание программного обеспечения для моделирования физических процессов взаимодействия адронов и ядер при сверхвысоких энергиях.
5. Создание программного обеспечения для триггеров редких процессов в рассеянии адронов и ядер.
На основе этих конкретных задач лаборатория также может готовить специалистов по использованию технологии GRID в других областях науки и техники, в частности, в экологии, экономике, энергетике, машиностроении, медицине, биологии.
Новгородский государственный университет включен в сеть Grid. Вычислительные ресурсы доступны для использования всеми участниками сети.
Для этого были осуществлены следующие работы:
1. Произведена установка и настройка вычислительного элемента сети GRID и сопутствующих сервисов, а именно:
- Computing Element - система управления вычислительными ресурсами, распределением заданий, аутентификацией хостов и пользователей сети,
- Storage Element - система хранения исходных экспериментальных данных и данных, полученных в результате обработки,
- Monitoring BOX - распределенная система мониторинга отдельных хостов сети GRID и сети в целом,
- Сервисы: SSH, Firewall, VPN, Hosts Autoupdate (система обновления ПО с помощью apt-get).
2.Все имеющиеся хосты зарегистрированы в сети GRID, для них получены соответствующие OpenSSL - сертификаты в Regional Certification Authority.
3.Получен сертификат пользователя, который был зарегистрирован в виртуальной организации RDIG (Russian Data Intensive Grid).
4.Локально устранены мелкие недоработки системы автоматического развертывания сайтов (совокупности сервисов в рамках одного вычислительного центра), связанных с тем, что ПО для сети GRID находится еще в стадии разработки и предварительного тестирования.
Работа представлена на научную конференцию «Новые технологии и современные системы автоматизации», Тунис, 12-19 июня 2005 г., поступила в редакцию 29.04.2005г.
Отзывы (через Facebook):
Оставить отзыв с помощью аккаунта FaceBook:
Статья в формате PDF 100 KB...
28 02 2021 9:13:21
Статья в формате PDF 253 KB...
27 02 2021 11:45:22
Статья в формате PDF 280 KB...
26 02 2021 8:24:22
Статья в формате PDF 321 KB...
25 02 2021 0:22:20
Статья в формате PDF 284 KB...
24 02 2021 1:15:11
Статья в формате PDF 112 KB...
23 02 2021 7:16:30
Статья в формате PDF 90 KB...
22 02 2021 15:43:33
Статья в формате PDF 163 KB...
21 02 2021 13:44:54
Статья в формате PDF 127 KB...
20 02 2021 18:22:50
Статья в формате PDF 246 KB...
19 02 2021 10:55:10
Реформы в образовании ума человека происходят всегда до новых циклов экономического возрождения из кризисов. Это запаздывание весьма большое у России. В развитых странах цикл реформ в образовании начинается за 3–5 лет до начала экономических реформ. Но в России долго запрягают, а потом несутся напролом, на авось. Поэтому колебательное возмущение мнений экспертов превалирует над постоянством, – менталитет очень неровный. Предлагается принципиально новая методика, основанная на анализе устойчивых закономерностей с волновыми составляющими и полученная по конкретным экспертным оценкам. Цель статьи – кратко показать возможности методологии идентификации свойств поведения у групп экспертов, как неких условных популяций много знающих и оценивающих людей, а также привести критерии поведенческой динамики по тем или иным экспертным оценкам об интернационализации российского образования. ...
18 02 2021 18:57:16
Статья в формате PDF 110 KB...
17 02 2021 12:45:37
Статья в формате PDF 121 KB...
16 02 2021 21:24:31
Статья в формате PDF 100 KB...
15 02 2021 19:27:32
Статья в формате PDF 98 KB...
13 02 2021 14:29:26
Статья в формате PDF 147 KB...
12 02 2021 10:14:50
Статья в формате PDF 300 KB...
11 02 2021 8:33:31
Статья в формате PDF 255 KB...
10 02 2021 1:18:45
Статья в формате PDF 110 KB...
09 02 2021 19:55:40
Статья в формате PDF 125 KB...
08 02 2021 14:28:50
Статья в формате PDF 107 KB...
07 02 2021 14:33:17
Научно-технический прогресс приносит новый блага цивилизации и ставит новые проблемы перед ней. Автомобильный транспорт дал людям высокую степень мобильности и комфорта, за которые, однако, приходится расплачиваться ухудшением экологии. В статье изучена динамика роста численности автомобильного и грузового транспорта в городе Сочи и тот ущерб, который транспорт наносит экологии сочинского региона. ...
06 02 2021 0:45:59
Статья в формате PDF 390 KB...
05 02 2021 23:52:56
Статья в формате PDF 112 KB...
03 02 2021 13:18:47
Статья в формате PDF 199 KB...
02 02 2021 17:16:20
Статья в формате PDF 127 KB...
01 02 2021 9:54:10
Статья в формате PDF 626 KB...
31 01 2021 22:55:19
Статья в формате PDF 153 KB...
30 01 2021 15:15:50
Статья в формате PDF 987 KB...
28 01 2021 12:13:28
Статья в формате PDF 102 KB...
27 01 2021 2:12:16
Статья в формате PDF 111 KB...
26 01 2021 8:24:32
Статья в формате PDF 103 KB...
23 01 2021 16:47:24
Статья в формате PDF 100 KB...
22 01 2021 1:37:36
Статья в формате PDF 365 KB...
21 01 2021 20:49:12
Статья в формате PDF 114 KB...
20 01 2021 16:36:38
В настоящей статье представлена многокритериальная математическая модель организации личностно-ориентированного обучения учащихся. Построена экстремальная модель на языке теории гиперграфов. ...
19 01 2021 22:48:44
Статья в формате PDF 286 KB...
18 01 2021 3:29:48
Статья в формате PDF 129 KB...
17 01 2021 12:37:10
Статья в формате PDF 90 KB...
15 01 2021 10:33:24
В статье на основе материала « Национального корпуса русского языка» дан анализ вербальному и невербальному воплощению эмотивного концепта «обида» в художественном тексте. На языковом уровне рассмотрена сочетаемость лексемы «обида» с другими словами-эмотивами. На неязыковом уровне охарактеризованы невербальные компоненты проявления данной эмоции (плач, взгляд, жесты). Представленный анализ позволяет сделать вывод о национальной специфики данного чувства. ...
14 01 2021 4:33:17
Статья в формате PDF 291 KB...
13 01 2021 4:28:21
Статья в формате PDF 133 KB...
12 01 2021 1:14:24
Статья в формате PDF 122 KB...
11 01 2021 7:45:48
Статья в формате PDF 114 KB...
09 01 2021 19:23:48
Статья в формате PDF 212 KB...
08 01 2021 8:27:11
Статья в формате PDF 112 KB...
07 01 2021 12:22:26
Статья в формате PDF 94 KB...
06 01 2021 4:19:12
Статья в формате PDF 111 KB...
03 01 2021 19:56:50
Статья в формате PDF 110 KB...
02 01 2021 1:15:41
Статья в формате PDF 289 KB...
01 01 2021 16:40:43
Статья в формате PDF 98 KB...
30 12 2020 21:25:17
Статья в формате PDF 250 KB...
29 12 2020 20:16:58
Статья в формате PDF 505 KB...
28 12 2020 9:13:46
Статья в формате PDF 142 KB...
27 12 2020 23:40:54
Статья в формате PDF 106 KB...
26 12 2020 4:36:47
Статья в формате PDF 134 KB...
25 12 2020 20:54:53
Статья в формате PDF 93 KB...
24 12 2020 20:19:48
Статья в формате PDF 101 KB...
23 12 2020 17:30:57
Установлен факт защитного влияния нового бионического режима импульсно-гипоксических адаптаций на восстановительные процессы коры мозга после удаления внутричерепных опухолей у нейрохирургических больных. Механизмом протекции мозга от рецидива злокачественных опухолей может быть согласование ритмов энергопродукции и энергопотребления в процессе формирования адаптации. ...
22 12 2020 1:32:44
Статья в формате PDF 114 KB...
21 12 2020 3:28:59
В течение продолжительного времени проводились триботехнические испытания различных термодиффузионных покрытий на изнашивание при трении скольжения. Они позволили сделать ряд принципиальных обобщений по взаимообусловленности структурного состояния покрытий и кинетики процессов износа. В результате моделирования фрикционных процессов широкого класса материалов было получено эмпирическое уравнение для коэффициента трения, отражающее параметрическое влияние свойств материала покрытий, реологию поверхностного трения и свойство смазочного материала. ...
20 12 2020 21:44:57
Статья в формате PDF 136 KB...
19 12 2020 1:12:21
Статья в формате PDF 120 KB...
18 12 2020 9:40:54
Статья в формате PDF 140 KB...
17 12 2020 12:57:17
Статья в формате PDF 103 KB...
16 12 2020 2:23:12
Статья в формате PDF 138 KB...
15 12 2020 13:47:19
Статья в формате PDF 130 KB...
14 12 2020 6:56:37
Авторами проведено комплексное исследование сосудистых и нервных структур всего органокомплекса брюшной полости, что позволило подтвердить общие морфологические закономерности, свойственные млекопитающим отряда хищных, выявить характерные видовые и внутривидовые особенности васкуляризации и иннервации у пушных зверей клеточного содержания. Полученные новые данные о морфологии сосудистых и нервных образований органов брюшной полости млекопитающих являются оригинальными и дают не только полное представление об изученных структурах, но позволяют морфофункционально интерпретировать адаптогенные процессы, протекающие в интегративно-координационных системах организма пушных зверей, находящихся под интенсивным антропогенным воздействием в процессе доместикации. ...
13 12 2020 1:54:33
Статья в формате PDF 130 KB...
11 12 2020 14:27:39
Статья в формате PDF 164 KB...
10 12 2020 7:13:34
Статья в формате PDF 250 KB...
09 12 2020 18:38:53
Статья в формате PDF 345 KB...
08 12 2020 20:18:37
Статья в формате PDF 114 KB...
06 12 2020 22:29:18
Статья в формате PDF 103 KB...
05 12 2020 13:35:33
Статья в формате PDF 249 KB...
04 12 2020 1:54:44
Статья в формате PDF 123 KB...
03 12 2020 7:48:31
Статья в формате PDF 124 KB...
02 12 2020 19:53:14
Статья в формате PDF 137 KB...
01 12 2020 11:28:26
Статья в формате PDF 112 KB...
30 11 2020 19:11:56
Статья в формате PDF 101 KB...
29 11 2020 16:41:37
Статья в формате PDF 242 KB...
28 11 2020 15:53:35
С помощью комплекса ядерно-физических методов, Я М Р-спектроскопии, выявлена неоднозначная степень насыщения связанной фазы воды молекулами воды и ряда химических элементов, где основу их специфической связи представляет многослойная поляризованная структура сыворотки крови и лимфы здоровых людей, пациентов с актуальными заболеваниями. Разработана иерархическая двухуровневая модель, согласно собственной концепции сопряженного действия и эффекта энергии, системного Э М П, энергии биохимических цикловых процессов, объединенных потоком протонов, регулируемых буферной системой и гормонами стресса. ...
27 11 2020 15:47:47
Статья в формате PDF 95 KB...
25 11 2020 19:31:56
Статья в формате PDF 100 KB...
24 11 2020 16:53:49
Статья в формате PDF 433 KB...
20 11 2020 13:24:47
Статья в формате PDF 100 KB...
19 11 2020 1:43:31
Статья в формате PDF 206 KB...
17 11 2020 22:30:48
Статья в формате PDF 123 KB...
16 11 2020 10:52:29
Статья в формате PDF 120 KB...
15 11 2020 20:12:38
В статье представлены материалы о значении съездов земских врачей Рязанской губернии (1874 – 1900) и их роль в развитии профилактического направления медицины края. ...
14 11 2020 9:21:58
Статья в формате PDF 100 KB...
13 11 2020 20:14:40
Статья в формате PDF 100 KB...
12 11 2020 13:36:54
Статья в формате PDF 115 KB...
11 11 2020 14:58:23
Статья в формате PDF 495 KB...
09 11 2020 13:21:47
Статья в формате PDF 122 KB...
07 11 2020 7:47:29
Статья в формате PDF 105 KB...
06 11 2020 1:32:21
Статья в формате PDF 127 KB...
05 11 2020 23:53:23
Статья в формате PDF 125 KB...
04 11 2020 14:15:10
Статья в формате PDF 138 KB...
03 11 2020 21:15:33
Статья в формате PDF 120 KB...
02 11 2020 14:19:44
Статья в формате PDF 498 KB...
01 11 2020 19:42:48
Статья в формате PDF 129 KB...
30 10 2020 19:30:50
Статья в формате PDF 107 KB...
29 10 2020 23:52:50
Статья в формате PDF 112 KB...
28 10 2020 4:20:57
Статья в формате PDF 111 KB...
26 10 2020 6:59:32
Статья в формате PDF 113 KB...
25 10 2020 16:50:30
Статья в формате PDF 529 KB...
22 10 2020 12:28:17
Статья в формате PDF 105 KB...
21 10 2020 17:25:26
Статья в формате PDF 123 KB...
20 10 2020 5:26:26
Статья в формате PDF 113 KB...
19 10 2020 2:11:42
Статья в формате PDF 99 KB...
17 10 2020 5:53:27
Статья в формате PDF 131 KB...
16 10 2020 12:12:26
Статья в формате PDF 103 KB...
14 10 2020 14:49:46
Статья в формате PDF 141 KB...
12 10 2020 9:19:50
Статья в формате PDF 98 KB...
11 10 2020 22:55:32
Статья в формате PDF 255 KB...
10 10 2020 17:14:16
Статья в формате PDF 129 KB...
09 10 2020 7:19:45
Статья в формате PDF 133 KB...
08 10 2020 11:22:56
Статья в формате PDF 251 KB...
07 10 2020 9:52:56
Статья в формате PDF 239 KB...
06 10 2020 21:20:56
Статья в формате PDF 94 KB...
05 10 2020 23:25:16
Статья в формате PDF 96 KB...
04 10 2020 19:47:16
Статья в формате PDF 117 KB...
03 10 2020 22:19:37
Статья в формате PDF 102 KB...
02 10 2020 4:42:50
Еще:
Обзоры -1 :: Обзоры -2 :: Обзоры -3 :: Обзоры -4 :: Обзоры -5 :: Обзоры -6 :: Обзоры -7 :: Обзоры -8 :: Обзоры -9 :: Обзоры -10 :: Обзоры -11 ::
Последовательность подготовки научной работы может быть такой: