HLRN-II - BremHLR - Universität Bremen

HLRN-II - BremHLR - Universität Bremen

Tagesordnung
• Das Kompetenzzentrum für
Höchstleistungsrechnen Bremen (BremHLR)
• Das neue HLRN2 Höchstleistungsrechnersystem
• Fragen und Antworten zur Bremer Nutzung des
HLRN2
1
BremHLR
Das Kompetenzzentrum
für
Höchstleistungsrechnen in Bremen
Wolfgang Hiller
Bremen, 17. Oktober 2008
2
BremHLR – Die Einrichtung
• Gegründet am 1. Juli 2003
• Basiert auf Kooperationsverträgen
• Kooperationspartner:




Alfred-Wegener-Institut Bremerhaven
(RZ, Arbeitsgruppe wissenschaftliches Rechnen)
Universität Bremen (ZARM, ZeTeM)
Jacob University Bremen (CLAMV)
Hochschule Bremerhaven
• Gefördert durch den Senator für Bildung und Wissenschaft

Geschäftstelle und Leitender Fachberater
• Sitz der Geschäftsstelle: Universität Bremen, ZeTeM
• Übergeordnetes Ziel:

Unterstützung der HLRN HPC-Projekte des Landes Bremen
als Bestandteil des HLRN-Kompetenznetzwerks
3
BremHLR – Struktur und Organisation
Lenkungsausschuss
Geschäftsstelle
• Prof. Dr. W. Hiller (AWI)
• Leitung und Koordination:
Dr. Lars Nerger
- Landesbeauftrager für Höchstleisungsrechnen,
- Mitglied der Technischen Kommission des
HLRN
• Prof. Dr. U. Kleinekathöfer (JUB)
• Prof. Dr. A. Schmidt (ZETEM)
- Mitglied im wiss. Ausschuss des HLRN
• H. Wolf (SfBW)
- Vertreter Bremens im HLRN-Verwaltungsrat
• Prof. S. Frickenhaus (Hochschule Bremen)
• Sekretariat: J. v. Deetzen
Fachberater für wissenschaftliches
Rechnen
• Dr. Lars Nerger (AWI/UB)
(Klima- und Geowissenschaften)
• Dr. Kerstin Fieg (AWI)
(Klima- und Geowissenschaften, Grid)
• Thorsten Coordes (UB, ZARM)
(Ingenieurwissenschaften)
• Dr. Achim Geleßus (JUB, CLAMV)
(wissenschaftliches Rechnen)
Fachberater bis 50% abgeordnet aus beteiligten Zentren
4
BremHLR – Aufgaben
• Unterstützung von Wissenschaftlern im wissenschaftlichen Rechnen





Projektakquise (Bedarf aufdecken)
Projektplanung (Bedarf abschätzen)
Projektkoordination
Projektdurchführung
Projektsupport
• Softwareentwicklung


Programmoptimierung -> Support
Eigenentwicklungen





FoSSI – Family of Simplified Solver Interfaces
ScOPES – Scalable Open Parallel Environment for solving large linear Equations Systems
AMATOS – Adaptive Mesh generator for ATmospheric and Oceanic Simulation
Betreuung von Softwarepaketen am HLRN (HYPRE, PETSC, PILUT, AZTEC,
MUMPS)
Lizenzierung von Software Paketen für Bremer HLRN Nutzer
• Ausbilung und Schulung (auch überregional)


Orgnisation und Ausrichtung von Nutzerworkshops
Organisation und Ausrichtung von Nutzerschulungen
5
BremHLR - Aktivitäten
• Betrieb, Koordination und Beschaffung von Vorrechnern und
Zugangssystemen

Beschaffung auf Fachbereichsebene

Vor- und Zugangsrechner
– 2003: FB1, Universität Bremen
– 2008: FB1,FB3 Universität Bremen

Betrieb: Zugangssystem am AWI
• Unterstützung bei Beschaffungsverfahren


nationale Zentren: HLRN-I/-II, DKRZ
Bereitstellung/Betreuung von Benchmarkapplikationen




2002: HLRN-I – HIRHAM
2007: HLRN-II – COM/FEOM
2007: DKRZ – COM/pFEOM
HLRN-II: Entwicklung des Auswerteverfahren

Rankingverfahren
6
BremHLR – Aktuelle Entwicklungen (1)
• BremHLR
Zentrum für Computational Sciences
• Basis für Spitzenforschung
 z. B. MARUM Exzellenzcluster
• Aufgaben


HPC-Support:
Spitze Versorgungspyramide
Hardware-Support: Mittlere Ebene Versorgungspyramide



Infrastruktur  Konzept: CampusGrid/BremGrid
Zugangs- und Vorrechner
Vorlesungen, Schulung, Ausbildung, Workshops,
Unterstützung SCImade Bremen internationale Graduate
School (in Planung), Helmholtz Research School on Earth
System Science (1.10.2007 -2013 Förderzeitraum)
7
BremHLR – Grid-Infrastruktur
• Re-Organisation der HPC-Versorgung

mittlere Stufe der Versorgungspyramide
• Kooperatives Nutzungsmodell
• Aufbau einer Grid-Infrastruktur

Schritt 1: CampusGrid


Grid an der Universität Bremen
Schritt 2: BremGrid

Grid für ganz Bremen (über Bremer
Landesnetz)
• Ziele:



Effiziente Nutzung der Ressourcen
Abfangen von Versorgungsengpässen
2009: >1000 Core Grid-System
8
BremHLR – Aktuelle Entwicklungen (1)
• Problem:



HLRN I-System sehr stark ausgelastet
Bremer „Kontingent“ ausgeschöpft bzw. starke
Übersubskription
HLRN I System in Endphase zu leistungsschwach
• Lösung:


Ausweitung der Projektbetreuung auf alle nationalen HPC
Zentren zwischenzeitlich (Projekte am NIC FZJ JUMP
System)
HLRN II System ab 2008 neu ( > 300Tflop/s Peak)
9
BremHLR – Aktuelle Entwicklungen (2)
• Ausweitung der Kooperation
• Hochschule Bremerhaven als neuer
Kooperationspartner

Neue Fachrichtungen: Bioinformatik, Life Science
• Erweiterung des Schulungs- und
Ausbildungsangebots

Übungen für Vorlesungen zum wiss. Rechnen




Parallele Algorithmen und Rechnerarchitekturen
Parallelisierung numerischer Verfahren
Vorlesung Wissenschaftliches Rechnen WS
2008/9
User-Workshops/-Schulungen

z. B. MPI und OpenMP als separate Kurse
10
BremHLR – Projekte
Statistiken und Hintergrundinformationen
Wolfgang Hiller
Bremen, 17. Oktober 2008
Inhaltsübersicht
• Allgemeine Informationen zu Projekten
• Laufzeiten/Eigenschaften der Projekte
• Verbrauchsstatistiken
• Projekte und der HLRN
• Ausblick
12
BremHLR Projekte: Übersicht
• eingetragene Projekte: 15


HLRN: 13
NIC: 2
• betreute/aktive Projekte: 6 (7)


5 HLRN-Projekte
2 NIC-Projekte
• eingetragene Nutzer: 46


HLRN: 42
NIC: 4
• Vertretene Fachgebiete:

Hinzu kommt ein weiteres vom WA
bewilligtes HLRN-Projekt (JUB)
 Wurde nicht aktiv wegen
HLRN-Zugangsregelung
Erdsystemforschung:




Umweltphysik (1/2)
Paläoklimatologie (1)
Ozeanographie/BioGeoChemie-Stoffkreisläufe (3)
Klimatologie/Meteorologie (1)
13
BremHLR-Projekte im Detail
Kennung
Titel
Leiter
Fachrichtung
hbk00005
Auswertung von geophysikalischen Parametern mit dem
Satelliteninstrument SCIAMACHY
Prof. Dr. J-P Burrows
hbk00010
Entwicklung des finite Elemente Ozeanmodells FEOM
(ging Q3/2004 in hbk00015 über )
Prof. Dr. D. Olbers
hbk00012
Modellierung känozoischer Klimazustände
Prof. Dr. M. Schulz
Prof. Dr. D. Olbers
hbk00014
Sensitivitätsstudien mit einem gekoppelten regionalen
Klimamodell der Arktis zur Identifizierung der grundlegenden
Prozesse für eine realistische Simulation des arktischen
Meereises
Prof. Dr. D. Olbers
hbk00015
Towards a Global Ocean Modelling and Data Assimilation
System based on the Finite Element Ocean Model FEOMDecadal Variability in the Southern Ocean
hbk00016
High Resolution Modelling of Particle Fluxes in the Northwest
African Upwelling Region
Prof. Dr. R. Schlitzer/
Dr. G.Karakas
Ozeanographie
nic0001
wie hbk00005
Prof. Dr. J-P Burrows
Umweltphysik
nic0002
Modellierung biogeochemischer Kreisläufe im Ozean
Prof. Dr. D. Wolf-Gladrow BioGeoChemie/
Ozeanographie
Umweltphysik
Ozeanographie
Paläoklimatologie
Klimatologie/
Meteorologie
Ozeanographie
14
BremHLR-Projekte:
Laufzeiten/Eigenschaften
• hohe Rechenleistung
• hohe I/O-Kapazität
Langläufer
Intervalljobs/
Experimente
Durchsatz
16
BremHLR-Projekte: Verbrauch (1)
Gesamtverbrauch: ca. 66.000 NPL
1 NPL = 1 CPU-h auf 32 CPUs
€-Äquivalent: ca. 5 Mio €
17
BremHLR-Projekte: Verbrauch (2)
Kosten-Nutzen:
• Effektiver Landesanteil:
~ 2,1 %
entspr. ca. 470 k€
Verbrauch in %
Start BremHLR
• Verbrauch durch Projekte:
deutlicher Nutzenvorteil
> 5 Mio €
Hinzu kommt noch ein
Äquivalent von etwa 2-3 %
durch die Projekte am NIC
~6 %, mittlerer Verbrauch
~4 %, Bremer Landesanteil
tats. Verbrauch 150 % des
Landesanteils
18
BremHLR Projekte: Ausblick
• neue Projekte durch Kooperation mit Hochschule
Bremerhaven

Fachgebiet Bioinformatik/Life Sciences


Bedarf/Projekt bereits vorhanden (Vortrag Hr. Kleinekathöfer)
Möglichkeit für Jacobs University durch Kooperation
• Ausweitung bestehender Projekte


Hbk00005: Neue Satellitenmissionen
hbk00015: Ausweitung auf Datenassimilation


Bedarf/Projekt bereits vorhanden
hbk00012: Paläoklimatologie

durch MARUM-Exzellenzcluster wird neuer Bedarf erwartet
• Außerdem zusätzliche Akquise notwendig

AG f. Theoretische Physik Uni Bremen



aktives HPC-Projekt  Umsiedelung zum HLRN
BCCMS, Material Sciences, Uni Bremen
SCImade, ESSReS, ....
19
HLRN-II
Thorsten Coordes
Bremen, 17. Oktober 2008
Norddeutscher Verbund für Hoch- und Höchstleistungsrechnen
21
Overall System Layout HLRN-II
22
HLRN-II System Layout per Complex
23
HLRN-II Overview
Hannover
Berlin
One ''Grid'' - One Workload - One Filesystem
MPP1
MPP2
InfiniBand
SMP1
SMP2
MPP1
HLRN-Link
MPP2
InfiniBand
SMP1
SMP2
24
HLRN-II Configuration Overview
Total System Complex (Hannover and Berlin)
Phase 1
(mid 2008)
Phase 2
(2009)
Total
Overall number of cores
≈6000
≈19000
≈25000
Overall system peak
70 TFlop/s
242 TFlop/s
312 TFlop/s
Overall size of memory
16 TByte
76 TByte
92 TByte
Storage Capacity
1.15 PByte
1.15 PByte
2.3 PByte
IO Bandwidth
14 GByte/s
14 GByte/s
28 GByte/s
25
Das HLRN-II-System im Detail
MPP
Stufe 1 / Carlsbad+
SMP
Stufe 1 / XE 250
Knoten
640
Knoten
88
CPU
Intel Harpertown, 3 GHz, Quad-Core
8 Cores pro Knoten = 5 120 Cores
CPU
Intel Harpertown, 1,6 GHz, DualCore
8 Cores pro Knoten = 704 Cores
Speicher
2 GByte/Core = 10 240 GByte
Speicher
8 GByte/Core = 5 632 GByte
Peak
12 GFlop/s/Core = 61 440 GFlop/s
Peak
12 GFlop/s/Core = 8 448 GFlop/s
MPP
Stufe 2 (zusätzlich) / Carlsbad2
SMP
Stufe 2 (zusätzlich) / Ultra Violet
Knoten
1 832
Knoten
136
CPU
Intel Nehalem, 3,4 GHz, Quad-Core
8 Cores pro Knoten = 14 656 Cores
CPU
Intel Beckton, 2,2 GHz, Octo-Core
32 Cores pro Knoten = 4 352 Cores
Speicher
4 GByte/Core = 58 624 GByte
Speicher
4 GByte/Core = 18 128 GByte
Peak
13,6 GFlop/s/Core = 199 322 GFlop/s
Peak
8,8 GFlop/s/Core = 38 289 GFlop/s
26
27
Systemeigenschaften
Netzwerk
Festplattensysteme
Stufe 1
Stufe 1
Protokoll
Infiniband, DDR
Kapazität
> 800 TByte
Bandbreite
4 GByte/s
Bandbreite
> 9 GByte/s
Latenz
< 1 µs
Endausbau
Stufe 2
Protokoll
Infiniband, QDR
Bandbreite
8 GByte/s
Latenz
< 1 µs
Kapazität
> 1 600 TByte
Bandbreite
> 19 GByte/s
Zusätzlich stehen Archivsysteme zur Verfügung
28
HLRN-II – Leistung
180000
SMP Stufe 2
160000
MPP Stufe 2
SMP Stufe 1
140000
MPP Stufe 1
GFlop/s
120000
100000
80000
• bereits in Stufe 1 mehr als 10-fache Leistung
• mehr als 60-fache Leistung im Endausbau
60000
HLRN-I
40000
20000
0
01.01.2008 01.01.2009 01.01.2010 01.01.2011 01.01.2012 01.01.2013 01.01.2014
Zeit
29
HLRN Scientific Projects
• Admission through HLRN's Scientific Board


Quarterly review of project proposals.
Criteria of review comparable to those for DFG (German
Research Society)
Over 250 users in more than 70 projects (2008)
Fragen und Antworten
• Schnupperaccount beantragen
• Fachberater im Land Bremen
• Auslastung HLRN II
• Software
31
Schnupperaccount beantragen
• https://zulassung.hlrn.de/cgi-bin/benutzerantrag.cgi
• Ausdrucken
• Über Fachberater an Herrn Hiller leiten
• Warten auf Antwort aus Berlin
32
Fachberater im Land Bremen
• Lars Nerger (Geowissenschaften)
• Kerstin Fieg (AWI)
• Stephan Frickenhaus (Hochschule Bremerhaven)
• Achim Gelessus (Jacobs Universität)
• Thorsten Coordes (Ingenieurwissenschaften)
33
Auslastung HLRN II
• 15.9. Shutdown Berlin
• 30.9. Shutdown Hannover
• showq –v zeigt Jobstatus an (16.10. 10:00)
28 active jobs
2528 of 2936 processors in use by local jobs (86.10%)
316 of 367 nodes active
(86.10%)
29 eligible jobs
20 blocked jobs
Total jobs: 77
34
Software
•
•
•
•
•
•
•
•
•
•
•
•
•
Betriebssystem - System Software
SUSE. Linux Enterprise Server 10 Service Pack 1
SGI ProPack 5 For Linux Service Pack 3 AMD64/EM64T
SGI ProPack 5 For Linux Service Pack 3 for Intel Titanium
SGI Altix XE Plattform Update
Intel Server Board S5000PAL Deployment Toolkit 2.0
Infinite Storage System Manager WE Version 2.70 for Linux
Compiler und Bibliotheken
Intel C++ Compiler Professional Edition for Linux Vers.: 10.1
Intel Fortran Compiler Professional Edition for Linux Vers.: 10.1
Intel Math Kernel Library for Linux Vers.: 10.0
Intel Cluster Toolkit for Linux Vers.: 3.1
Intel Threadind Building Blocks for Linux Vers.: 2.0
35