HLRN-II - BremHLR - Universität Bremen
Transcription
HLRN-II - BremHLR - Universität Bremen
Tagesordnung • Das Kompetenzzentrum für Höchstleistungsrechnen Bremen (BremHLR) • Das neue HLRN2 Höchstleistungsrechnersystem • Fragen und Antworten zur Bremer Nutzung des HLRN2 1 BremHLR Das Kompetenzzentrum für Höchstleistungsrechnen in Bremen Wolfgang Hiller Bremen, 17. Oktober 2008 2 BremHLR – Die Einrichtung • Gegründet am 1. Juli 2003 • Basiert auf Kooperationsverträgen • Kooperationspartner: Alfred-Wegener-Institut Bremerhaven (RZ, Arbeitsgruppe wissenschaftliches Rechnen) Universität Bremen (ZARM, ZeTeM) Jacob University Bremen (CLAMV) Hochschule Bremerhaven • Gefördert durch den Senator für Bildung und Wissenschaft Geschäftstelle und Leitender Fachberater • Sitz der Geschäftsstelle: Universität Bremen, ZeTeM • Übergeordnetes Ziel: Unterstützung der HLRN HPC-Projekte des Landes Bremen als Bestandteil des HLRN-Kompetenznetzwerks 3 BremHLR – Struktur und Organisation Lenkungsausschuss Geschäftsstelle • Prof. Dr. W. Hiller (AWI) • Leitung und Koordination: Dr. Lars Nerger - Landesbeauftrager für Höchstleisungsrechnen, - Mitglied der Technischen Kommission des HLRN • Prof. Dr. U. Kleinekathöfer (JUB) • Prof. Dr. A. Schmidt (ZETEM) - Mitglied im wiss. Ausschuss des HLRN • H. Wolf (SfBW) - Vertreter Bremens im HLRN-Verwaltungsrat • Prof. S. Frickenhaus (Hochschule Bremen) • Sekretariat: J. v. Deetzen Fachberater für wissenschaftliches Rechnen • Dr. Lars Nerger (AWI/UB) (Klima- und Geowissenschaften) • Dr. Kerstin Fieg (AWI) (Klima- und Geowissenschaften, Grid) • Thorsten Coordes (UB, ZARM) (Ingenieurwissenschaften) • Dr. Achim Geleßus (JUB, CLAMV) (wissenschaftliches Rechnen) Fachberater bis 50% abgeordnet aus beteiligten Zentren 4 BremHLR – Aufgaben • Unterstützung von Wissenschaftlern im wissenschaftlichen Rechnen Projektakquise (Bedarf aufdecken) Projektplanung (Bedarf abschätzen) Projektkoordination Projektdurchführung Projektsupport • Softwareentwicklung Programmoptimierung -> Support Eigenentwicklungen FoSSI – Family of Simplified Solver Interfaces ScOPES – Scalable Open Parallel Environment for solving large linear Equations Systems AMATOS – Adaptive Mesh generator for ATmospheric and Oceanic Simulation Betreuung von Softwarepaketen am HLRN (HYPRE, PETSC, PILUT, AZTEC, MUMPS) Lizenzierung von Software Paketen für Bremer HLRN Nutzer • Ausbilung und Schulung (auch überregional) Orgnisation und Ausrichtung von Nutzerworkshops Organisation und Ausrichtung von Nutzerschulungen 5 BremHLR - Aktivitäten • Betrieb, Koordination und Beschaffung von Vorrechnern und Zugangssystemen Beschaffung auf Fachbereichsebene Vor- und Zugangsrechner – 2003: FB1, Universität Bremen – 2008: FB1,FB3 Universität Bremen Betrieb: Zugangssystem am AWI • Unterstützung bei Beschaffungsverfahren nationale Zentren: HLRN-I/-II, DKRZ Bereitstellung/Betreuung von Benchmarkapplikationen 2002: HLRN-I – HIRHAM 2007: HLRN-II – COM/FEOM 2007: DKRZ – COM/pFEOM HLRN-II: Entwicklung des Auswerteverfahren Rankingverfahren 6 BremHLR – Aktuelle Entwicklungen (1) • BremHLR Zentrum für Computational Sciences • Basis für Spitzenforschung z. B. MARUM Exzellenzcluster • Aufgaben HPC-Support: Spitze Versorgungspyramide Hardware-Support: Mittlere Ebene Versorgungspyramide Infrastruktur Konzept: CampusGrid/BremGrid Zugangs- und Vorrechner Vorlesungen, Schulung, Ausbildung, Workshops, Unterstützung SCImade Bremen internationale Graduate School (in Planung), Helmholtz Research School on Earth System Science (1.10.2007 -2013 Förderzeitraum) 7 BremHLR – Grid-Infrastruktur • Re-Organisation der HPC-Versorgung mittlere Stufe der Versorgungspyramide • Kooperatives Nutzungsmodell • Aufbau einer Grid-Infrastruktur Schritt 1: CampusGrid Grid an der Universität Bremen Schritt 2: BremGrid Grid für ganz Bremen (über Bremer Landesnetz) • Ziele: Effiziente Nutzung der Ressourcen Abfangen von Versorgungsengpässen 2009: >1000 Core Grid-System 8 BremHLR – Aktuelle Entwicklungen (1) • Problem: HLRN I-System sehr stark ausgelastet Bremer „Kontingent“ ausgeschöpft bzw. starke Übersubskription HLRN I System in Endphase zu leistungsschwach • Lösung: Ausweitung der Projektbetreuung auf alle nationalen HPC Zentren zwischenzeitlich (Projekte am NIC FZJ JUMP System) HLRN II System ab 2008 neu ( > 300Tflop/s Peak) 9 BremHLR – Aktuelle Entwicklungen (2) • Ausweitung der Kooperation • Hochschule Bremerhaven als neuer Kooperationspartner Neue Fachrichtungen: Bioinformatik, Life Science • Erweiterung des Schulungs- und Ausbildungsangebots Übungen für Vorlesungen zum wiss. Rechnen Parallele Algorithmen und Rechnerarchitekturen Parallelisierung numerischer Verfahren Vorlesung Wissenschaftliches Rechnen WS 2008/9 User-Workshops/-Schulungen z. B. MPI und OpenMP als separate Kurse 10 BremHLR – Projekte Statistiken und Hintergrundinformationen Wolfgang Hiller Bremen, 17. Oktober 2008 Inhaltsübersicht • Allgemeine Informationen zu Projekten • Laufzeiten/Eigenschaften der Projekte • Verbrauchsstatistiken • Projekte und der HLRN • Ausblick 12 BremHLR Projekte: Übersicht • eingetragene Projekte: 15 HLRN: 13 NIC: 2 • betreute/aktive Projekte: 6 (7) 5 HLRN-Projekte 2 NIC-Projekte • eingetragene Nutzer: 46 HLRN: 42 NIC: 4 • Vertretene Fachgebiete: Hinzu kommt ein weiteres vom WA bewilligtes HLRN-Projekt (JUB) Wurde nicht aktiv wegen HLRN-Zugangsregelung Erdsystemforschung: Umweltphysik (1/2) Paläoklimatologie (1) Ozeanographie/BioGeoChemie-Stoffkreisläufe (3) Klimatologie/Meteorologie (1) 13 BremHLR-Projekte im Detail Kennung Titel Leiter Fachrichtung hbk00005 Auswertung von geophysikalischen Parametern mit dem Satelliteninstrument SCIAMACHY Prof. Dr. J-P Burrows hbk00010 Entwicklung des finite Elemente Ozeanmodells FEOM (ging Q3/2004 in hbk00015 über ) Prof. Dr. D. Olbers hbk00012 Modellierung känozoischer Klimazustände Prof. Dr. M. Schulz Prof. Dr. D. Olbers hbk00014 Sensitivitätsstudien mit einem gekoppelten regionalen Klimamodell der Arktis zur Identifizierung der grundlegenden Prozesse für eine realistische Simulation des arktischen Meereises Prof. Dr. D. Olbers hbk00015 Towards a Global Ocean Modelling and Data Assimilation System based on the Finite Element Ocean Model FEOMDecadal Variability in the Southern Ocean hbk00016 High Resolution Modelling of Particle Fluxes in the Northwest African Upwelling Region Prof. Dr. R. Schlitzer/ Dr. G.Karakas Ozeanographie nic0001 wie hbk00005 Prof. Dr. J-P Burrows Umweltphysik nic0002 Modellierung biogeochemischer Kreisläufe im Ozean Prof. Dr. D. Wolf-Gladrow BioGeoChemie/ Ozeanographie Umweltphysik Ozeanographie Paläoklimatologie Klimatologie/ Meteorologie Ozeanographie 14 BremHLR-Projekte: Laufzeiten/Eigenschaften • hohe Rechenleistung • hohe I/O-Kapazität Langläufer Intervalljobs/ Experimente Durchsatz 16 BremHLR-Projekte: Verbrauch (1) Gesamtverbrauch: ca. 66.000 NPL 1 NPL = 1 CPU-h auf 32 CPUs €-Äquivalent: ca. 5 Mio € 17 BremHLR-Projekte: Verbrauch (2) Kosten-Nutzen: • Effektiver Landesanteil: ~ 2,1 % entspr. ca. 470 k€ Verbrauch in % Start BremHLR • Verbrauch durch Projekte: deutlicher Nutzenvorteil > 5 Mio € Hinzu kommt noch ein Äquivalent von etwa 2-3 % durch die Projekte am NIC ~6 %, mittlerer Verbrauch ~4 %, Bremer Landesanteil tats. Verbrauch 150 % des Landesanteils 18 BremHLR Projekte: Ausblick • neue Projekte durch Kooperation mit Hochschule Bremerhaven Fachgebiet Bioinformatik/Life Sciences Bedarf/Projekt bereits vorhanden (Vortrag Hr. Kleinekathöfer) Möglichkeit für Jacobs University durch Kooperation • Ausweitung bestehender Projekte Hbk00005: Neue Satellitenmissionen hbk00015: Ausweitung auf Datenassimilation Bedarf/Projekt bereits vorhanden hbk00012: Paläoklimatologie durch MARUM-Exzellenzcluster wird neuer Bedarf erwartet • Außerdem zusätzliche Akquise notwendig AG f. Theoretische Physik Uni Bremen aktives HPC-Projekt Umsiedelung zum HLRN BCCMS, Material Sciences, Uni Bremen SCImade, ESSReS, .... 19 HLRN-II Thorsten Coordes Bremen, 17. Oktober 2008 Norddeutscher Verbund für Hoch- und Höchstleistungsrechnen 21 Overall System Layout HLRN-II 22 HLRN-II System Layout per Complex 23 HLRN-II Overview Hannover Berlin One ''Grid'' - One Workload - One Filesystem MPP1 MPP2 InfiniBand SMP1 SMP2 MPP1 HLRN-Link MPP2 InfiniBand SMP1 SMP2 24 HLRN-II Configuration Overview Total System Complex (Hannover and Berlin) Phase 1 (mid 2008) Phase 2 (2009) Total Overall number of cores ≈6000 ≈19000 ≈25000 Overall system peak 70 TFlop/s 242 TFlop/s 312 TFlop/s Overall size of memory 16 TByte 76 TByte 92 TByte Storage Capacity 1.15 PByte 1.15 PByte 2.3 PByte IO Bandwidth 14 GByte/s 14 GByte/s 28 GByte/s 25 Das HLRN-II-System im Detail MPP Stufe 1 / Carlsbad+ SMP Stufe 1 / XE 250 Knoten 640 Knoten 88 CPU Intel Harpertown, 3 GHz, Quad-Core 8 Cores pro Knoten = 5 120 Cores CPU Intel Harpertown, 1,6 GHz, DualCore 8 Cores pro Knoten = 704 Cores Speicher 2 GByte/Core = 10 240 GByte Speicher 8 GByte/Core = 5 632 GByte Peak 12 GFlop/s/Core = 61 440 GFlop/s Peak 12 GFlop/s/Core = 8 448 GFlop/s MPP Stufe 2 (zusätzlich) / Carlsbad2 SMP Stufe 2 (zusätzlich) / Ultra Violet Knoten 1 832 Knoten 136 CPU Intel Nehalem, 3,4 GHz, Quad-Core 8 Cores pro Knoten = 14 656 Cores CPU Intel Beckton, 2,2 GHz, Octo-Core 32 Cores pro Knoten = 4 352 Cores Speicher 4 GByte/Core = 58 624 GByte Speicher 4 GByte/Core = 18 128 GByte Peak 13,6 GFlop/s/Core = 199 322 GFlop/s Peak 8,8 GFlop/s/Core = 38 289 GFlop/s 26 27 Systemeigenschaften Netzwerk Festplattensysteme Stufe 1 Stufe 1 Protokoll Infiniband, DDR Kapazität > 800 TByte Bandbreite 4 GByte/s Bandbreite > 9 GByte/s Latenz < 1 µs Endausbau Stufe 2 Protokoll Infiniband, QDR Bandbreite 8 GByte/s Latenz < 1 µs Kapazität > 1 600 TByte Bandbreite > 19 GByte/s Zusätzlich stehen Archivsysteme zur Verfügung 28 HLRN-II – Leistung 180000 SMP Stufe 2 160000 MPP Stufe 2 SMP Stufe 1 140000 MPP Stufe 1 GFlop/s 120000 100000 80000 • bereits in Stufe 1 mehr als 10-fache Leistung • mehr als 60-fache Leistung im Endausbau 60000 HLRN-I 40000 20000 0 01.01.2008 01.01.2009 01.01.2010 01.01.2011 01.01.2012 01.01.2013 01.01.2014 Zeit 29 HLRN Scientific Projects • Admission through HLRN's Scientific Board Quarterly review of project proposals. Criteria of review comparable to those for DFG (German Research Society) Over 250 users in more than 70 projects (2008) Fragen und Antworten • Schnupperaccount beantragen • Fachberater im Land Bremen • Auslastung HLRN II • Software 31 Schnupperaccount beantragen • https://zulassung.hlrn.de/cgi-bin/benutzerantrag.cgi • Ausdrucken • Über Fachberater an Herrn Hiller leiten • Warten auf Antwort aus Berlin 32 Fachberater im Land Bremen • Lars Nerger (Geowissenschaften) • Kerstin Fieg (AWI) • Stephan Frickenhaus (Hochschule Bremerhaven) • Achim Gelessus (Jacobs Universität) • Thorsten Coordes (Ingenieurwissenschaften) 33 Auslastung HLRN II • 15.9. Shutdown Berlin • 30.9. Shutdown Hannover • showq –v zeigt Jobstatus an (16.10. 10:00) 28 active jobs 2528 of 2936 processors in use by local jobs (86.10%) 316 of 367 nodes active (86.10%) 29 eligible jobs 20 blocked jobs Total jobs: 77 34 Software • • • • • • • • • • • • • Betriebssystem - System Software SUSE. Linux Enterprise Server 10 Service Pack 1 SGI ProPack 5 For Linux Service Pack 3 AMD64/EM64T SGI ProPack 5 For Linux Service Pack 3 for Intel Titanium SGI Altix XE Plattform Update Intel Server Board S5000PAL Deployment Toolkit 2.0 Infinite Storage System Manager WE Version 2.70 for Linux Compiler und Bibliotheken Intel C++ Compiler Professional Edition for Linux Vers.: 10.1 Intel Fortran Compiler Professional Edition for Linux Vers.: 10.1 Intel Math Kernel Library for Linux Vers.: 10.0 Intel Cluster Toolkit for Linux Vers.: 3.1 Intel Threadind Building Blocks for Linux Vers.: 2.0 35