Grid Computing - Feldafinger Kreis

Grid Computing
Prof. Dr. José L. Encarnação
Fraunhofer Institut
für Graphische Datenverarbeitung (IGD)
Symposium des Feldafingerkreises 2005
„Forschen für die Internetgesellschaft:
Trends Technologien, Anwendungen“
Bad Honnef, 17. Januar 2005
Thesenpapier Grid Computing
1. Genese
2. Hypothesengerüst
3. Anwendungsreife
4. Handlungsempfehlungen
Feldafinger Kreis 17.01.05 – Grid Computing
Seite 2
Genese - I
Was ist Grid-Computing?
Begriff: geprägt im Jahre 1999 durch die Autoren der “Grid-Bibel”
Ian Foster, Argonne National Laboratory
Carl Kesselman, Information Sciences Inst., USC
Fokussierung verschiedener IT-Entwicklunge
auf einen Begriff
Kernthema: Gemeinsame Nutzung
vernetzter Ressourcen
Feldafinger Kreis 17.01.05 – Grid Computing
Seite 3
Genese - II
Die „Vision“ Grid
ƒ IT-Leistungen sind als „utility“ verfügbar wie Wasser, Gas und Strom
ƒ Abrechnung nach Verbrauch
ƒ Garantierte Verfügbarkeit, Sicherheit und Qualität
ƒ Ort der Erzeugung ist irrelevant
Feldafinger Kreis 17.01.05 – Grid Computing
Seite 4
Genese - III
Die „Vision“ Grid
ƒ Grid: Definierte Menge von Ressourcen (Rechner, Speicher, Netze,
Sensoren, Software, Daten), per Internet verbunden
ƒ Abrechnung nach Verbrauch
ƒ Grid Computing bedeutet
- einfache, einheitliche (und sichere) Nutzung der Grid-Ressourcen
- koordinierte Ressourcen-Nutzung durch mehrere Benutzer
ƒ Grid Computing ist eine neue Abstraktionsebene:
- Der Benutzer muss sich nicht mehr mit den Eigenheiten der einzelnen
Systeme auseinander setzen
- Er interagiert mit "dem Grid" und nicht mit einzelnen Ressourcen
Feldafinger Kreis 17.01.05 – Grid Computing
Seite 5
Genese - IV
Grid-Computing: Warum jetzt?
ƒ In der Vergangenheit
Lokale Ressourcen-Nutzung
- Teure und schwache Netzwerke Æ ökonomisch zwingend
ƒ Wachstumsraten 2001-2010:
- Computer:
Faktor 60
- Netzbandbreite:
Faktor 4000
Abb. aus Scientific American, Jan. 2001
Verteilte Ressourcen-Nutzung für immer mehr Anwendungen ökonomisch
sinnvoll!
Feldafinger Kreis 17.01.05 – Grid Computing
Seite 6
Thesenpapier Grid Computing
1. Genese
2. Hypothesengerüst
3. Anwendungsreife
4. Handlungsempfehlungen
Feldafinger Kreis 17.01.05 – Grid Computing
Seite 7
Hypothesengerüst - I
Grid-Ansätze in heutigen Projekten:
ƒ Compute-Grids:
Bündelung verteilter Rechen-Ressourcen
ƒ Data-Grids:
Gemeinsame Nutzung und Verarbeitung großer, verteilter Datenressourcen,
Treibende Kraft: Hochenergiephysik (CERN)
ƒ Ressource-Grids:
Virtualisierung von Rechen-Ressourcen, On-Demand-Computing
ƒ Service-Grids:
SW-Services anbieten/ nutzen
ƒ Cooperation-Grids:
Virtuelle Organisationen, Telekooperation
Feldafinger Kreis 17.01.05 – Grid Computing
Seite 8
Hypothesengerüst - II
IT-Umsetzung von Geschäftsprozessen
ƒ Zentrales Thema der kommerziellen IT: Business Process Management
ƒ Ziel: Kosteneinsparung durch Optimierung der Prozesse
ƒ Früher: Vorherrschen von Einzellösungen
- „Selbstgestrickte” Verknüpfungen von Anwendungen
- Nachteile: Aufwendige Entwicklung, unflexibel, kaum wartbar
ƒ Moderner Zugang: Service-orientierte Architektur (SOA)
ƒ Kapselung von Anwendungskomponenten in „Web Services”
ƒ Integrationsplattform: Zusammenbau von Services zu Prozessen
Feldafinger Kreis 17.01.05 – Grid Computing
Seite 9
Hypothesengerüst - III
Was sind Web-Services?
ƒ Weiterentwicklung des WWW:
- Erste Schritte: Serverseitiges Scripting (z.B. ASP)
- Aufruf von „Services“ statt (statischen) Dokumenten
ƒ Verschieden SW-Plattformen für Web-Services, z.B.:
- .NET (Microsoft)
- WebSphere (IBM)
- WebLogic (Bea)
ƒ Interoperabilität gewährleistet durch Standards, insbesondere:
- WSDL (Web Service Description Language)
- SOAP (Simpel Object Access Protocoll) Moderner Zugang: Serviceorientierte Architektur (SOA)
ƒ Internationale Standardisierung: W3C / OASIS
Feldafinger Kreis 17.01.05 – Grid Computing
Seite 10
Hypothesengerüst - IIIa
Anatomie eines Web-Services?
ƒ Beschreibung NUR der äußeren Schnittstelle:
- Name des Services (Port-Type), z.B. „connectCRM“
- Zur Verfügung gestellte Funktionen (Operations),
z.B. „getCustomerAdress“, „sendChristmasCard“, …
•
Definition der Input-Nachricht (XML, Input-Message)
•
Definition der Output-Nachricht (XML, Output-Msg.)
ƒ Interne Details bleiben der Außenwelt verborgen!
ƒ Beschreibung in XML
Syntax: Web Service Description Language (WSDL)
ƒ Unabhängigkeit von Betriebssystem und Programmiersprachen
ƒ Standardisiertes Protokoll zur Kontaktaufnahme zwischen Services:
Universal Description Discovery and Integration (UDDI)
Feldafinger Kreis 17.01.05 – Grid Computing
Seite 11
Hypothesengerüst - IIIb
Nutzung von Web-Services
Kommunikation mit
SOAP = http + XML
r
e
S
ce
i
v
d
fin
Kunde:
Kunde:
Service-Aufruf
Service-Aufruf
en
Service
ServiceBroker
Broker
(UDDI)
(UDDI)
Service aufrufen
Se
rv
ice
r
eg
is
tri
ere
n
Dienstleister:
Dienstleister:
Service-Angebot
Service-Angebot
Ergebnis
Feldafinger Kreis 17.01.05 – Grid Computing
Seite 12
Hypothesengerüst - IV
Gründe für den Erfolg der Web-Service-Idee
ƒ Unabhängigkeit von Hardware, Betriebssystem, Anwendungsserver …
ƒ Klare Schnittstelle zwischen Services
ƒ Alle Kommunikation in Klartext (XML)
ƒ Vollständige Kapselung der darunter liegenden „Legacy“-Anwendungen
ƒ Erleichterte Wiederverwendung (Baukasten)
„Objektorientierte Programmierung
auf höherer Stufe“
Feldafinger Kreis 17.01.05 – Grid Computing
Seite 13
Hypothesengerüst - IVa
Konvergenz von Web- und Grid-Services
Neueste Entwicklung:
ƒ OGSA/OGSI wird zur Basis des Web-Service-Standards WSRF (Web Service
Resource Framework)
ƒ Standardisierung im OASIS WSRF Technical Committee
ƒ Grid-Service-Technologie kommt in den „Mainstream“
ƒ Größtes technisches Problem bei der Integration:
- Einige Grid-Services sind „stateful“
- Web-Services sind „stateless“ (gedächtnislos)
Feldafinger Kreis 17.01.05 – Grid Computing
Seite 14
Hypothesengerüst - V
Antidot gegen “Grid-Hype”
ƒ Grid-Technologie eröffnet keine „grundsätzlich“ neuen Möglichkeiten
ƒ Verteiltes Rechnen, Meta-Computing, Föderierung von Datenarchiven,
sichere Kommunikation etc. gab es auch vorher
Aber:
ƒ Grid-Technologie zielt auf Vereinfachung:
- Standard-Services statt vielfache Eigenentwicklungen
- Flexibilität statt „festverdrahteter“ Lösungen
ƒ Viele Anwendungen erst dadurch ökonomisch sinnvoll
Feldafinger Kreis 17.01.05 – Grid Computing
Seite 15
Thesenpapier Grid Computing
1. Genese
2. Hypothesengerüst
3. Anwendungsreife
4. Handlungsempfehlungen
Feldafinger Kreis 17.01.05 – Grid Computing
Seite 16
Qualitative Bewertung - I
Internationaler Kontext
In den USA:
• Advanced Cyberinfrastructure Program (ACP) der NSF
• Jährliches Fördervolumen: 1 Milliarde $
• Einzelheiten: http://www.cise.nsf.gov/sci/reports/toc.cfm
In Europa:
• Umfangreiche Ausschreibungen im 6. Rahmenprogramm der EU
• Seit 2001: U.K. eScience-Programm, Förderung: 40 M£ / Jahr
• Deutschland: eScience Initiative, Industrie-Grid, …
Feldafinger Kreis 17.01.05 – Grid Computing
Seite 17
Qualitative Bewertung - II
Angebot von Services für externe Nutzer
Beispiel: Zugriff auf Erdbeobachtungs-Datenarchive des
DLR:
ƒ Grid-Service-Interface für externe Nutzer
ƒ Vereinheitlichung des Zugriffs auf verschiedene Archive
(ESA, CEOS, …)
ƒ Dadurch „Federation” von Archiven im Grid möglich
ƒ „Added-Value-Services” können auf Standard-Interfaces
aufbauen
ƒ Bereits Grid-Projekte bei
- ESA ESRIN
- CEOS Grid Task Force
Feldafinger Kreis 17.01.05 – Grid Computing
Seite 18
Qualitative Bewertung - III
Gemeinsame Ressourcen-Nutzung im Grid
ƒ Ressourcen: Computer, File-Systeme, Großanlagen (?)
ƒ Aufbau eines firmenweiten „Resource Grid“
ƒ Einbeziehung von Compute-Ressourcen außerhalb der Firma,
z.B.: HPC-Portal bei HWW /http://www.hpcportal.de), „pay-peruse“
Feldafinger Kreis 17.01.05 – Grid Computing
Seite 19
Thesenpapier Grid Computing
1. Genese
2. Hypothesengerüst
3. Anwendungsreife
4. Handlungsempfehlungen
Feldafinger Kreis 17.01.05 – Grid Computing
Seite 20
Handlungsempfehlungen - I
Bmbf-Inititiative “Grid-Strategien in der Wirtschaft”
Ziel:
ƒ Beschreibung aktueller industrieller Grid-Szenarien
ƒ Erkundung zukünftiger Szenarien
ƒ Definition spezifischer Anforderungen der Wirtschaft an
Grid-Software
ƒ Identifikation zukünftiger Grid-Anwendungen und
industrie-relevanter Forschungsthemen
ƒ Positionspapier, Empfehlungen für Fördermaßnahmen
Feldafinger Kreis 17.01.05 – Grid Computing
Seite 21
Handlungsempfehlungen - II
Virtual Enterprises
Virtuelle Organisationen auf Projektebene:
ƒ Großes Potential in verteilten Organisationen
ƒ Einrichtungen, die an einer gemeinsamen Aufgabe
arbeiten bilden eine virtuelle Organisation
- Projekte
- Hinzunahmen externer Partner
ƒ Wesentlicher Nutzen der Grid-Technologie:
Umfangreiche Sicherheitsmechanismen für
Zugriffskontrolle und Kommunikation
ƒ Vereinheitlichung der Nutzung der dezentral verteilten
HPC-Ressourcen durch Grid-Infrastruktur
Feldafinger Kreis 17.01.05 – Grid Computing
Seite 22
Handlungsempfehlungen - III
Vorteile der neuen Architektur
ƒ Entwicklung einer Suite von speziellen Einzelkomponenten zu
Anwendungskomponenten + generischen Middleware-Services
ƒ Verbesserte Wiederverwendbarkeit der Services durch Abstraktion von
den Objektdetails
ƒ Übergang von
- gemeinsamem Objektmodell und Daten-Schema zu
- offenen, dynamischen Schemata (XML) + Übersetzungs-Service
(XSLT)
ƒ Komponenten leichter separat zu entwickeln
ƒ Daten-Architektur jetzt WebDAV-enabled; einfacher anpassbar an
verschiedene Umgebungen
Feldafinger Kreis 17.01.05 – Grid Computing
Seite 23
Handlungsempfehlungen - IV
Die bleibende Herausforderung: Interface-Semantik
ƒ Fundamentales Problem beim Datenaustausch zwischen
Web- bzw. Grid-Services:
exakte Datendefinition / Transformation zwischen
Formaten
ƒ Definition und Standardisierung von Interface-Semantiken:
größte Ungelöste Aufgabe des Grid-Computing
Feldafinger Kreis 17.01.05 – Grid Computing
Seite 24
nwendungsreife
hoch
GRID
2010
mittel
GRID
2006
GRID
2002
gering
Feldafinger Kreis 17.01.05 – Grid Computing
--
-
=
+
++
Seite 25
Wettbewerbsstellung Deutschland