Hauptseminar im Sommersemester 2005
Prof. Dr. Heinz-Gerd Hegering

Grid Computing: Auf dem Weg zu einer neuen globalen Infrastruktur !?

Aktuelles

10. Mai

Zur Erinnerung: Am Freitag, den 13. Mai, geben Sie bitte bis 12:00 Uhr die erste Version Ihrer Ausarbeitung und der dazu gehörenden Präsentation an die Betreuer. Für die Präsentation verwenden Sie bitte den vorgegebenen Powerpoint-Master.

9. Mai

Den Abstract des Vortrages von Herrn Mickel finden Sie hier.

6. Mai

Zur Erinnerung: Am Freitag, den 13. Mai, geben Sie bitte bis 12:00 Uhr die erste Version Ihrer Ausarbeitung und der dazu gehörenden Präsentation an die Betreuer. Am Donnerstag, dem 19. Mai, besprechen wir diese Version in großer Runde im Hörsaal 0.33 in der Oettingenstr. um 14:00 s.t..

2. Mai

Zur Erinnerung: Am Donnerstag, den 12. Mai, spricht Herr Klaus-Peter Mickel über Grid Computing Anwendungen. Die Veranstaltung beginnt um 16:00 Uhr c.t. im Seminarraum 3532 des LRZ. Die Biographie von Herrn Mickel finden Sie hier.

22. April

Zur Erinnerung: Am Donnerstag, den 28. April, 14:00 Uhr s.t., findet in der Oettingenstr, Raum 0.33, der nächste gemeinsame Termin statt, an dem Sie Ihre Gliederungvorschläge vorstellen. Verwenden Sie dazu bitte den vorgegebenen Powerpoint-Master.

22. April

Den Vortrag von Jennifer Schopf von gestern finden Sie hier.

19. April

Zur Erinnerung: Am Donnerstag, den 21. April, hält Frau Dr. Schopf die Einführung in Grid Computing. Die Veranstaltung beginnt um 16:00 Uhr c.t. im Seminarraum 3532 des LRZ

6. April

Für den ersten Einführungsvortrag sind der Abstract und die Biographie von Dr. J. Schopf eingefügt worden (siehe hier).

5. April

Beachten Sie bitte die Links auf das LRZ Grid-Portal und das CERN Grid Café.

5. April

Bitte merken Sie sich den nächsten gemeinsamen Termin am 14. April vor. Wir treffen uns um 14:00 s.t. in der Oettingenstr, Raum 0.33.

10. März

Die Räume und Termine sind auf den neuesten Stand gebracht worden.

2. Februar

Die Themen sind vergeben. Die Themenliste enthält die Vortragenden und die Betreuer.

26. Januar

Der Blocktermin für das Seminar ist jetzt fix. Ebenso sind die Betreuer für die einzelnen Themen festgelegt.

Inhalt

Grid Computing entstand in den späten 90er Jahren vor dem Hintergrund, aufwendige physikalische Berechnungen über mehrere Supercomputer verteilt durchführen zu wollen. Daraus entwickelte sich der generelle Wunsch, weltweit vorhandene, heterogene Ressourcen wie Rechner, Instrumente, Software und Daten, zur koordinierten Lösung so genannter "großer Probleme" verwenden zu können. Typische Grid-Anwendungen sind daher datenintensive und rechenintensive Berechnungen, die auf Ressourcen innerhalb so genannter Virtueller Organisationen verteilt werden. Beispiele finden sich in der Wettervorhersage, in Astronomieprojekten, in biologischen Genom-Projekten, in der Medikamentenforschung oder in den Wirtschaftswissenschaften. In der letzten Zeit hat auch die Industrie ein zunehmendes Interesse am Grid Computing signalisiert. Schon heute sind sich deshalb viele Analysten darüber einig, dass Grid Computing sich zu einer der wichtigsten Technologien der nächsten Jahre entwickeln und zum Motor völlig neuer Anwendungen werden wird.

Grid Computing steckt noch in den Kinderschuhen. In dem Seminar soll deshalb neben den Möglichkeiten, die Grid Computing bietet, ein Überblick über die zugrunde liegenden Technologien und wesentliche Forschungsthemen gegeben werden. Insbesondere soll in dem Seminar auf die Grid Middleware fokussiert werden, in der Fragen zur Sicherheit, Ressourcenverwaltung und Datentransfer behandelt werden.

Vorbesprechung und Anmeldung

Die Anmeldung zum Seminar erfolgt ausschließlich in der Vorbesprechung am Mittwoch, den 2. Februar 2005 um 13:00 im Leibniz-Rechenzentrum, Barer Strasse 21, Raum 3532.
Anmeldungen per email werden ignoriert!

Veranstaltungsorte und -termine

Die für das Seminar relevanten Termine sind hier zu finden. Bitte beachten Sie, dass die Datums- und Ortsangaben noch vorläufig sind und sich zum Teil noch ändern können.

Einführungsveranstaltungen

Zum Beginn des Semesters werden im Rahmen zweier Einführungsveranstaltungen externe Referenten die Grundlagen für die weiteren Vorträge legen. Die Veranstaltungen sind Bestandteil des Seminars und damit Pflichttermine.

• Der erste Einführungsvortrag findet am 21. April 2005 um 16:00 Uhr statt. Dr. Jennifer M. Schopf, Argonne National Laboratory, USA, und National e-Science Centre, Edinburgh, wird zum Thema An Introduction to Grid Computing (Abstract) sprechen. Der Vortrag ist in englischer Sprache.

• Der zweite Einführungsvortrag zum Thema Grid-Projekte aus der Anwendersicht findet am 12. Mai 2005 um 16:00 Uhr statt. Sprechen wird Klaus-Peter Mickel, Leiter des Instituts für Wissenschaftliches Rechnen am Forschungszentrum Karlsruhe (Abstract).

Beide Termine finden im Seminarraum des Leibniz-Rechenzentrums (LRZ), Barer Str. 21, 3. Stock, Raum 3532, statt.

Themen

Um das inzwischen sehr umfangreiche Gebiet Grid Computing im Rahmen des Seminars einigermaßen umfassend behandeln zu können, werden wir uns auf neuere Entwicklungen konzentrieren. Die Grundlage des Seminars bilden die Lehrbücher The Grid 2 [G2] und Grid Computing: Making the Global Infrastructure a Reality [GC]. In der Nomenklatur wird dem Seminar das OGSA-Glossar des Global Grid Forums (GGF) [GLOSSAR] zugrunde gelegt.

Die Vortragenden und Betreuer sind hier zu finden.

1. Das Globus Toolkit 2
   Das Globus Toolkit 2 (GT2) entwickelte sich zum de facto Standard für Grid Computing und stellt eine umfangreiche Palette von Diensten in Bereichen wie Sicherheit, Resource-Management, Datenmanagement, Kommunikation, Fehlererkennung oder Portabilität zur Verfügung. GT2 bildet eine der Grundlagen für die heutige Open Grid Service Architecture. In diesem Vortrag sollen GT2 und die GT2-Protokoll-Suite dargestellt werden.
   
   • Referenzmaterial: G2-Kapitel 4 und 17; GC-Kapitel 3 oder alternativ die Online-Version von De Roure et al.; IBM Redbook Introduction to Grid Computing with Globus

2. Web Services und das Web Services Resource Framework
   Die Open Grid Services Architecture (OGSA) basiert wesentlich auf der Web Services Technologie. In diesem Vortrag wird deshalb diese Technologie betrachtet. Insbesondere wird auch auf das Web Services Resource Framework (WSRF) eingegangen, das für zukünftige OGSA-Versionen relevant ist.
   
   • Referenzmaterial: G2-Kapitel 4 und 17; GC-Kapitel 3 oder alternativ die Online-Version von Gannon et al.; WS-Resource Framework Spezifikationen; Dokumente der Web Services Architecture Working Group

3. Open Grid Services Architecture (OGSA)
   Die Open Grid Services Architecture (OGSA) bildet den Standardrahmen für dienstorientiertes Grid Computing. OGSA erweitert das Globus Toolkit 2 (GT2) durch Aspekte dienstorientierter Architekturen und Web Services. In diesem Vortrag wird die OGSA-Spezifikation vorgestellt und auf die Open Grid Services Infrastructure (OGSI) eingegangen, der Erweiterung des Web Services Standards für Grid Services.
   
   • Referenzmaterial: G2-Kapitel 4 und 17; GC-Kapitel 15; Spezifikation der Open Grid Services Architecture, Version 1.0; Spezifikation der Open Grid Services Infrastructure (OGSI), Version 1.0; Gannon et al.: A Revised Analysis of the Open Grid Services Infrastructure, Report Commissioned by the UK e-Science Core Program, 2002

4. OGSA-Implementierungen I: Globus Toolkit 3 und 4
   OGSA ist in verschiedenen Implementierungen umgesetzt worden. Exemplarisch werden in diesem Vortrag das Globus Toolkit 3 (und die neue Version 4) und im anschließenden Vortrag der von der EU geförderte Job-Scheduler Unicore vorgestellt.
   
   • Referenzmaterial: GC-Kapitel 17; Dokumentation zum Globus Toolkit 3.0, 3.2 und 4; Report GRIDWELTEN: User Requirements and Environments for GRID-Computing

5. OGSA-Implementierungen II: Unicore
   
   • Referenzmaterial: G2-Kapitel 17; GC-Kapitel 29; Final Report des Unicore Projektes; Report GRIDWELTEN: User Requirements and Environments for GRID-Computing

6. Resource Management
   Eine der grundlegenden Eigenschaften von Grid-Anwendugen ist die gemeinsame Nutzung von Netzen, Rechnern, Datenbeständen oder anderen Ressourcen und Diensten. Eine solche Nutzung erfordert ein geeignetes Ressourcen- und Service Management. In diesem Vortrag sollen die Grid-spezifischen Anforderungen und ein allgemeines Rahmenwerk für Grid-Resource Management (SLAs, Policies, Resource Description Languages) vorgestellt werden. Einen Kernpunkt bildet dabei das Service Negotiation and Acquisition Protocol (SNAP) zur Verhandlung von SLAs.
   
   • Referenzmaterial: G2-Kapitel 18; Grid Service Level Agreements in Grid Resource Management: State of the Art and Future Trends von Jarek Nabrzyski, Jennifer M. Schopf und Jan Weglarz

7. Economy-basiertes Resource Management
   Ein ökonomisch basierter Ansatz für dynamisches Grid Resource Management wird im Gridbus-Projekt verfolgt. Hier werden Schedulingentscheidungen zur Laufzeit nach Anwender-Anforderungen unter ökonomischen Gesichtspunkten getroffen.
   
   • Referenzmaterial: GC-Kapitel 32 oder alternativ die Online-Version von Wolski et al.; The Gridbus Toolkit for Service Oriented Grid and Utility Computing: An Overview and Status Report; The Grid Economy; Economic-based Distributed Resource Management and Scheduling for Grid Computing (Dissertation R. Buyya)

8. Verläßlichkeit in Grids
   In Grid-Umgebungen besitzen Clients eine größere Verantwortung für "ihre Jobs" als in traditionellen Systemen. Sie müssen deshalb mit geeigneten Fehlertoleranz-Mechanismen ausgestattet werden. Am Beispiel des Condor Batch Job Systems sollen Verläßlichkeitsfragen im Grid Computing erörtert werden.
   
   • Referenzmaterial: G2-Kapitel 19; GC-Kapitel 11 oder alternativ die Online-Version von Thain, Tannenbaum und Livny; Condor and Preemptive Resume Scheduling in Grid Resource Management: State of the Art and Future Trends von Jarek Nabrzyski, Jennifer M. Schopf und Jan Weglarz; A. Nguyen-Tuong et al.: Towards Dependable Grids, Technical Report CS-2004-11, University of Virginia, USA

9. Instrumentierung und Monitoring von Grid-Anwendungen
   Eng verbunden mit Verläßlichkeitsfragen ist die Gewinnung von Informationen über den aktuellen Status eines Grid-Jobs und das Monitoring von Jobs. In diesem Vortrag werden Techniken zur Instrumentierung von Grid-Jobs besprochen und ein Überblick über Grid Monitoring Tools und Frameworks gegeben. Es werden außerdem Vorschläge zu Grid-spezifischen Erweiterungen des Common Information Models (CIM) erläutert.
   
   • Referenzmaterial: G2-Kapitel 20, 26; Job Submission Interface Model; Präsentation von Andrea Westerinen, Cisco Systems: Why CIM? CIM in Grid Standards; Management using Web Services (MuWS) Specification

10. Sicherheitsanforderungen in Grids und Grid-relevante Trends für Sicherheitsarchitekturen
    In Grids treten durch die verteilten und multi-organisationalen Umgebungen nicht unerhebliche Sicherheitsherausforderungen auf. In diesem Vortrag werden die Anforderungen analysiert und Techniken vorgestellt, wie diese Anforderungen befriedigt werden können. Außerdem wird dargestellt wie aktuelle Trends in Sicherheitstechnologien auf Grids abgebildet werden können. Dazu wird insbesondere der Web Services Security Standard betrachtet.
    
    • Referenzmaterial: G2-Kapitel 21.1-21.3; Web Services Security

11. OGSA-Sicherheitsmodell und Globus-Implementierung
    Die Grid Security Infrastructure (GSI) ist Bestandteil des Globus Toolkit 3 und implementiert beispielhaft eine OGSA-basierte Sicherheitsarchitektur. In diesem Vortrag sollen die einzelnen GSI-Komponenten und deren Integration dargestellt werden.
    
    • Referenzmaterial: G2-Kapitel 21.4; Security for Grid Services

12. Daten-orientierte Griddienste
    Information - im Sinne von Daten und Wissen - ist eine wesentliche Ressource für Problemlösungen im Grid. Das Grid selbst bildet jedoch schon eine komplexe Umgebung, die eine enorme Fülle von Informationen liefert. Wir haben es deshalb nicht nur mit Informationen im Grid, sondern auch mit Informationen über das Grid zu tun. In diesem Vortrag werden die technischen Herausforderungen und Lösungsansätze betrachtet, die mit der Integration, Analyse und dem Management verteilter Daten zu tun haben. Auf das OGSA Data Access and Integration Projekt (OGSA-DAI) wird näher eingegangen.
    
    • Referenzmaterial: G2-Kapitel 22; OGSA-DAI User Guide

13. Grid-Programmierung
    Grid-Anwendungen können prinzipiell direkt über low level Mechanismen wie das Internet-Protokoll oder die Open Grid Services Infrastructure (OGSI) erstellt werden. Es ist allerdings wünschenswert, höherwertige Werkzeuge zur Unterstützung der Anwendungsentwicklung nutzen zu können. In diesem Vortrag steht das Grid-Anwendungsentwicklungsproblem im Vordergrund. Dazu werden zwei Themenbereiche beleuchtet: a) Werkzeuge zur Entwicklung von Grid-fähigen Anwendungen un deren Deployment, b) Werkzeuge zur Portalentwicklung.
    
    • Referenzmaterial für Teil a): G2-Kapitel 24; GC-Kapitel 20 und 21 oder alternativ den inhaltsgleichen Report des Global Grid Forums bzw. den Seminar-Report von Lee und Talia
    • Referenzmaterial für Teil b): GC-Kapitel 26 und 28 oder alternativ die inhaltsgleichen online-Papers für Kapitel 26 und für Kapitel 28 sowie das GridSphere Portlet Framework

14. P2P-Technologien und Grids
    Ein Grid ist - vor allem anderen - zunächst eine Infrastruktur, deren Kernkomponenten Entwicklung und Deployment von Grids beeinflussen. Neben klassischen asymmetrischen Client/Server-Systemen werden in diesem Vortrag alternativ hoch-skalierbare, selbst-organisierende verteilte Systeme betrachtet (peer-to-peer). Da P2P und Grids langfristig zu konvergieren scheinen, wird auch dargestellt, wie P2P für die weitere OGSA-Entwicklung von Nutzen sein kann.
    
    • Referenzmaterial: G2-Kapitel 29; GC-Kapitel 18; On Death, Taxes, and the Convergence of Peer-to-Peer and Grid Computing

15. Deployment von Produktionsgrids
    In diesem Vortrag wird auf in der Praxis gewonnene Erfahrungen beim Deployment großer Grids "in die Produktion" eingegangen. Berichtet wird über die verwendeten Deployment-Technologien, den Projektverläufen und Projektorganisationen. Die Beispiele beziehen sich auf die amerikanischen DOE Grid- und IPG-Projekte, das EU DataGrid-Projekt, das UK e-Science Grid und den Large Hadron Collider (LHC) am CERN.
    
    • Referenzmaterial: G2-Kapitel 27; GC-Kapitel 5 oder alternativ die Online-Version von Johnston et al.

FAQ:

• Was ist zur Erlangung des Scheines notwendig?
  • Einhaltung aller Fristen
  • Anwesenheit (von Anfang an!) bei allen Terminen
  • Eine mindestens ausreichend bewertete Ausarbeitung (Seminararbeit)
  • Ein mindestens ausreichend bewerteter Vortrag
• Ist der Schein benotet?
  Ja
• Wie errechnet sich die Note?
  Zu gleichen Teilen aus der Bewertung des Vortrages und der schriftlichen Ausarbeitung
• In welcher Sprache können der Vortrag, die schriftliche Ausarbeitung, die Folien sein?
  Englisch oder Deutsch. Verlangt ist aber eine konsistente Sprachverwendung bei Vortrag, Ausarbeitung und Folien - d.h. werden die Folien und Ausarbeitung in Englisch abgegeben, so ist auch der Vortrag in Englisch zu halten!
• Wie lange soll ein Vortrag dauern?
  Die Vortragszeit beträgt 45 Minuten, anschließend stehen 15 Minuten für die Diskussion zur Verfügung. Die Begrenzung auf 45 Minuten ist unbedingt einzuhalten Nützliche Hinweise zur Gestaltung einer Präsentation finden Sie auch hier.!
• Welche Form soll die schriftliche Ausarbeitung haben?
  Die Form einer Seminararbeit, d.h. wie eine wissenschaftliche Publikation - kommentierte Folien sind nicht ausreichend! Weitere nützliche Hinweise zur Gestaltung einer Publikation finden Sie hier.
• Wie lange soll die Ausarbeitung sein?
  Bitte nicht länger als 200 Seiten :-)

Referenzmaterial

Referenzmaterial zu den einzelnen Vorträgen siehe dort. Das Seminar wird sich stark an die beiden folgenden Lehrbücher anlehnen:

• The Grid 2: Blueprint for a New Computing Infrastructure
  Herausgegeben von Ian Foster und Carl Kesselman
  Morgan Kaufmann Publishers
  ISBN: 1-55860-933-4

  Für das Seminar ist die zweite Ausgabe des Buches wichtig. Einige Kapitel der ersten Ausgabe sind online frei verfügbar, dienen jedoch nur als Sekundärliteratur.

• Grid Computing: Making the Global Infrastructure a Reality
  Herausgegeben von Fran Berman, Geoffrey C. Fox und Anthony J.G. Hey
  John Wiley & Sons
  ISBN: 0-470-85319-0

Die folgenden beiden Grundlagen-Papers sollten von jedem Seminarteilnehmer zumindest gelesen worden sein:

• The Anatomy of the Grid: Enabling Scalable Virtual Organizations.
  I. Foster, C. Kesselman, S. Tuecke.
  International J. Supercomputer Applications, 15(3), 2001.
  http://www.globus.org/research/papers/anatomy.pdf

• The Physiology of the Grid: An Open Grid Services Architecture for Distributed Systems Integration.
  I. Foster, C. Kesselman, J. Nick, S. Tuecke
  Open Grid Service Infrastructure WG, Global Grid Forum, Juni 22, 2002.
  http://www.globus.org/research/papers/ogsa.pdf

Im Seminar werden wir uns am OGSA-Glossar des Global Grid Forums (GGF) orientieren. Dieses finden Sie hier:

• Open Grid Services Architecture: Glossary of Terms
  Global Grid Forum, 2004
  https://forge.gridforum.org/projects/ogsa-wg/document/draft-ggf-ogsa-glossary.doc

Interessante Links

• Auf eine Fülle von Material kann auch über das LRZ-Grid Portal zugegriffen werden.
• Außerdem lohnt sich immer ein Besuch im Grid Café des CERN ("The place where everybody can learn about the Grid").