Production-Grid: Task-Farming in D-Grid

Die D-Grid Initiative stellt Bundesweit derzeit >30.000 Rechencores insgesamt 36 Community-Projekten zur Verfügung. Insgesamt wurden bisher in 3 „Calls“ und mehreren Infrastruktursonderinvestitionen ca. 134 Millionen Euro investiert. Auf den Resourcen laufen mehrere sogenannte Middlewares. Die Auslastung der Ressourcen die mithilfe der Middleware Globus benutzt werden (~70% der total installierten Leistung) beträgt praktisch mittlerweile 100%. Im wesentlichen nutzen zwei Usecases diese Resourcen zu ca. 98%: Im astrophysikalischen Bereich sind dies Gravitationswellenanalysen mittels der einstein@home-Jobs vom Max-Planck-Institut für Gravitationsphysik Albert-Einstein-Institut (AEI) und sowie Genomanalysen der Biophysikalischen Genomik, BioQuant/DKFZ. Beide nehmen derzeit mehr als 150.000 CPU-Stunden auf den Globus-Ressourcen im D-Grid auf. Vom wissenschaftlichen Standpunkt sind diese Rechnungen und Analysen von großer Bedeutung wie sich an der ansteigenden Zahl an Publikationen zeigt. Hinter den zwei hierbei verwendeten Nutzerkennungen verbergen sich dabei mehrere Nutzer die durch A. Beck-Ratzka und T. A. Knoch in Kooperationsprojekten gebündelt sind, die entweder einzelne Applikationen und/oder ganze Pipelinesysteme benutzen. Dazu gehören auch Nutzer die u.a. in nationalen, europäischen bzw. internationalen Konsortien für den Informatikpart zuständig sind. Im astrophysikalischen Fall handelt es sich dabei um 10 Nutzer/Projekte, im biomedizinischen Fall sind dies international mittlerweile ca. 200 Nutzer/Projekte (180 hierbei durch die Nutzung einer sog. Assoziation Pipeline, die von äußerst wichtiger diagnostischer Relevanz ist). Die Stärkung des Standorts Deutschland durch die erfolgreiche Nutzung im Produktionsbetrieb hat einerseits die Machbarkeit einer funktionierenden Grid-Infrastruktur für die Globus Ressourcen-Betreiber gezeigt und andererseits durch die Schaffung wissenschaftlich hoch-relevanter Ergebnisse zu einer damit verbundenen forschungspolitischen Stärkung geführt. Beides kann nicht hoch genug eingeschätzt werden, da beide Usecases vor allem auch im internationalen Vergleich eine herausragende Stellung einehmen – faktisch gehören sie mittlerweile zu den größten Nutzern von Rechenzeit weltweit. Der große Erfolg der zwei Usecases Gravitationswellenanalyse und Genomanalyse hat die Ressourcen bezüglich der Globus basierten Infrastruktur zu nahezu 100% ausgeschöpft Er basiert auf unabhängig voneinander entwickelten Komponenten, welche die Middleware in eine produktive Umgebung integrieren, und damit ein Produktionsgrid erst ermöglichen. Dies ist einzigartig im D-Grid-Umfeld. Die Personalkapatzität von A. Beck-Ratzka und T. A. Knoch sind aufgrund der Unterstützungsanforderungen von weiteren/neuen Nutzern zu 100% ausgereizt. Folglich stoßen wir in Bezug auf i) Rechenzeit für unsere eigenen Projekte sowie die neuer Nutzer, ii) die Unterstützung und Anwerbung neuer Nutzer, sowie iii) entsprechenden Unterstützung beim Management in Hinblick auf Daten Sicherheits/Vertraulichkeit, SLAs und Coaching, an die Grenze unserer bisher existierenden Möglichkeiten. Die entsprechende Projektanforderungen bezüglich Rechenleistung sind klar durch die entsprechenden Projekterfolge gegeben, d.h. dass über die Laufzeit der D-Grid Infrastruktur bis 2014 massive Anforderungen über den bisher für uns zugänglichen Rahmen hinaus bestehen. Anfragen von neuen Nutzer gibt es von 10 weiteren im astrophysikalischen (Berliner Raum) und 50-60 weiteren im biomedizinischen Bereich (Raum Heidelberg), die uns als verläßliche bzw. erfahrene Garanten für erfolgreiche Hoch-Durchsatz Gridnutzung ansehen, aber entsprechende Unterstützung brauchen. Zusätzlich gibt es auch Anfragen von mehreren nationalen und internationalen Verbünden, die genau solche Komponenten wie die unsrigen sofort benutzen würden. Darüberhinaus besteht in diesem Zusammenhang der Bedarf an weiteren Lösungen im Datensicherheits- und Vertraulichkeits-Bereich, die durch diese Bereiche konkret angefordert werden, was mit entsprechendem Coaching und Management einhergehen muss und immer wieder von uns eingefordert wird. Wir sind fest davon überzeugt, dass mit dem im folgenden beschriebenen Vorschlag nicht nur diese Flaschenhälse beseitigt werden können, sondern auch die Nachhaltigeit und damit der Erfolg des gesamten D-Grid Projektes massiv gestärkt werden kann! Ein weiterer Aspekt der produktiven Usecases ist, dass erst mit diesen die Grid-Ressourcen richtig für den Produktionsbetrieb getestet werden können. Die Problematik im DGUS-Ticket 853 beispielsweise ist ein Problem, dass erst durch produktive Usecases aufgedeckt wird Die Globus basierten Grid-Ressourcen im D-Grid sind durch die beiden produktiven Usecases Gravitationswellenanalyse und Genomanalyse stabiler geworden. Durch die in im Rahmen dieses Projektes geplante Erweiterung der Usecases auf gLite- und Unicore-Ressourcen würden auch die Betreiber dieser Ressourcen enorm profitieren, weil es damit auf diesen Ressourcen zu einem Produktionsbetrieb kommen würde.