High-Performance Computing (HPC) mit Red Hat OpenShift

Red Hat OpenShift ist eine Hybrid Cloud-Anwendungsplattform zur Verarbeitung der Daten, die in immer größeren Mengen und Geschwindigkeiten durch moderne Organisationen fließen. Die Anforderungen des High-Performance Computings (HPC) bilden hier keine Ausnahme. Die Verarbeitung dieser Daten an einem einzigen Standort oder Ziel ist für Unternehmen nicht mehr erschwinglich. Folglich werden die Daten so nah wie möglich an der Quelle verarbeitet: High-Performance Computing wird an den Edge verlagert.

HPC wird bereits in vielen Branchen eingesetzt. Öl- und Gasexploration, komplexe Finanzmodelle sowie DNA-Mapping und -Sequenzierung sind nur einige wenige moderne Arbeitsabläufe, die massive Datenmengen erfordern und auf HPC basieren, um bahnbrechende Entdeckungen voranzutreiben. 

Keine Erfahrungen mit High-Performance Computing?

Aufgrund der Skalierbarkeit von HPC kann die Verwendung für erweiterte Simulationen und Berechnungen dazu beitragen, Ergebnisse und Optionen zu schaffen, die mit herkömmlicher Infrastruktur nur schwer zu erreichen wären. Der massive Einsatz von HPC ist in den letzten 20 Jahren weitgehend unverändert geblieben, aber neue Anwendungen erfordern neue Architekturen. Beispielsweise verwenden moderne Anwendungen häufig Künstliche Intelligenz (KI), die High Performance Data Analytics (HPDA) und das Staging umfangreicher Datenproben für eine einfachere Nutzung und Inklusion externer Frameworks erfordert. Diese Anforderungen lassen sich viel einfacher erfüllen, wenn eine Anwendung und ihre Abhängigkeiten in Container paketiert werden. Bei der Entwicklung bestehender HPC-Umgebungen wurden keine Container berücksichtigt. Daher müssen wir diese Architekturen erneut untersuchen und Wege finden, sie an die flexiblen cloudnativen Umgebungen von heute anzupassen.

Red Hat ist führend bei der Förderung cloudnativer Innovationen in hybriden Multi-Cloud-Umgebungen. Wir bringen diese Erfahrung in umfangreiche HPC-Deployments ein. Red Hat kennt die kollektiven Bedürfnisse und sich ändernden Anforderungen einer HPC-Umgebung und möchte Linux-Container, Kubernetes und andere Bausteine des cloudnativen Computings für Supercomputing-Standorte leichter zugänglich machen. 

Standards sind entscheidend, um die Reichweite von HPC vom Edge bis hin zu Exascale zu erweitern. Gemeinsame, akzeptierte Standards und Praktiken, wie sie von der Open Container Initiative (OCI) definiert wurden – von der Container-Sicherheit bis hin zur Skalierung containerisierter Workloads – sind notwendig, damit Container-Technologien beim HPC optimal genutzt werden können. Damit Container den besonderen Bedürfnissen des Exascale-Computings gerecht werden können, möchte Red Hat Podman und die zugehörigen Container-Tools verbessern, um so die massiven Anforderungen containerisierter Workloads auf HPC-Systemen zu erfüllen.

Eine große Herausforderung entsteht, wenn die Anzahl der Container exponentiell zunimmt. Groß angelegte Simulationen und andere anspruchsvolle Workloads erfordern eine robuste Container-Orchestrierungsplattform. Kubernetes ist der De-facto-Standard für die Orchestrierung containerisierter Workloads in hybriden Multi-Cloud-Umgebungen. Red Hat leistet einen wesentlichen Beitrag zum Kubernetes-Community-Projekt und bietet die branchenführende Kubernetes-Plattform für Unternehmen an: Red Hat OpenShift. 

Red Hat OpenShift entwickelt sich zu einem Backbone für die Ausführung von Containern in großem Umfang. Da Red Hat OpenShift bereits im Rechenzentrum, in Public Clouds und am Edge etabliert ist, können die Standardkomponenten und -praktiken der Plattform auch HPC-Umgebungen unterstützen. Red Hat untersucht die Deployment-Szenarien von Kubernetes-basierter Infrastruktur in großem Umfang und bietet einfachere, klar definierte Mechanismen zur Bereitstellung containerisierter Workloads für HPC-Nutzende.

Der Übergang von der traditionellen HPC-Architektur und ihren massiv parallelen Workloads zu KI-fähigen Anwendungen, die in Containern ausgeführt werden, ist weder schnell noch einfach. Doch er ist ein Schritt zur Reduzierung der Komplexität, der Kosten sowie der Anpassungen, die für den Betrieb der traditionellen HPC-Infrastruktur erforderlich sind. Der Übergang bietet auch die Chance, moderne Anwendungsentwicklungstechniken einzuführen, die Portierbarkeit zu erhöhen und neue Funktionen schneller hinzuzufügen.

Mehrere Unternehmen aus verschiedenen Branchen haben bereits Pionierarbeit bei der Transformation ihrer traditionellen HPC-Workflows zu moderneren, containerbasierten intelligenten Anwendungen mit Red Hat OpenShift geleistet:

• Bei der Royal Bank of Canada ermöglicht Red Hat OpenShift eine bessere Zusammenarbeit zwischen Data Scientists, Data Engineers und Softwareentwicklungsteams, um das Deployment von ML- und DL-Modellen in Produktivumgebungen zu beschleunigen, die eine GPU-beschleunigte Hochleistungsinfrastruktur verwenden.
• Public Health England verbessert mit Red Hat OpenShift die Portierbarkeit und Wiederverwendbarkeit von Daten und Code, die gemeinsame Nutzung von Daten und die Teamzusammenarbeit bei verschiedenen HPC- und Multi-Cloud-Operationen.
• Das Lawrence Livermore National Laboratory wechselte zu OpenShift, um Best Practices für die Verbindung von HPC-Schedulern und Cloud-Orchestratoren zu entwickeln, damit traditionellere HPC-Jobs moderne Container-Technologien nutzen können.

Heutzutage streben viele Unternehmen danach, HPC- und Cloud-Computing-Footprints mit einem standardisierten Container-Toolset zu verknüpfen, um gemeinsame Technologiepraktiken zwischen cloudnativen und HPC-Deployments zu erstellen. Diese Kunden haben gezeigt, dass es möglich ist, herkömmliche HPC-Workloads mit KI/ML-gesteuerten Anwendungen, die von einer Hybrid Cloud-Plattform wie Red Hat OpenShift unterstützt werden, massiv zu verbessern. Darüber hinaus profitieren HPC-Standorte durch die Arbeit mit moderner Technologieinfrastruktur und die Verwendung von Containern von Konsistenz, Geschwindigkeit und Effizienz.

Diese neuartigen Funktionen können Wettbewerbsvorteile schaffen und Entdeckungen beschleunigen, während sie gleichzeitig die Flexibilität und Skalierbarkeit von cloudnativen Technologien erreichen. Dadurch können HPC-Workloads in verschiedenen Umgebungen ausgeführt werden: am Edge, wo die Daten generiert oder gesammelt werden, oder aber auf leistungsstarken Exascale-Supercomputern.