Supercomputing in Deutschland

What is the ideal data transfer process? What is an example of successful visualisation? You will find answers to these questions and more on this page. A PDF of best practices can be downloaded at the bottom of the page.

Ein Innenraum eines Rechenzentrums mit einer langen Reihe schwarzer Server-Racks, die jeweils eine Frontplatte aus Mesh und das Lenovo-Logo in Rot oben rechts haben. Die Decke besteht aus einem Gitter aus Metallträgern und durchscheinenden Paneelen, die natürliches Licht in den Raum lassen. Über dem Bild liegt ein großes, halbtransparentes goldenes Rechteck mit dem Wort "Datenmanagement" in fetter weißer Schrift, zentriert darin. Unten rechts ist ein Logo für "EURO GCS" zu sehen, das aus einem stilisierten Buchstaben "C" und einem blauen Streifen darunter besteht. Unten links im Bild steht ein Copyright-Hinweis: "Copyright: Forschungszentrum Jülich," gefolgt von einer URL: "https://www.fz-juelich.de/en/ias/jsc/systems/storage-systems/just".
Ein detailliertes Diagramm, das das Datenmanagement in HPC (High-Performance Computing)-Projekten veranschaulicht. Das Bild ist in zwei Hauptbereiche unterteilt: ein Flussdiagramm auf der linken Seite und ein erklärender Text auf der rechten Seite. Das Flussdiagramm besteht aus vier blauen Kästchen, die durch Pfeile verbunden sind, wobei jedes ein anderes Speichersystem darstellt: 1. $HOME: Oben positioniert, zeigt dieses Kästchen die Sicherung von Daten auf den meisten Systemen an, einschließlich nutzerspezifischer Daten wie ssh-Keys und Quellcode. Ein Pfeil mit der Beschriftung "Berechnung I/O" zeigt von $HOME zu $SCRATCH. 2. $SCRATCH: In der Mitte gelegen, beschreibt dieses Kästchen ein Speichersystem mit hoher I/O-optimierter Bandbreite, temporären Daten, häufiger automatischer Datenlöschung und Datenaustausch innerhalb des Projekts. Ein Pfeil mit der Beschriftung "Daten-Sharing im Projekt" zeigt von $SCRATCH zu $PROJECT. 3. $ARCHIVE: Links positioniert, stellt dieses Kästchen Langzeitspeicher dar, mit einem Pfeil, der mit "Datenarchivierung" beschriftet ist und von $SCRATCH zu $ARCHIVE zeigt. 4. $PROJECT: Unten positioniert, zeigt dieses Kästchen an, dass die Sicherung vom System abhängt. Ein Pfeil zeigt zurück zu $SCRATCH und schließt den Zyklus. Auf der rechten Seite des Bildes erklärt ein Textblock mit dem Titel "Datenmanagement", dass HPC-Projekte typischerweise große Datenmengen umfassen. Um die Leistung zu optimieren, werden in verschiedenen Phasen des Projekt-Workflows unterschiedliche Speichersysteme genutzt. Das Diagramm veranschaulicht den Umgang mit Daten innerhalb eines Projekt-Workflows, der Home-, Scratch-, Projekt- und Archivspeichersysteme umfasst. Besondere Eigenschaften dieser Speichersysteme werden kurz erwähnt. Am unteren Rand des Bildes heben zusätzliche Notizen die Herausforderungen begrenzten Speichers und einer begrenzten Anzahl von Dateien hervor und schlagen vor, dass alte Daten regelmäßig bereinigt und mehrere Dateien in einzelnen Archiven (.tar) komprimiert werden sollten. Der Hintergrund ist in einem hellen Beigeton gehalten, und der Text ist hauptsächlich auf Deutsch.
Ein hochmodernes Serverraum mit einer Reihe großer, moderner Computer-Server. Die Server sind auf der rechten Seite des Bildes aufgereiht, jeder mit farbenfrohen Paneelen, die abstrakte Designs zeigen, möglicherweise zur Darstellung von Daten- oder Energiefluss. Über den Servern sind schwarze Balken von der Decke abgehängt, mit den Worten "ENERGY" und "CLIMATE" in Weiß, die Abschnitte oder Themen innerhalb des Serverraums kennzeichnen. Der Boden ist weiß und makellos, was zum sauberen und organisierten Erscheinungsbild des Raumes beiträgt. Die Decke ist metallisch, reflektiert Licht und verstärkt das futuristische Ambiente. Im Vordergrund bedeckt ein halbtransparentes, goldbraunes Overlay einen Teil des Bildes, mit dem Wort "Software" in fetten weißen Buchstaben, was auf einen Fokus auf Softwarelösungen oder -fähigkeiten hindeutet. In der unteren rechten Ecke ist ein Logo sichtbar, das ein stilisiertes "C" und den Text "EURO" über "GCS" zeigt, möglicherweise das Unternehmen oder Projekt, das mit diesem Serverraum verbunden ist.
Ein Diagramm und Text über Software-Stacks für HPC (High-Performance Computing)-Systeme. Links befindet sich ein Pyramiden-Diagramm mit der Beschriftung "Module System of Software Stack" an der Basis. Die Funktionsebenen steigen von unten nach oben: "Compilers" (Intel/GNU/CUDA compiler), "Parallel libraries" (OpenMPI, ParaStationMPI), "Numerical libraries" (MKL, SciPy...), und "Application packages" (Simulation, distributed DL). Links neben der Pyramide sind Logos und Namen von Tools: DARSHAN, GNU Debugger, scalasca, easybuild, Lmod und Spack, kategorisiert unter "Debugger & Performance Tools" und "Modulmanagement." Rechts befindet sich ein Textblock mit dem Titel "Software", der erklärt, dass HPC-Zentren strukturierte Software-Stacks bereitstellen, die für spezifische Systeme optimiert sind und den Nutzern über ein Modulsystem zur Verfügung stehen. Es wird erwähnt, dass Debugger- und Leistungsanalysetools bereitgestellt werden, um die Codeentwicklung und -optimierung zu erleichtern, sowie Simulationscodes, die hinsichtlich Skalierbarkeit und Effizienz für heterogene HPC-Systeme optimiert sind. Unter dem Diagramm beschreibt zusätzlicher Text ein breites Softwareportfolio auf HPC-Systemen, einschließlich Compiler auf niedrigerer Ebene, paralleler Programmbibliotheken, numerischer Bibliotheken auf höherer Ebene und wissenschaftlicher Anwendungspakete, sowie skalierbare Simulationscodes und Pakete für distributed machine learning.
Eine Collage wissenschaftlicher Visualisierungen. Das Bild zeigt verschiedene farbenfrohe und komplexe computergestützte Simulationen und Visualisierungen, wie Strömungsdynamik, Wärmebilder und Partikelfluss. In der Mitte befindet sich ein großes braun-orangefarbenes Rechteck mit dem Wort "Visualisierung" in weißer Schrift. In der unteren rechten Ecke ist ein Logo mit der Aufschrift "EURO GCS" zu sehen. Die Visualisierungen umfassen eine Vielzahl von Farben und Mustern, die auf unterschiedliche Arten von Daten und Analysen hinweisen.
Diagramm, das den Prozess der Datenvisualisierung auf einem HPC (High-Performance Computing)-System darstellt. Links gibt es zwei Hauptabschnitte. Der obere Abschnitt zeigt einen Benutzer, der sich mit einem HPC-System verbindet. Der Benutzer wird durch ein blaues Symbol einer Person an einem Computer dargestellt. Ein Pfeil mit der Aufschrift "Setup an SSH tunnel" zeigt auf das HPC-System, das "Login nodes," "Visualization nodes" und "Compute nodes" umfasst. Darunter befinden sich Anweisungen für den Benutzer: "Prepare your account: create VNC directory and password" und "start VNC viewer." Für das HPC-System lauten die Anweisungen: "Start VNC server" und "Setup desired profile and geometry." Der untere Abschnitt beschreibt zwei Visualisierungsprozesse. Der erste ist "Visualization with Paraview," bei dem "Simulation results" über "Data storage" und "ParaView" verarbeitet werden, um "Post-processing output" zu erzeugen, einschließlich Plots, Bilder und Statistiken. Der zweite Prozess ist "In-situ Visualization with Paraview Catalyst," bei dem "Simulation results" mit "ParaView Catalyst" unter Verwendung von "Script input" verarbeitet werden, um ähnliche Ausgaben zu erzeugen. Rechts befindet sich ein Textblock mit dem Titel "Visualisierung," der die Rolle der Visualisierungsknoten bei der Unterstützung der Daten-Nachbearbeitung und des Renderings auf Supercomputern erklärt. Es wird die Verwendung von VNC für den grafischen Zugriff auf gespeicherte Daten erwähnt und beschrieben, wie HPC-Nutzer die Visualisierung vor Ort durchführen können, um eine externe Datenübertragung zu vermeiden. Es werden die Vorteile der Zeitersparnis, insbesondere bei größeren Simulationen, hervorgehoben, wobei Paraview Catalyst als Beispiel dient. Der Text im Bild ist auf Deutsch.
Ein großer Raum eines Rechenzentrums, gefüllt mit Reihen von Hochleistungsrechnern (HPC-Systemen). Die Server-Racks sind in einer langen Reihe ausgerichtet, jedes enthält zahlreiche Komponenten und Kabel und ist unten mit "SUPERMUC-NG" beschriftet. Die Server haben ein elegantes, modernes Design mit schwarzen Gehäusen und sind mit gelben Kabelmanagement-Trays versehen. Eine halbtransparente orangefarbene Überlagerung befindet sich auf der linken Seite des Bildes und zeigt den Text "Zugang zu HPC Systemen" in Weiß. Der Raum hat eine hohe Decke mit sichtbaren blauen Rohren und Kanälen, was zu einer industriellen Ästhetik beiträgt. Der Boden ist mit hellen Fliesen bedeckt, und es sind Lüftungsgitter sichtbar. In der unteren rechten Ecke befindet sich ein Logo mit dem Text "EURO GCS" und einem stilisierten "C"-Design darüber. Die Gesamtatmosphäre des Bildes vermittelt ein Gefühl von fortschrittlicher Technologie und Hochleistungskapazität.
Ein Flussdiagramm und ein Text auf Deutsch. Das Flussdiagramm auf der linken Seite ist in zwei Abschnitte unterteilt. Der obere Abschnitt trägt den Titel "Wer erhält Zugang und wie?" und zeigt zwei Hauptwege für den Zugang zu Ressourcen: einen für Universitäten oder den öffentlichen Dienst und einen anderen für KMUs oder die Industrie. Beide Wege beinhalten die Beantragung eines Projekts und können die Zahlung pro Core-Stunde oder die Zusammenarbeit mit Universitäten erfordern. Der untere Abschnitt trägt den Titel "Wie nutzt man ein HPC System?" und beschreibt den Prozess der Einreichung eines Jobs, des Wartens in einer Warteschlange und der Überwachung des Jobs, bis Ressourcen verfügbar sind. Auf der rechten Seite erklärt ein Textblock den Prozess der Kontaktaufnahme mit einem HPC-Zentrum, das am besten zu den Bedürfnissen des Nutzers passt, und erwähnt unterschiedliche Zugangsverfahren je nach Bereich (Industrie, Universität usw.). Es wird auch die Nutzung von HPC-Ressourcen in Bezug auf Core-Stunden und die Einreichung von Aufträgen zur Verarbeitung beschrieben. Der Text listet verschiedene Benutzerschnittstellen auf: JupyterLab, Kommandozeile mit SSH und grafische Benutzeroberfläche. Der Hintergrund des Textblocks ist in einem dunkleren Gelbton gehalten, während die Flussdiagramme in hellblauen Kästchen dargestellt sind.
Best Practice GuideDownload PDF