Kurze Wege zwischen Verarbeitung und Speichern von Daten

Chip des Cerebras CS-2-Systems: Rechenkraft und Speicher liegen nahe beieinander, das beschleunigt das Machine Learning. Foto: Cerebras Systems.

Ein Präsenz-Workshop am Leibniz-Rechenzentrum zeigte auf, welche Möglichkeiten das CS-2-System von Cerebras Systems Wissenschaft und Forschung bietet: Neben dem Training von großen Sprachmodellen und Mustererkennung kann es auch Anwendungen des Höchstleistungsrechnens beschleunigen.

 

Neue Technologien machen neugierig und sind erklärungsbedürftig: „Die Architektur des CS-2-Systems ist einzigartig und neu“, sagt Michael Gerndt, Professor am Department of Computer Engineering der Technischen Universität München (TUM). Der Wissenschaftler nimmt an einem Workshop am Leibniz-Rechenzentrum (LRZ) teil, der sich um die Funktionen und Möglichkeiten des CS-2-Systems von Cerebras Systems dreht, ein auf Anwendungen der Künstlichen Intelligenz spezialisiertes Computersystem, das Forschende am LRZ dank Bayerns Hightech-Agenda seit etwa zwei Jahren nutzen können. Gerndt erkundet parallele Systeme und Programmierwerkzeuge und will sich über das System informieren: „Ich möchte es in meiner Vorlesung zur Rechnerarchitektur einbringen, außerdem kann man es jenseits von Machine Learning für HPC-Anwendungen einsetzen, auch das ist für uns interessant.“

Ob Informationen über eine innovative Computerarchitektur oder Tipps und Tricks beim Arbeiten damit: Im Juli dieses Jahres brachte der Cerebras-Workshop knapp 30 Forschende am LRZ zusammen, darunter Professorinnen und Doktoranden, die den innovativen Supercomputer mit dem zurzeit größten Chip der Welt von Grund auf kennenlernen und die Zugangsmodalitäten des LRZ erfahren wollten: „Ziel des Workshops war einerseits Community-Building mit Forschenden, die das CS-2-System einsetzen können“, berichtet Dr. Michael Hoffmann vom LRZ-Team Big Data & Artificial Intelligence (BDAI). „Außerdem konnten wir uns selbst noch einige Tricks und Strategien im Umgang damit aneignen.“

Hoch integrierter Chip

Das CS-2-System unterscheidet sich wesentlich von den Supercomputern des LRZ und eignet sich besonders für das Training großer Sprachmodelle: „Große KI-Modelle passen nicht zu Graphics Processing Units, Entwicklerinnen müssen die Modelle sehr stark unterteilen, um sie auf Hunderte von GPU zu verteilen“, erklärt Gokul Ramakrishnan, technischer Leiter von Cerebras Systems und Dozent des Workshops. „Das Modell muss für den Einsatz auf einem Cluster neu geschrieben werden.“  Das ist beim CS-2-System nicht nötig, denn sein 46 Quadrat-Zentimetern großer Chip integriert rund 2,6 Billionen Transistoren in 850.000 Rechenkernen, außerdem Speicherkapazitäten von bis zu 40 Gigabyte. Während viele gängige KI-Cluster Daten blockweise auf Prozessoren laden, sie verarbeiten und die Ergebnisse in den Speicher zurückschreiben, können sie auf der goldfarbenen Wafer Scale Engine (WSE) mit einer Geschwindigkeit von 20 Petabytes pro Sekunde von Kern zu Kern fließen. Prozessoren und On-Chip-Speicher liegen nah bei einander, was einen schnellen Datentransfer ermöglicht und das Deep- und Machine Learning beschleunigt.

Profile: Wafer Scale Engine-2 Cerebras

850,000 Kerne optimiert für sparsame, lineare Algebra
46,225 mm² Silicon
2.6 Billionen Transistoren
40 gigabytes Speicher auf dem Chip
20 PByte/s Speicherbandbreite
220 Pbit/s fabric bandwidth
7nm Prozesstechnologie

Die Technik empfiehlt sich auch für Anwendungen des High-Performance Computings (HPC): „Projekte, die eine hohe Speicherbandbreite erfordern und davon profitieren, dass die Arbeitsdaten in der Nähe der Rechenkerne gespeichert sind, können auf dem CS-2-System effizient ausgeführt werden,“ sagt LRZ-Forscher Jophin John vom BDAI-Team. Zurzeit laufen die ersten HPC-Projekte am LRZ, bei denen die Technik zum Einsatz kommen soll.

Model Zoo und Software für eigene Programme

Für die Entwicklung eigener Modelle und Programmen sind auf dem innovativen System ein eigener Software Stack auf Basis der Programmiersprache PyTorch implementiert sowie eine Auswahl weit verbreiteter KI-Modelle wie etwa Bert, Llama, Mistral und wichtige Transformer, der so genannte Model Zoo. Wie Forschende damit coden oder bestehende Modelle auf individuelle Anforderungen anpassen können, war ein Schwerpunkt des Workshops und Inhalt von praktischen Übungen. Die Teilnehmenden lernten, wie sie Modelle auf dem CS-2 implementieren, Trainingsdaten vorbereiten und effizient verarbeiten können. „Entscheidend fürs Pre-Training großer Sprachmodelle ist, zunächst mit kleineren Versionen des Datensatzes zu experimentieren. Dadurch können passende Hyperparameter für den Trainingsprozess ermittelt werden, was eine energieeffiziente Durchführung ermöglicht“, empfiehlt Hoffmann. „Kommen die angepassten Modelle aus dem Model Zoo zur Anwendung, ist das CS-2 benutzerfreundlich. Eigene Modelle zu implementieren, kann zur Herausforderung werden, bei der wir Anwenderinnen unterstützen.“ Bei Bedarf passt Cerebras Systems neue Modelle auf sein CS-2-System an, das BDAI-Team kann Nutzerinnen außerdem zur Office-Hour des Unternehmens einladen, die jeden Dienstag ab 16 Uhr stattfindet und der Beratung sowie dem Austausch dient.

„Rechen-Ressourcen sind in der Forschung immer sehr gefragt. Die Aussicht, mit CS-2 sehr große KI-Modelle von Grund auf trainieren zu können, hat mich zur Teilnahme bewogen“, resümiert Dr. Niki Kilbertus, Professor an der TUM School of Computation, Information and Technology. „Insbesondere Projekte, bei denen wir bestehende große Sprachmodelle weder wieder verwenden noch fein abstimmen können, beispielsweise Modelle für Mikrobiom-DNA-Daten, könnten von Cerebras sehr profitieren.“ Scheint als brächte CS-2 bringt weitere Forschungsprojekte ans LRZ. (vs)

Der Model Zoo für das CS-2 Der Software Stack für das CS-2 basiert auf PyTorch. Cerebras Systems hat zudem gängige KI-Modelle und Transformer auf der CS-2 implementiert, etwa: Bert, Bloom, Codegen, Dpr, Falcon, Flan-ul2, GPT (2,3,4, j, neox), Llama, Llava, Mistral, Mpt, Octocoder, Roberta, Santacoder, SqlCoder, T5, Transformer, UI2, Wizardcoder. Zu den Modellen: https://github.com/Cerebras/modelzoo