Optischer KI-Prozessor zur Reduzierung des Stromverbrauchs im Rechenzentrum ...

Forscher am MIT in den USA und an der Technischen Universität Berlin haben einen optischen neuronalen Netzwerkprozessor mit eingebetteten Lasern gebaut, der den Stromverbrauch großer Sprachmodell-KI wie GPT4.0 senkt.

Die 3D-Architektur basiert auf hochmodernen Arrays vertikaler oberflächenemittierender Laser (VCSELs), die von der Reitzenstein-Gruppe an der Technischen Universität Berlin entwickelt wurden. Dies führt zu einer 100-fachen Verbesserung der Energieeffizienz und einer 20-fachen Verbesserung der Rechendichte.

„Dies war ein Gemeinschaftsprojekt, das ohne sie nicht möglich gewesen wäre“, sagt der Forscher Ryan Hamerly vom Research Laboratory of Electronics (RLE) des MIT, der das Design zusammen mit Kollegen patentiert hat.

Das System kann eine Energieeffizienz von 7 Femtojoule pro Operation (OP) mit einer Rechendichte von 6 TOP/mm2/s1 erreichen, was einer 100-fachen bzw. 20-fachen Verbesserung gegenüber modernen digitalen Prozessoren entspricht. Eine kurzfristige Entwicklung könnte diese Kennzahlen um zwei weitere Größenordnungen verbessern und maschinelle Lernaufgaben von Rechenzentren auf dezentrale Geräte übertragen.

„Wir gehen davon aus, dass es in einigen Jahren für die kommerzielle Nutzung skaliert werden kann. Die beteiligten Laser-Arrays werden beispielsweise häufig bei der Gesichtserkennung von Mobiltelefonen und der Datenkommunikation eingesetzt“, sagt Zaijun Chen, Erstautor, der die Arbeit als Postdoktorand am MIT am RLE durchführte und jetzt Assistenzprofessor an der University of Southern ist Kalifornien.

„ChatGPT ist in seiner Größe durch die Leistung heutiger Supercomputer begrenzt. Es ist einfach wirtschaftlich nicht sinnvoll, Modelle zu trainieren, die viel größer sind. Unsere neue Technologie könnte den Sprung zu Modellen des maschinellen Lernens ermöglichen, die sonst in naher Zukunft nicht erreichbar wären“, sagte Dirk Englund, außerordentlicher Professor am Department of Electrical Engineering and Computer Science des MIT und Leiter der Arbeit.

„Wir wissen nicht, welche Fähigkeiten das ChatGPT der nächsten Generation haben wird, wenn es 100-mal leistungsfähiger ist, aber das ist das Entdeckungsregime, das diese Art von Technologie ermöglichen kann.“ Englund leitet außerdem das Quantum Photonics Laboratory des MIT und ist mit dem RLE und dem Materials Research Laboratory verbunden.

Weitere Mitautoren des aktuellen Artikels von Nature Photonics sind Alexander Sludds, Ronald Davis, Ian Christen, Liane Bernstein und Lamia Ateshian, alle von RLE; und Tobias Heuser, Niels Heermeier, James A. Lott und Stephan Reitzenstein von der Technischen Universität Berlin.

Chen, Hamerly und Englund haben ein Patent für die Arbeit angemeldet, das vom US Army Research Office und NTT Research in Japan sowie der Volkswagen-Stiftung in Deutschland gefördert wurde.