Vor- und Nachteile von Neural Processing Units (NPUs)

Vor- und Nachteile von Neural Processing Units (NPUs)
Die Neural Processing Units (kurz: NPUs) gehören bald zur Standardausrüstung neuer PCs. Dieser Artikel erklärt, warum die neuen Recheneinheiten so wichtig sind.
Auch wenn CPUs und GPUs weiterhin wichtige Bestandteile von PCs sind, richtet sich die Aufmerksamkeit der Chip-Hersteller zunehmend auf die NPUs. Eine beachtliche Leistung sollen diese „Neural Processing Units“ liefern können, sagen die Hersteller. Dabei beschränken sich diese Einheiten auf die Unterstützung von KI-Aufgaben. In diesem Bereich sollen die NPUs bei Windows verschiedenste Anwendungen beschleunigen.
Bislang ist nur eine kleine Anzahl von Rechnern in der Lage, ihre NPUs auch richtig einzusetzen. Wenn es nach den Herstellern geht, haben bald alle PCs, Laptops und Tablets diese besonderen Einheiten verbaut. In diesem Artikel erfährst Du, was die NPUs so besonders macht und welche Aufgaben sie erfüllen sollen.
Definition: NPU
Eine NPU ist ein spezialisierter Prozessor, optimiert auf Anwendungen für Künstliche Intelligenz und maschinelles Lernen. Ähnliche wie eine GPU (Graphics Processing Unit), welche speziell auf die Berechnung von Grafiken ausgerichtet und für diese Zwecke optimiert ist. KI-Aufgaben können NPUs deutlich besser absolvieren als CPUs, die eher allgemeine Aufgaben erledigen.
„Neural“ deswegen, weil KI-Modelle auf neuronale Netzwerke angewiesen sind. Dabei handelt es sich um Netzwerke von Knotenpunkten zum Austausch von Informationen. Also ähnlich wie das feinmaschige zentrale Nervensystem des Gehirns.
Allerdings stellt die NPU höhere Anforderungen an den Aufbau des Rechners. Im Gegensatz zu einer GPU lässt sie sich nicht einfach im Laden kaufen und anschließend einbauen. Die NPU und die Prozessorplattform bilden eine Einheit, wie etwa die Core Ultra von Intel, Ryzen AI von AMD sowie Snapdragon X Elite und Snapdragon X Plus von Qualcomm zeigen. In diesen Prozessorplattformen sind ebenfalls eine GPU und NPU verbaut.
Die Vorteile von NPUs
-
Künstliche Intelligenz lässt sich bereits auf vielfältige Weise auch ohne NPU nutzen, wirst Du möglicherweise denken. In der Tat gibt es vor allem im Internet zahlreiche Angebote, bei denen die KI-Berechnungen auf externe Cloud-Server ausgelagert werden. Die eigene Hardware wird dafür nicht benötigt.
-
Zur Ausführung von Microsoft Copilot, ChatGPT, Google Gemini, Adobe Firefly und mehr reicht eine Internetverbindung aus. Selbst alte Windows-Rechner, Mac, Chromebooks und Smartphones können sie problemlos nutzen.
-
Allerdings musst Du dafür bezahlen. Die Anbieter geben nur eingeschränkten Zugang zu ihren Cloud-Diensten, solltest Du keine monatlichen Gebühren entrichten. Auch Unternehmen wie Microsoft müssen hohe Summen investieren, um die KI-Berechnungen auf externe Rechenzentren zu verlagern. Unternehmen wie auch private Nutzer können viel Geld sparen und in spezialisierte Hardware für KI-basierte Anwendungen investieren.
-
Abgesehen von der Kostenersparnis ist es schlicht praktisch, die KI-Hardware immer zur Verfügung zu haben. Auch ohne Internetverbindung kannst Du dann jederzeit die Künstliche Intelligenz ihre Arbeit verrichten lassen.
-
Du musst keine persönlichen Daten mit den Cloud-Anbietern austauschen und kannst somit Deine KI-Projekte privat halten. Den Datenschutz freut das ebenfalls.
-
Künstliche Intelligenz lässt sich bereits auf vielfältige Weise auch ohne NPU nutzen, wirst Du möglicherweise denken. In der Tat gibt es vor allem im Internet zahlreiche Angebote, bei denen die KI-Berechnungen auf externe Cloud-Server ausgelagert werden. Die eigene Hardware wird dafür nicht benötigt.
-
Zur Ausführung von Microsoft Copilot, ChatGPT, Google Gemini, Adobe Firefly und mehr reicht eine Internetverbindung aus. Selbst alte Windows-Rechner, Mac, Chromebooks und Smartphones können sie problemlos nutzen.
-
Allerdings musst Du dafür bezahlen. Die Anbieter geben nur eingeschränkten Zugang zu ihren Cloud-Diensten, solltest Du keine monatlichen Gebühren entrichten. Auch Unternehmen wie Microsoft müssen hohe Summen investieren, um die KI-Berechnungen auf externe Rechenzentren zu verlagern. Unternehmen wie auch private Nutzer können viel Geld sparen und in spezialisierte Hardware für KI-basierte Anwendungen investieren.
-
Abgesehen von der Kostenersparnis ist es schlicht praktisch, die KI-Hardware immer zur Verfügung zu haben. Auch ohne Internetverbindung kannst Du dann jederzeit die Künstliche Intelligenz ihre Arbeit verrichten lassen.
-
Du musst keine persönlichen Daten mit den Cloud-Anbietern austauschen und kannst somit Deine KI-Projekte privat halten. Den Datenschutz freut das ebenfalls.
Unterschiede zwischen NPUs, CPUs und GPUs
Das Angebot an CPUs und GPUs bestimmt den Markt für Rechner und auch bei den Konsolen spielen sie eine wichtige Rolle. Doch wie passen die NPUs in dieses Zweiergespann aus Recheneinheit und Grafikkarte?
Die CPU wird auch als Zentralprozessor bezeichnet. Die „Central Processing Unit“ ist für die meisten Abläufe innerhalb des PCs zuständig. Ohne sie läuft im Grunde nichts. Theoretisch kann die CPU auch für die Darstellung von Grafiken herhalten. Jedoch sind spezialisierte „Graphics Processing Units“ in dieser Hinsicht wesentlich effizienter. GPUs sind so leistungsstark, dass sie auch für andere Aufgaben herhalten können. Unter anderem werden sie für das Schürfen von Kryptowährungen eingesetzt, wobei spezialisierte ASICs ihnen teilweise den Rang abgelaufen haben. Aufgrund ihrer hohen Leistung wurden die GPUs bisher auch für die Berechnung von KI-Aufgaben eingesetzt.
Dabei gibt es jedoch ein Problem: Zwar sind die GPUs leistungsstark, sie verbrauchen dafür aber viel Strom. Die NPUs hingegen können die KI-Aufgaben mit wesentlich geringerem Stromverbrauch verarbeiten. Dabei sind sie schneller als CPUs, jedoch langsamer als GPUs. Trotzdem versprechen sich die Hersteller durch dieses Dreiergespann einen enormen Effizienzgewinn, denn die NPU entlastet CPU und GPU, da diese sich nicht mehr um KI-Aufgaben kümmern müssen.
Sinn und Zweck von NPUs
Hardwarehersteller preisen ihre GPUs als die beste Wahl für leistungsstarke KI-Anwendungen an. Generative Bildgenerierungssoftware wie Stable Diffusion erstellt zum Beispiel mit der Premium-KI-Hardware von Nvidia hochwertige Bilder in Sekunden. Damit bewirbt der Hersteller zumindest seine Hardware.
Allerdings gibt es viele KI-basierte Anwendungen, welche die CPU zu sehr belasten, jedoch nicht auf die enorme Leistung von teuren GPUs angewiesen sind. Zudem verbrauchen die GPUs wesentlich mehr Strom, was vor allem für Laptops nachteilig sein kann, wenn der Akku innerhalb von kürzester Zeit leer ist. Ebenfalls nachteilig sind sie für den Geldbeutel hinsichtlich steigender Stromkosten.
NPUs verbrauchen hingegen wesentlich weniger Strom. Damit hält sich auch die Wärme- und Geräuschentwicklung in Grenzen, was vor allem Laptop-Nutzer erfreuen sollte. Zudem wird der Akku geschont und die CPUs und GPUs sind frei, um sich um andere Aufgaben zu kümmern.
Und NPUs sind nicht allein auf KI-Anwendungen beschränkt. So präsentierte auf der CES 2024 HP eine neue Software, welche NPUs für das Video-Streaming nutzt. Somit blieb die GPU frei, sich um die grafische Darstellung des Spiels zu kümmern. Andernfalls müsste eventuell die CPU für das Streaming herhalten oder wertvolle GPU-Ressourcen würden in Anspruch genommen. Die Kombination aus NPU, CPU und GPU ist jedoch wesentlich effizienter.
Dafür braucht Windows die NPUs
Windows-Rechner, welche in Zukunft verstärkt auf Künstliche Intelligenz setzen wollen, kommen um spezialisierte Hardware kaum herum. Die NPUs können sich auf KI-Anwendungen fokussieren und somit die restliche Hardware entlasten. Das trifft etwa auf einen Laptop zu, in dem eine CPU des Typs Intel Meteor Lake verbaut ist. NPUs können bei solchen Geräten die KI-gesteuerte Webcam-Effekte von Windows Studio Effects ausführen, um zum Beispiel den Augenkontakt zur Webcam aufrechtzuerhalten oder den Hintergrund mittels Unschärfe verschwinden zu lassen.
Zudem können die NPUs weitere KI-Funktionen freischalten, die ohne sie nicht möglich wären. Das zeigen etwa die Copilot-PCs von Microsoft mit den neuen Qualcomm Snapdragon X-Chips. Diese PCs bieten eine Reihe von Funktionen, welche Gebrauch von den verbauten NPUs machen. Ohne diese speziellen Chips würde zum Beispiel Windows Recall nicht funktionieren.
Seit dem November 2024 entwickeln auch AMD und Intel ihre NPUs für die Copilot-PCs von Microsoft mitsamt eigenen Anwendungen. Bislang sind es lediglich die Prozessoren der AMD Ryzen AI 300 Series und die Intel Core Ultra Series 2 (Lunar Lake), welche dafür zur Verfügung stehen. Nicht nur Windows, auch plattformunabhängige Entwickler basteln derzeit an verschiedenen Programmen und Apps mit einem Fokus auf die Künstliche Intelligenz. Diese werden Gebrauch von den NPUs machen können und somit den Umfang an Funktionen noch erweitern. Plugins für Audacity oder GIMP für die KI-gestützte Audio- und Fotobearbeitung stehen schon in den Startlöchern. Jedoch handelt es sich um die ersten Gehversuche und die Entwickler müssen erst lernen, die NPUs effizient zu nutzen.
Diese NPUs stehen zur Auswahl
Das Angebot an NPUs ist derzeit überschaubar und bietet dennoch ein hohes Leistungssprektum. Die Leistung dieser Chips wird in TOPS angegeben. TOPS steht für „Tera Operations per Second“ und damit für 1 Billion Operationen pro Sekunde. NPUs im niedrigpreisigen Bereich schaffen etwa 10 TOPS. Bei PCs mit dem Microsoft Copilot PC Branding beläuft sich die Leistung auf mindestens 40 TOPS.
Derzeit stehen sechs NPUs zur Verfügung: Zwei von Intel, zwei von AMD und zwei von Qualcomm. Die Intel Core Ultra Serie 1 (Meteor Lake) gehört zur ersten Generation von NPUs und leistet 11 TOPS. Damit kann der Chip die Funktionen von Windows Studio Effects und weitere Drittanbieter-Anwendungen ausführen. Jedoch reicht die Leistung nicht an die Anforderungen von Microsofts Copilot heran. Besser sieht es da schon mit der Serie 2 (Lunar Lake) von Intel aus. Diese bringt 48 TOPS zustande und damit mehr als genug für Copilot-PCs.
AMD ist derzeit mit den Serien Ryzen Pro 7000 und den 8000 vertreten. Allerdings belaufen sich die TOPS der Ryzen 7000er-Serie auf lediglich 12 bis 16 TOPS, womit diese NPUs für Microsofts Copilot-PCs ungeeignet sind. Anders sieht es bei der AMD Ryzen AI 300 Serie aus. Diese NPUs bringen eine Leistung von bis zu 50 TOPS zustande und übertreffen damit die Mindestanforderungen.
Bei der Snapdragon X Elite und die Snapdragon X Plus von Qualcomm handelt es sich um ARM-basierte Chips mit Qualcomm Hexagon NPUs verbaut. Sie bringen eine Leistung von bis zu 45 TOPS auf.
Die Hersteller fokussieren sich nicht nur auf NPUs für PCs, sondern entwickeln auch KI-Chips für Smartphones und andere Geräte. Zu den ersten NPUs dieser Art gehört unter anderem die Neural Engine von Apple. Google arbeitet an seiner Tensor-Plattform für Pixel-Geräte, während Samsung für seine Galaxy-Smartphones eigene NPUs entwickelt.
Lohnt sich die Anschaffung von NPU-kompatiblen PCs?
Vielleicht denkst Du bereits darüber nach, welcher PC und welche NPUs für Dich infrage kommen, um die vielen KI-Anwendungen effektiv nutzen zu können. Jedoch ist es noch zu früh, ein eindeutiges Ja zu den neuralen Chips geben zu können. Wir befinden uns weiterhin in den ersten Phasen der Entwicklung.
Es gibt derzeit keine Garantie, dass Deine Anschaffung eines Laptops mit Meteor Lake-NPU auch in vielen Jahren die gewünschte Leistung bringen kann. So waren die Chips bereits erhältlich, bevor Microsoft wissen ließ, dass sie für Copilot-Funktionen nicht ausreichend Leistung bringen. Allerdings gibt es einen Wermutstropfen: Bislang sind die Funktionen von Copilot-PCs nicht so umfassend, dass sich eine Investition tatsächlich lohnt. Die Vorteile der Copilot-PCs lassen sich an einer Hand abzählen und nicht einmal bekannte KI-Anwendungen wie ChatGPT oder Adobe Firefly machen Gebrauch von ihnen.
Die Anschaffung eines Laptops mit integrierter NPU kann sich dennoch lohnen. Moderne Laptops neuester Bauart haben diese in der Regel bereits integriert. Zu ihren Vorteilen gehört unter anderem eine längere Akkulaufzeit, zumindest beim Einsatz von KI-Anwendungen. Allerdings bringen ältere Laptops für denselben Preis oftmals mehr Leistung. Leistungsstarke Laptops mit NPUs machen sich bislang rar. Zurzeit hast Du die Wahl zwischen dem Surface Laptop 7, der AMD Ryzen AI 300 Serie oder dem Asus ProArt PX13.
Fraglich ist die Anschaffung auch deswegen, weil die meisten bekannten KI-Anwendungen weiterhin auf die Cloud setzen. Auch Hardware-basierte KI-Dienste bieten das zumindest als Option an. Und nicht immer stehen für den Desktop NPUs zu Verfügung. Intel muss in dieser Hinsicht noch nachliefern. AMD-Desktops mit NPUs stehen zur Verfügung, werden aber nicht von Microsofts Copilot unterstützt.