Das leisten KI-Prozessoren von AMD und Intel

Künstliche Intelligenz ist auf  leistungsstarke Hardware angewiesen. Etwas, was die meisten vor allem von großen Desktop-PCs erwarten. Mit den Mobilprozessoren AMD Ryzen 8000 und Intel Core Ultra soll KI auch auf Laptops schnell ihre Wünsche erfüllen können. Dafür setzen diese Prozessoren auf KI-spezialisierte Hardware. AMD und Intel versprechen sich dadurch zusätzliche Einnahmen.

Beide Hersteller schauen sich bei der Entwicklung ihrer KI-Chips über die Schulter. Intel etwa produziert neue Prozessoren mit der Bezeichnung „Meteor Lake“ mit einer ausgeklügelten Architektur. Diese Chips weisen einen modularen Aufbau auf und setzen sich aus unterschiedlichen Chipteilen zusammen, auch Tiles (Kacheln) genannt. Diese Bauweise erinnert an die seit 2017 von AMD hergestellten Server- und High-End-Chips, welche seit 2019 auch in Desktop-PCs verbaut werden.

AMD hingegen ließ sich für die Ryzen-8000-Serie „Hawk Point“ von Intel inspirieren. Diese Chips nutzen eine hybride Technologie, die wir von Intels 12. Core-Generation Alder Lake kennen. Solche Chips sind aus mehreren effizienten und leistungsstarken Kernen zusammengesetzt. Wird weniger Leistung benötigt, dann fahren einige der Kerne herunter.

AMD und Intel präsentierten ihre neuen, auf KI-ausgelegten Laptop-CPUs bereits Ende letzten Jahres. In Deutschland zu kaufen gibt es die Laptops mit den neuen Prozessoren aber erst seit einigen Wochen. Dieser Beitrag erklärt Dir, was die neuen Chips können, welcher Hersteller die bessere Technik bietet und ob sie Deinen Laptop tatsächlich in eine mobile KI-Einheit verwandeln.

Die KI-Chips von Intel und AMD

Im Fokus der neuen KI-Chips steht ein spezieller Typ von Recheneinheit, genannt „NPU“ („Neural Processing Unit“). Diese Recheneinheit kann abhängig von der Aufgabe mit anderen Chips, der Grafikkarte und weiteren Hardware-Komponenten zusammenarbeiten. Oder sie erledigt allein die ihr zugeteilten KI-bezogenen Aufgaben. Das geschieht lokal, innerhalb des Laptops. Eine Internetverbindung oder der Zugang zu Cloud-Lösungen sind dafür nicht notwendig.

Tools wie Chat-GPT oder Midjourney sind dagegen auf eine Internetverbindung angewiesen, was den Prozess verlangsamen könnte. Zudem bearbeiten diese Tools gleichzeitig Tausende von Aufgaben von Nutzern überall auf der Welt. Die lokal verbaute Recheneinheit kümmert sich dagegen nur um die ihr zugeteilten Aufgaben und handelt sie in Echtzeit ab. So sind schnelle Antwortzeiten möglich. Dadurch lassen sie sich effektiv dort einsetzen, wo es ganz schnell gehen muss, etwa in der Bildoptimierung während eines Videomeetings oder bei Live-Übersetzungen. Und eine Internetverbindung ist ebenfalls nicht notwendig, damit die KI ihre Arbeit erledigen kann.

Ein besonderer Vorteil der KI-Prozessoren: Datenschutz. Datenschutzrechtlich haben die KI-Tools wie Chat-GPT das Problem, dass Daten und Eingaben häufig gespeichert werden. Die Entwickler nutzen die Daten für das Training ihrer KIs. Willst Du allerdings vertrauliche Daten und Projekte mit der KI bearbeiten, dann könnte die Nutzung der öffentlichen KI-Tools zu Schwierigkeiten führen. Das gilt etwa für die Zusammenfassung von privaten Konversationen über E-Mail oder Chats, oder bei vertraulichen Daten aus den internen Geschäftsbereichen eines Unternehmens.

Das Thema ist auch dann relevant, wenn Du die Künstliche Intelligenz gezielt auf das eigene Unternehmen hin trainieren willst. Dabei kommen interne Daten zum Einsatz und die Aufgaben sind unternehmensspezifisch und auf die eigenen Geschäfte ausgerichtet.

Der Nachteil von NPU-Einheiten: Die Rechenleistung ist im Vergleich zu den im Internet zugänglichen KIs geringer. Es hat seine Vorteile, die riesigen Server der Betreiber nutzen zu dürfen. Bei den lokal verbauten Prozessoren kann die KI jedoch nur auf die vorhandene Hardware zugreifen. Daher kann es bei manchen Aufgaben etwas länger dauern, sie kann in derselben Zeit im Vergleich zu Chat-GPT und anderen bekannten Anwendungen weniger Bilder verarbeiten und erstellen.

Die Neural Processing Units sind daher vor allem für Aufgaben geeignet, bei denen keine großen Datenmengen verarbeitet werden müssen. Oder es kommt nicht so sehr auf die Genauigkeit bei einer riesigen Datenmenge an. Ein Beispiel wären Videokonferenzen. Hierbei ist Geschwindigkeit entscheidend, die Qualität in Sachen Bild und Ton ist eher zweitrangig. Auch die Umwandlung von Sprachaufnahmen in Texte und umgekehrt wäre ein sinnvoller Einsatz.

Eine Anwendungsmöglichkeit sind die Windows Studio Effects bei Videokonferenzen. Bei aktivierter Laptop-Kamera (entweder über die Schnelleinstellungen oder über Windows-Einstellungen) hält die Künstliche Intelligenz das Bild immer auf Dich zentriert, sodass stetiger Augenkontakt besteht, selbst wenn Du gerade nicht in die Kamera blickst. Zudem filtert die KI störende Nebengeräusche oder lässt den Hintergrund verschwommen wirken.

Möglich ist das zurzeit nur mit bestimmten Kameras und Mikrofonen. Microsoft erlaubt den Einsatz von KIs zur Verbesserung von Bild und Ton nur bei Hardware, die den eigenen Ansprüchen genügt. Bei bestimmten Laptops können die NPUs daher möglicherweise nicht helfen. Manche Hersteller bieten daher in ihren Tools Extra-Funktionen an, die es trotzdem möglich machen. Dazu zählen etwa Purified-View und Purified-Voice von Acer. Adobe Photoshop und Blackmagic Davinci Resolve machen weiterhin Gebrauch von NPUs für die Bearbeitung von Bildern und Videos.

Solltest Du diese Funktionen bereits mit herkömmlichen Programmen verwenden, dann stellst Du Dir vielleicht die Frage, wozu es nun die KI braucht. Zuvor waren in erster Linie allein die CPU und die GPU für diese Anwendungen zuständig. Dabei verbrauchen sie viel Rechenleistung und Strom.

In der Regel erledigen die NPUs diese Aufgaben wesentlich effizienter. Sie führen die für KI speziell ausgerichteten Aufgaben schneller und stromsparender aus. Oder sie arbeiten dafür mit CPU und GPU zusammen, die allein wesentlich mehr Strom und Leistung aufbringen müssten. Dadurch werden dem Akku längere Laufzeiten beschert.

Allerdings müssen die Programme auch Gebrauch von der KI machen können. Wenn die Anwendung nicht weiß, was es mit dem NPU anstellen soll, dann kommt auch keine Zusammenarbeit zustande. Die Hersteller AMD und Intel sind daher bemüht, den Software-Anbietern ihre KI-Chips schmackhaft zu machen. Tools für solche Arbeiten stehen schon bereit, darunter die Programmierumgebung Open-Vino von Intel oder Ryzen AI Software von AMD.

Den KI-Chip im Laptop aktivieren

Damit die Neural Processing Unit ihre Aufgaben durchführen kann, musst Du sie zunächst aktivieren. In der Regel hat das der Hersteller bereits für den neuen Käufer getan. Die Option für die Aktivierung der NPUs findet sich im UEFI-Bios. Hier kannst Du sie ebenfalls deaktivieren. Bei einem Laptop mit Windows 10 hast Du übrigens Pech. Die neuen KI-Chips laufen nur unter Windows 11.

Ohne Treiber kann der KI-Chip seine Berechnungen nicht durchführen. Der Hersteller sollte dafür bereits den notwendigen Treiber installiert haben. Weitere Updates halten den Chip auf dem aktuellen Stand und ermöglichen es ihm, mit den neuesten Entwicklungen Schritt halten zu können. AMD macht die NPU-Treiber zum Teil der Treiber für Grafikkarten und nennt das Ganze dann „AMD Software: Adrenalin Edition“. Sobald der Treiber installiert ist, erscheinen die NPUs im Geräte-Manager von Windows. Handelt es sich um einen AMD-Laptop, dann finden sich die Chips unter dem Eintrag „AMD IPU Device“. Laptops mit Intel-NPUs zeigen diese in der Kategorie „Neural processors“ an, wo sie als „Intel AI Boost“ vermerkt sind.

Der Betrieb und die Auslastung der NPUs lässt sich anschließend im Windows-Task-Manager überwachen. Dafür rufst Du mit Strg + Alt + Entf den Task-Manager auf und gehst dann zu dem Reiter „Leistung“. Hier erscheint der KI-Chip direkt neben der CPU und der GPU.

Hast du den Laptop gerade erst gekauft, dann kannst Du davon ausgehen, dass die NPUs bereits ordnungsgemäß laufen. Die Ausnahme stellen Laptops mit KI-Chips der AMD Ryzen 7040-Serie dar. Diese im Vergleich zur 8040er-Reihe schwächeren Chips sind nicht automatisch nach dem Erwerb des Notebooks aktiviert. Dazu musst Du zunächst eine neuere UEFI-Bios-Version herunterladen und aktivieren. Solltest Du so einen Laptop besitzen, musst Du bei dessen Hersteller anfragen, ob sich die KI-Chips mit einem zukünftigen Update nutzen lassen.

So nennen die Hersteller ihre KI-Chips

Intel führt eine Reihe von Änderungen mit der neuen Generation von CPU-Chips ein. Neben der Architektur der NPUs gibt es auch eine Änderung hinsichtlich ihrer Bezeichnungen. Zuvor war für Intel das kleine „i“ gebräuchlich. 14 Jahre lang und für 14 Generationen von CPUs zeichnete das i die neusten Modelle aus. Stattdessen nennt Intel die aktuellen Modelle nun Core Ultra 5 und Core Ultra 7.

Die Modelle lassen sich an den drei Ziffern und dem Buchstaben erkennen. Die erste Ziffer steht für die Prozessorgeneration. Da die Core Ultra-Reihe den Anfang macht, beginnen diese Modelle mit einer 1. Die anschließenden zwei Nummern bestimmen das individuelle Modell und gleichzeitig die Leistung. Höhere Zahlen bedeuten mehr Power.

Bei einem Core Ultra 5 wäre die erste Ziffer eine 1, gefolgt von 35, 34 oder 25. Bei einem Core Ultra 7 sind es stattdessen die Ziffern 65, 64 oder 55. Und bei dem Core Ultra 9 zeigt die Ziffer 85 an, dass wir es hier mit einem leistungsstarken Vertreter seiner Generation zu tun haben.

Der Buchstabe steht für die Leistungsaufnahme der CPU. Eine CPU mit dem Buchstaben H verfügt etwa über eine Leistungsaufnahme von 54 oder 28 Watt, wobei die maximale Leistungsaufnahme bei 115 oder 64 Watt liegt. Bei dem Buchstaben W liegt die Base Power bei 15 oder 9 Watt, die maximale Leistungsaufnahme bei 57 oder 30 Watt. Prozessoren mit dem Buchstaben H finden sich in erster Linie in wuchtigeren Laptops, während der Buchstabe U für kleinere Modelle vorgesehen ist. Prozessoren mit P gibt es bislang nicht.

Ein Garant für eine exakte Einschätzung der Leistung sind diese Angaben allerdings nicht. Wie gut die NPU letztlich ihre KI-Aufgaben durchführen kann, ist je nach Laptop-Hersteller unterschiedlich. Schließlich müssen die Chips mit dem Kühlsystem zusammenarbeiten und zu laut darf der Lüfter auch nicht werden.

Gleichzeitig ersetzt dieses neue Schema nicht die üblichen Bezeichnungen für Intel-CPUs. Die Core-i-Reihe wird fortgesetzt und befindet sich mit den Raptor-Lake-HX-Prozessoren aktuell in der 14. Generation. Diese CPUs tragen etwa die Bezeichnungen Core i9-14900HX oder Core i7-14700HX. Verwirrend, denn die neue Modellreihe „Core processors (Serie 1)“ steigt auf die neue Bezeichnungsweise um. Hier werden die Chips etwa als Core 7 150U oder Core 5 120U benannt. Dabei basieren diese Chips auf derselben Raptor-Lake-Architektur und haben mit Künstlicher Intelligenz nichts am Hut.

Die Kachel-Architektur des Meteor Lake

Die neue Chip-Reihe von Intel baut auf einer besonderen Architektur auf. Jeder Prozessor der Meteor-Lake-Reihe ist aus vier Kacheln (Tiles) zusammengesetzt, wovon jeder eine bestimmte Aufgabe ausführen soll: So besteht das Compute-Tile aus den CPU-Kernen, während das Graphics-Tile auf Grafik-Aufgaben ausgerichtet ist. Das I/O-Tile enthält eine Reihe von wichtigen Komponenten für die Controller (unter anderem für die Systemverbindungen), darunter Thunderbolt, USB, Netzwerk oder Display. Letztlich beinhaltet der SoC-Tile auch die NPU-Funktionen. Möglich macht es die kompakte Foveros-Bauweise. Damit kann der Hersteller alle vier Tiles auf einem gemeinsamen Base-Tile unterbringen. Das Base-Tile dient weiterhin der Kommunikation der Tiles untereinander.

Damit weisen sie einen gänzlich anderen Aufbau als das sonst übliche „monolithische Design“ auf. Bei dieser Bauweise sind alle Funktionseinheiten des Prozessors (CPU, GPU, Controller) in einem einzigen Chip verbaut. Der Vorteil dieses Designs: Leichtere Herstellungsverfahren und eine hohe Performance. Dank der Nähe aller Teile zueinander müssen sie nur kurze Wege überbrücken.

Dafür sind die Chips der Meteor-Lake-Reihe effizienter. Aktuell nicht oder nur geringfügig benötigte Tiles lassen sich abschalten oder in der Leistung herunterfahren. Zudem ergeben sich Vorteile bei der Produktion. Die NPUs lassen sich günstiger und flexibler produzieren, weil unterschiedliche Produktionsweisen bei den einzelnen Tiles zum Einsatz kommen. Flexibler auch deswegen, weil unterschiedliche Chip-Fertiger gleichzeitig an den verschiedenen Komponenten arbeiten können. Damit ist ein höheres Maß an Verfügbarkeit gewährleistet.

Zudem kommen bereits Verfahren mit einem geringen Ausschuss zur Anwendung. Das Compute-Tile des Meteor Lakes wird etwa im Verfahren Intel 4 in Irland gefertigt, das SoC-Tile und das Graphics-Tile hingegen werden von TSMC mit dem N6- und N5-Verfahrens produziert. Wenn ein Hersteller die Verfahrensweise ändern will, dann hat das keinen spürbaren Einfluss auf die Produktion der fertigen CPU. Zudem bieten sich dabei Vorteile bei der Herstellung von Chips mit speziellen Einsatzzwecken, da nur ein oder zwei Tiles angepasst werden müssen.

Die Komponenten Compute-Tile und SoC-Tile sind entscheidend für die Leistungsstärke und Akkulaufzeit von Meteor-Lakes-Prozessoren. Dank bis zu sechs P-Cores und bis zu acht E-Cores kommt einiges an Rechenleistung zusammen. Die P-Cores sind vor allem schnell, während die E-Cores effizient sein sollen. Dabei setzt Intel auf die Hybrid-Architektur, welche der Hersteller seit der 12. Core-Generation bei den Chips Alder Lake verwendet.

Jedoch kommt bei den CPU-Kernen der Meteor-Lake-Reihe eine Technologie zum Einsatz, die auf der Architektur der Redwood Cove bzw. Crestmont-Chips beruht. Dabei verfügt das SoC-Tile über zwei weitere E-Kerne, sogenannte LPE-Cores. Das steht für „Low Power Islands E-Cores“. Mit ihnen ist es möglich, bei bestimmten Aufgaben das Compute-Tile abzuschalten und Strom zu sparen. Somit hält auch der Akku länger. Die LPE-Cores übernehmen dafür einige mathematische Aufgaben und andere Hintergrundprozesse. Zum Beispiel reicht ihre Arbeit aus, um Videos zu streamen, ohne andere Tiles aktivieren zu müssen.

Zudem erleichtern die NPUs von Intel dem Intel Thread Director seine Arbeit. Hierbei handelt es sich um ein Stück Hardware für die Analyse der Systemlast. Dadurch erhält Windows Anhaltspunkte, wie es seinen Betrieb optimaler gestalten kann. Im Gegensatz zu früheren Chip-Generationen setzen die Meteor Lakes zunächst nur die effizienten Kerne LPE- und E-Cores ein. Dadurch spart der Laptop Energie und der Akku hält länger. Erst, wenn die Anforderungen an die Hardware steigen, schwenken die Chips auf die leistungsstärkeren P-Cores um.

Die Serie Hawk Point von AMD

Die neue CPU-Generation von AMD, genannt Hawk Point, zeichnet sich im Vergleich zu den Intel-CPUs nicht gerade durch innovative Technologien aus. Im Grunde handelt es sich bei den Modellreihen Ryzen 8040HS und 8040U um Verbesserungen der Phoenix-CPUs Ryzen 7040 aus dem Jahr 2023. Mit ihnen haben die Hawk Points die Kernarchitektur Zen 4 gemein sowie die Bauweise. TSMC produziert die Chips im 4-Nanometer-Verfahren.

Die Leistungsaufnahme und deren Einsatz bei unterschiedlichen Laptop-Modellen entspricht denen der Meteor-Lake-Reihe: Die HS-Chips mit einer Leistungsaufnahme von 35 bis 54 Watt sowie die U-Chips mit 15 bis 28 Watt sind auf mittelstarke bis hochwertige Laptops ausgelegt. Laut AMD hat sich die Leistung im Vergleich zur 7040er-Reihe um bis zu 60 % verbessert. Alle HS-Chips haben eine NPU verbaut und können daher KI-Aufgaben übernehmen. Bei den U-Chips sind es aber nur die Ryzen 5 8540U und Ryzen 3 8440U, welche über Künstliche Intelligenz verfügen.

AMD Hawk Point CPUs: Spezifikationen

Ryzen 9 8945HS: 8/16 Kerne; 4,0/5,2 std/max; 45 Watt
Ryzen 7 8845HS: 8/16 Kerne; 3,8/5,1 std/max; 45 Watt
Ryzen 7 8840HS: 8/16 Kerne; 3,3/5,1 std/max; 28 Watt
Ryzen 7 8840U: 8/16 Kerne; 3,3/5,1 std/max; 28 Watt
Ryzen 5 8645HS: 6/12 Kerne; 4,3/5,0 std/max; 45 Watt
Ryzen 5 8640HS: 6/12 Kerne; 3,5/4,9 std/max; 28 Watt
Ryzen 5 8640U: 6/12 Kerne; 3,5/4,9 std/max; 28 Watt
Ryzen 5 8540U: 6/12 Kerne; 3,2/4,9 std/max; 28 Watt
Ryzen 3 8440U: 4/8 Kerne; 3,0/4,7 std/max; 28 Watt

Darum sind TOPs für NPUs so wichtig

Damit die KI-Chips von AMD und Intel ihre Aufgaben erledigen können, setzen sie auf TOPs. Das steht für „TeraOPs“, was auf die Billionen an Rechenvorgängen pro Sekunde hinweist. Beide Hersteller geben unterschiedliche Werte bei den TOPs an. Bei AMD schaffen die leistungsstärksten Prozessoren von Hawk Point 39 TOPs. Intel sieht für seine Meteor Lakes bis zu 34 TOPs vor. Das sind jedenfalls die Einschätzungen der Hersteller. Bei diesen Angaben handelt es sich um die Gesamtheit der Leistung bestehend aus CPU, GPU und NPU.

Allerdings lassen sich diese Angaben nicht leicht auf die Realität ummünzen. Letztlich ist neben der KI-Berechnung auch das genutzte KI-Modell dafür verantwortlich, wie gut der Prozessor seine Aufgaben erledigen kann. Bei den Laptops kommt es mehr auf die Effizienz als auf die rohe Leistung an. Andernfalls muss die Akkulaufzeit unter den anspruchsvollen Berechnungen leiden.

Bei Anwendungen unter Einsatz von Chat-GPT, Windows Copilot oder anderen generativen KIs ist die TOPs-Zahl weniger relevant. Da sich die TOPs auf die lokalen Berechnungen der Prozessoren beziehen, kommt die Rechenleistung in der Cloud nicht zum Tragen. Solche KI-Anwendungen verlegen häufig einen guten Teil ihrer Leistung ins Netz.

Die TOPs könnten in Zukunft jedoch immer relevanter werden. Gerüchten zufolge verlangt Microsoft in Zukunft eine Mindestleistung von 40 TOPs, bevor ein Rechner sich als KI-geeignet bezeichnen darf. 16 GB Arbeitsspeicher gehören ebenfalls zu den Grundvoraussetzungen.

Noch wissen wir nicht, ob diese Werte für das KI-Gütesiegel oder für eine spezifische Version von Windows notwendig sind. Es könnte sich auch um eine bald veröffentliche ARM-Version von Windows handeln.

Bislang schafft lediglich der Snapdragon X Elite von Qualcomm eine Leistung von 45 TOPs für die NPUs und 75 TOPs zusammen mit den GPUs. Andere Laptops können diese Leistung nicht ohne zusätzliche GPUs aufbringen. Die ersten Laptops mit ARM-Windows und Qualcomm-Prozessoren sollen in der Mitte des Jahres folgen. Von AMD und Intel kommen jedoch erst Ende des Jahres Laptops mit einer solchen Leistung auf den Markt.