Lokale KI: Was die Hardware wirklich können muss

Ein Gastbeitrag von Stephan Sindera, PCPruefer.de

Wer heute mit künstlicher Intelligenz arbeitet, nutzt meist einen Cloud-Dienst. Fragen, Texte und Dokumente werden an die Server eines Anbieters übertragen, dort verarbeitet und anschließend als Antwort zurückgeschickt. Das funktioniert bequem und häufig erstaunlich gut. Allerdings bedeutet es auch, dass möglicherweise vertrauliche Informationen das eigene Unternehmen oder den privaten Rechner verlassen.

Eine Alternative sind Sprachmodelle, die vollständig auf dem eigenen Computer ausgeführt werden. Sie benötigen für die eigentliche Textverarbeitung keine Internetverbindung und können unabhängig von externen KI-Diensten arbeiten.

Doch damit stellen sich gleich mehrere Fragen: Welche Aufgaben lassen sich damit tatsächlich erledigen? Wie leistungsfähig muss der Rechner sein? Und lohnt sich der Aufwand überhaupt?

Denn zwischen einem Sprachmodell, das sich technisch starten lässt, und einem Werkzeug, mit dem man vernünftig arbeiten kann, liegt manchmal ein erheblicher Unterschied.

Warum überhaupt lokale KI?

Der wichtigste Grund für lokale KI ist nicht unbedingt die Geschwindigkeit oder der Preis, sondern die Kontrolle über die eigene technische Infrastruktur.

• Datenhoheit: Vertrauliche Dokumente können verarbeitet werden, ohne sie an einen externen KI-Anbieter übertragen zu müssen. Das ist beispielsweise für Kanzleien, Beratungen, medizinische Einrichtungen oder Unternehmen mit sensiblen Entwicklungsdaten interessant.
• Unabhängigkeit: Ein lokal installiertes Modell kann auch ohne Internetverbindung arbeiten. Änderungen an Preisen, Nutzungsbedingungen oder verfügbaren Funktionen eines Cloud-Anbieters wirken sich nicht unmittelbar auf das lokale System aus.
• Planbarkeit: Wer ein bestimmtes Modell und seine Softwareumgebung kontrolliert, kann Veränderungen selbst steuern und bestehende Arbeitsabläufe gezielter absichern.
• Kontrolle über die Anwendung: Man entscheidet selbst, welche Modelle installiert werden, welche Daten sie erhalten und welche Schnittstellen verfügbar sind. Gerade angesichts der zunehmenden Integration von KI in Betriebssysteme, wie im Beitrag KI im Kern beschrieben, kann ein bewusst abgegrenztes Werkzeug sinnvoll sein.

Allerdings ist Datenhoheit nicht automatisch Datensicherheit. Auch lokale Programme können Nutzungsdaten übertragen, Erweiterungen nachladen oder Schnittstellen bereitstellen, die von außen erreichbar sind. Wer sensible Informationen verarbeitet, muss deshalb weiterhin auf Zugriffsrechte, sichere Konfigurationen, vertrauenswürdige Softwarequellen und regelmäßige Sicherheitsupdates achten.

Ein lokal betriebenes Modell ist zunächst nur eines: lokal betrieben. Ob es auch sicher und zuverlässig ist, entscheidet sich an anderen Stellen.

Was lokale KI heute leisten kann – und wo ihre Grenzen liegen

Nicht jede KI-Anwendung stellt dieselben Anforderungen. Ein Sprachmodell, das eine E-Mail umformulieren soll, benötigt deutlich weniger Ressourcen als eines, das umfangreiche technische Dokumentationen analysiert oder komplexe Programmieraufgaben löst.

Drei Beispiele zeigen, wo lokale KI bereits sinnvoll eingesetzt werden kann.

1. Texte und Dokumente bearbeiten

Eine Steuerberaterin möchte umfangreiche Mandantenschreiben zusammenfassen oder Antwortentwürfe vorbereiten. Ein kleines bis mittleres lokales Sprachmodell kann solche Aufgaben häufig gut erledigen, ohne dass die Dokumente an einen externen Dienst übertragen werden müssen.

Die fachliche Prüfung entfällt dadurch selbstverständlich nicht. Gerade bei rechtlichen oder steuerlichen Sachverhalten kann eine sprachlich überzeugende Zusammenfassung wichtige Details übersehen.

2. Eigenes Wissen erschließen

Ein Unternehmen möchte Fragen zu internen Handbüchern, Arbeitsanweisungen oder Richtlinien beantworten lassen. Dafür können Dokumente lokal aufbereitet und mit einem Sprachmodell verbunden werden.

Solche Verfahren werden häufig als Retrieval-Augmented Generation (RAG) bezeichnet. Vereinfacht gesagt sucht das System zunächst relevante Informationen in den eigenen Dokumenten und verwendet diese anschließend für seine Antwort.

Das kann die Suche erheblich erleichtern. Voraussetzung ist allerdings, dass die richtigen Dokumente gefunden werden und das Modell deren Inhalt korrekt wiedergibt. Idealerweise zeigt die Anwendung deshalb auch die verwendeten Textstellen an.

3. Besprechungen transkribieren

Mit Spracherkennungsmodellen wie Whisper lassen sich Audioaufnahmen lokal in Text umwandeln. Anschließend kann ein Sprachmodell daraus ein Protokoll oder eine Zusammenfassung erstellen.

Hier wird bereits deutlich, dass „lokale KI“ kein einzelnes Programm bezeichnet. Spracherkennung und Sprachverarbeitung sind unterschiedliche Aufgaben, für die verschiedene Modelle eingesetzt werden.

Wo liegen die Grenzen?

Bei komplexen Schlussfolgerungen, umfangreichen Analysen, anspruchsvoller Programmierung oder sehr langen Dokumenten können leistungsfähige Cloud-Modelle deutliche Vorteile bieten. Das gilt allerdings nicht pauschal für jede Anwendung: Auch lokal verfügbare Modelle unterscheiden sich erheblich in Qualität, Größe und Spezialisierung.

Ein weiterer Punkt ist die Aktualität. Ein Sprachmodell verfügt zunächst nur über das Wissen, das während seines Trainings beziehungsweise seiner weiteren Anpassung entstanden ist. Aktuelle Informationen müssen über zusätzliche Datenquellen bereitgestellt werden. Das gilt grundsätzlich auch für Cloud-Modelle ohne entsprechende Such- oder Datenanbindung.

Die Erwartung, mit einem ausreichend leistungsfähigen Rechner automatisch ein vollständiges Gegenstück zu ChatGPT auf dem eigenen Schreibtisch zu erhalten, wäre deshalb falsch. Cloud-Dienste verbinden häufig verschiedene Modelle, Werkzeuge, Suchfunktionen und zusätzliche Dienste zu einer gemeinsamen Anwendung.

Lokale KI kann bestimmte Aufgaben sehr gut erfüllen. Sie ersetzt aber nicht zwangsläufig das gesamte Funktionsspektrum eines Cloud-Angebots.

Welche Hardware braucht lokale KI?

Für den Einstieg gibt es inzwischen vergleichsweise einfach zu bedienende Programme wie Ollama, LM Studio oder GPT4All. Sie ermöglichen es, Sprachmodelle herunterzuladen und lokal auszuführen.

Zur Auswahl stehen beispielsweise Modelle aus den Familien Llama, Mistral, Gemma oder Qwen. Viele davon sind mit offen verfügbaren Modellgewichten erhältlich, wobei die jeweiligen Lizenzbedingungen unterschiedlich ausfallen können.

Die entscheidende Hardwarefrage lautet zunächst: Wie groß ist das Modell, und wo werden seine Daten gespeichert?

Modellgröße und Speicherbedarf

Ein Sprachmodell besteht aus sehr vielen Zahlenwerten, den sogenannten Parametern. Je nach Modell können das einige Milliarden oder weit über hundert Milliarden sein.

Damit solche Modelle auf normalen Computern laufen, werden ihre Parameter häufig in reduzierter Genauigkeit gespeichert. Dieses Verfahren heißt Quantisierung.

Bei einer Speicherung mit vier Bit benötigt eine Milliarde Parameter rechnerisch ungefähr ein halbes Gigabyte. Ein Modell mit acht Milliarden Parametern kommt damit auf etwa vier bis fünf Gigabyte Modellgröße. Bei 70 Milliarden Parametern sind es bereits ungefähr 35 bis 45 Gigabyte, abhängig vom verwendeten Format.

Hinzu kommt weiterer Speicher für die Verarbeitung, insbesondere für den sogenannten Kontext. Darunter versteht man die Informationen, die das Modell während einer Anfrage berücksichtigen kann. Je umfangreicher die Eingaben und je größer der tatsächlich genutzte Kontext, desto höher kann der zusätzliche Speicherbedarf ausfallen.

Außerdem benötigen Betriebssystem, Browser und andere Programme ebenfalls Speicher. Ein Rechner mit 64 GB Arbeitsspeicher stellt einem Sprachmodell deshalb keineswegs automatisch die gesamten 64 GB zur Verfügung.

Speicherkapazität ist nicht Speichergeschwindigkeit

Hier liegt einer der wichtigsten Unterschiede zwischen verschiedenen Rechnern.

Man kann sich den Speicher als Lager und die Speicherbandbreite als Zufahrtsstraße vorstellen. Ein großes Lager bietet Platz für viele Daten. Ist die Zufahrtsstraße aber schmal, gelangen diese nur langsam zur Recheneinheit.

Bei Sprachmodellen müssen während der Textgenerierung große Datenmengen immer wieder aus dem Speicher gelesen werden. Deshalb ist die Speicherbandbreite für die Antwortgeschwindigkeit besonders wichtig.

Eine Grafikkarte mit schnellem eigenem Speicher kann ein kleineres Modell deshalb erheblich schneller ausführen als ein Rechner, der ein wesentlich größeres Modell ausschließlich im gewöhnlichen Arbeitsspeicher betreibt.

Auch die Prozessorleistung und die unterstützten Rechenfunktionen spielen eine Rolle. Gerade bei älteren Geräten kann die CPU die Verarbeitung zusätzlich begrenzen.

Ein Modell, das in den Speicher passt, muss deshalb noch lange nicht sinnvoll nutzbar sein.

RAM, Grafikspeicher und gemeinsamer Speicher

Für lokale Sprachmodelle sind vor allem drei Rechnerarchitekturen interessant.

1. Klassischer PC mit separater Grafikkarte

Leistungsfähige Grafikkarten besitzen eigenen, besonders schnellen Speicher, den sogenannten VRAM.

Passt das Modell einschließlich der zusätzlich benötigten Daten vollständig hinein, kann die Grafikkarte die Berechnungen meist sehr schnell ausführen.

Wird der Grafikspeicher knapp, muss ein Teil der Verarbeitung gegebenenfalls über den normalen Arbeitsspeicher und den Prozessor erfolgen. Dadurch kann die Geschwindigkeit erheblich sinken.

Die reine Größe des Arbeitsspeichers sagt deshalb wenig darüber aus, wie schnell ein solcher Rechner lokale KI verarbeitet.

2. Rechner mit gemeinsamem Speicher

Bei Apples M-Prozessoren und bestimmten AMD-Systemen teilen sich CPU und Grafikeinheit einen gemeinsamen Speicherbereich, häufig als Unified Memory bezeichnet.

Dadurch können auch größere Modelle einen erheblichen Teil des vorhandenen Speichers für die beschleunigte Verarbeitung nutzen, ohne vollständig in den begrenzten Speicher einer separaten Grafikkarte passen zu müssen.

Allerdings unterscheiden sich solche Systeme ebenfalls erheblich in ihrer Speicherbandbreite. Gemeinsamer Speicher ist nicht automatisch besonders schnell.

Außerdem lässt sich der Speicher vieler dieser Geräte nachträglich nicht erweitern. Die Entscheidung beim Kauf bestimmt damit wesentlich, welche Modelle später sinnvoll betrieben werden können.

3. Notebooks mit KI-Prozessor (NPU)

Viele aktuelle Prozessoren besitzen eine zusätzliche Recheneinheit für KI-Anwendungen, die sogenannte Neural Processing Unit (NPU).

Solche Einheiten arbeiten häufig besonders energieeffizient und eignen sich beispielsweise für Hintergrundfunktionen, Bildverbesserung, Geräuschunterdrückung oder bestimmte Spracherkennungsaufgaben.

Für große Sprachmodelle verwenden verbreitete lokale Anwendungen bislang jedoch häufig vor allem CPU und Grafikeinheit. Die tatsächliche NPU-Unterstützung hängt stark von Software, Modell und Hardwareplattform ab.

Eine leistungsfähige NPU ist deshalb kein Ersatz für ausreichend schnellen Speicher.

Wie viel Arbeitsspeicher ist sinnvoll?

Eine pauschale Antwort gibt es nicht. Dennoch helfen einige Größenordnungen bei der Orientierung.

• 8 bis 16 GB: Kleine, quantisierte Modelle sind möglich. Für erste Versuche und einfache Aufgaben kann das ausreichen. Bei größeren Modellen oder umfangreichen Dokumenten werden die Grenzen schnell sichtbar.
• 32 GB: Eine brauchbare Ausgangsbasis für kleinere und mittlere Modelle, sofern Prozessor und Speicherbandbreite mitspielen. Flüssige Verarbeitung ist damit allerdings nicht garantiert.
• 64 GB und mehr: Auch größere Modelle können unter Umständen geladen werden. Ob sie praktisch sinnvoll arbeiten, hängt jedoch erheblich davon ab, wie viel Speicher tatsächlich verfügbar ist und wie schnell die Recheneinheit darauf zugreifen kann.

Besonders wichtig ist die Unterscheidung zwischen normalem Arbeitsspeicher, eigenem Grafikspeicher und gemeinsamem Speicher. Ein Rechner mit 64 GB RAM und einer älteren Grafikkarte mit 4 GB VRAM bietet andere Möglichkeiten als ein Gerät mit 64 GB schnellem gemeinsamen Speicher.

Wer einen Rechner speziell für lokale KI kaufen möchte, sollte deshalb nicht nur die Speicherkapazität vergleichen, sondern auch die verwendete Architektur und die Speicherbandbreite berücksichtigen.

Wie schnell antwortet lokale KI tatsächlich?

Für den praktischen Einsatz sind zwei Geschwindigkeiten interessant: die Wartezeit bis zum Beginn der Antwort und die Geschwindigkeit, mit der anschließend Text erzeugt wird.

Letztere wird meist in Tokens pro Sekunde angegeben. Tokens sind kleine Texteinheiten, die nicht genau einem Wort entsprechen. Ein deutsches Wort kann beispielsweise aus mehreren Tokens bestehen.

Ein kleines Sprachmodell kann auf einer geeigneten Grafikkarte mehrere Dutzend Tokens pro Sekunde erzeugen und damit angenehm flüssig antworten. Auf einem älteren Bürorechner ohne leistungsfähige Grafikeinheit kann dieselbe Aufgabe erheblich länger dauern.

Bei großen Modellen, die überwiegend über CPU und normalen Arbeitsspeicher laufen, können auch nur wenige Tokens pro Sekunde herauskommen.

Zusätzlich muss das Modell die Eingabe zunächst verarbeiten. Besonders bei langen Dokumenten kann deshalb eine erhebliche Wartezeit entstehen, bevor überhaupt die ersten Wörter erscheinen.

Ob man fünf Sekunden, eine halbe Minute oder mehrere Minuten warten muss, hängt von der konkreten Kombination aus Modell, Quantisierung, Kontextlänge und Hardware ab.

Für den Alltag ist das wichtiger als die bloße Angabe der Modellgröße. Wer gelegentlich ein Dokument auswertet, akzeptiert vielleicht längere Wartezeiten. Wer täglich viele Fragen stellt oder Texte bearbeitet, benötigt dagegen eine möglichst flüssige Interaktion.

Was kostet lokale KI wirklich?

Lokale KI verursacht keine nutzungsabhängigen Gebühren eines Cloud-Modellanbieters, sofern ausschließlich lokal verfügbare Modelle eingesetzt werden. Kostenlos ist ihr Betrieb deshalb noch lange nicht.

Ein typisches Cloud-Abonnement für Einzelpersonen liegt häufig in einer Größenordnung von etwa 20 bis 30 Euro monatlich. Bei mehreren Nutzern können daraus entsprechend höhere laufende Kosten entstehen.

Für lokale KI muss dagegen geeignete Hardware vorhanden sein oder angeschafft werden. Ein leistungsfähiger neuer Rechner kann schnell 1.500 bis 2.500 Euro oder mehr kosten. Hinzu kommen Stromverbrauch, Wartung, Updates und gegebenenfalls Administration.

Ein einfaches Rechenbeispiel: Ein Rechner, der während der KI-Nutzung durchschnittlich 300 Watt aufnimmt und täglich zwei Stunden unter dieser Last arbeitet, verbraucht in 30 Tagen etwa 18 Kilowattstunden. Bei einem angenommenen Strompreis von 30 Cent pro Kilowattstunde entspricht das rund 5,40 Euro. Der tatsächliche Verbrauch hängt selbstverständlich von Hardware und Nutzung ab.

Für Einzelpersonen ist lokale KI finanziell deshalb nicht automatisch günstiger. Häufig sind Datenschutz, Unabhängigkeit oder spezielle Anforderungen die stärkeren Argumente.

Bei einem Team kann ein gemeinsam genutzter Rechner wirtschaftlich interessanter sein. Allerdings muss dessen Leistung für die Anzahl gleichzeitig arbeitender Nutzer ausreichen. Mehrere parallele Anfragen können die Reaktionszeiten deutlich verlängern und zusätzlichen Speicher beanspruchen.

Eine belastbare Wirtschaftlichkeitsrechnung muss deshalb nicht nur die Anschaffungskosten, sondern auch Nutzungshäufigkeit, Administration, Wartung und den menschlichen Arbeitsaufwand berücksichtigen.

Technische Kontrolle bedeutet noch keine verlässlichen Ergebnisse

Ein besonders wichtiger Punkt wird bei der Diskussion über lokale KI leicht übersehen: Ein Sprachmodell wird nicht zuverlässiger, nur weil es auf dem eigenen Rechner läuft.

Auch lokale Modelle können falsche Informationen erzeugen, Zusammenhänge missverstehen oder Quellen erfinden. Dieses Verhalten wird häufig als Halluzination bezeichnet.

Kleinere Modelle können bei anspruchsvollen Aufgaben stärker an ihre Grenzen geraten. Allerdings hängt die Fehlerhäufigkeit nicht allein von der Modellgröße ab, sondern ebenso von Training, Modellarchitektur und Aufgabenstellung.

Wer KI für interne Dokumente, technische Analysen oder geschäftliche Entscheidungen verwendet, muss deshalb prüfen können, woher die verwendeten Informationen stammen und ob die Schlussfolgerungen nachvollziehbar sind.

Das gilt besonders für Anwendungen, bei denen falsche Aussagen rechtliche, wirtschaftliche oder sicherheitsrelevante Folgen haben können.

Damit verschiebt sich die eigentliche Kostenfrage. Neben Hardware und Software entsteht Aufwand für die Prüfung von Ergebnissen, die Gestaltung verlässlicher Arbeitsabläufe und die Festlegung von Verantwortlichkeiten.

Genau diese Zusammenhänge stehen auch im Mittelpunkt der KI-Effizienz-Lüge: Eine vermeintlich automatisierte Tätigkeit spart wenig, wenn ihre Ergebnisse anschließend aufwendig überprüft und korrigiert werden müssen.

Ein lokales Modell, dessen Antworten niemand kontrolliert, ist nicht zuverlässiger als ein Cloud-Modell. Seine Fehler bleiben möglicherweise nur länger innerhalb des eigenen Unternehmens.

Fünf Fragen vor der Anschaffung

Bevor Geld in neue Hardware investiert wird, sollte zunächst geklärt werden, was die lokale KI überhaupt leisten soll.

1. Müssen die Daten lokal bleiben? Datenschutz, Vertraulichkeit oder Unabhängigkeit können entscheidende Gründe sein. Ist lokale Verarbeitung nicht erforderlich, sollte auch eine Cloud-Lösung in Betracht gezogen werden.
2. Welche Aufgaben sollen erledigt werden? Einfache Textbearbeitung stellt andere Anforderungen als komplexe Analysen, umfangreiche Dokumente oder anspruchsvolle Programmierung.
3. Welche Geschwindigkeit ist erforderlich? Für gelegentliche Auswertungen können längere Wartezeiten akzeptabel sein. Bei täglicher intensiver Nutzung ist eine flüssige Verarbeitung wesentlich wichtiger.
4. Wie wird das System genutzt? Ein einzelner Arbeitsplatz stellt andere Anforderungen als ein zentraler Rechner für mehrere gleichzeitig arbeitende Personen. Auch die geplante Nutzungsdauer spielt bei der Hardwareauswahl eine Rolle.
5. Wer übernimmt Betrieb und Verantwortung? Software muss aktualisiert, Zugriffe müssen abgesichert und Ergebnisse geprüft werden. Dafür braucht es klare Zuständigkeiten.

Erst ausprobieren, dann investieren

Der sinnvollste Einstieg besteht darin, vorhandene Hardware zu prüfen und anschließend ein kleines Modell mit einer tatsächlichen Arbeitsaufgabe auszuprobieren.

Ein kostenloser PC-Check im Browser kann dafür eine erste Orientierung bieten, etwa hinsichtlich der erkannten Grafikeinheit und bestimmter Prozessoreigenschaften.

Allerdings können Browser aus Datenschutz- und Sicherheitsgründen nur eingeschränkt auf Hardwareinformationen zugreifen. Insbesondere Arbeitsspeicher und Grafikspeicher lassen sich damit nicht immer zuverlässig bestimmen.

Für genauere Angaben empfiehlt sich deshalb ein Blick in die Systeminformationen des Betriebssystems, beispielsweise in den Windows-Task-Manager unter „Leistung“ oder unter macOS in „Über diesen Mac“ beziehungsweise den Systembericht.

Auf PCPruefer.de beschäftige ich mich mit der Frage, welche Anforderungen Software an einen Rechner stellt und wie sich vorhandene Hardware einschätzen lässt.

Für lokale KI ist der nächste Schritt allerdings entscheidend: Ein kleines Modell installieren, eine typische Aufgabe ausprobieren und die tatsächliche Antwortqualität sowie Geschwindigkeit beurteilen.

Erst danach lässt sich sinnvoll entscheiden, ob mehr Speicher, eine schnellere Grafikkarte oder ein anderer Rechner überhaupt erforderlich ist.

Fazit: Nicht das größte Modell, sondern das passende Werkzeug

Lokale KI ist heute eine realistische Möglichkeit, bestimmte Aufgaben unabhängig von externen Cloud-Diensten zu erledigen. Besonders bei vertraulichen Daten, klar abgegrenzten Anwendungen und regelmäßig wiederkehrenden Arbeitsabläufen kann sie Vorteile bieten.

Allerdings entscheidet nicht allein die Größe des Arbeitsspeichers über ihre Nutzbarkeit. Erst das Zusammenspiel aus Modellgröße, verfügbarem Speicher, Speicherbandbreite und Rechenleistung bestimmt, welche Aufgaben ein Rechner mit akzeptabler Geschwindigkeit bewältigen kann.

Ebenso wichtig ist eine realistische Erwartungshaltung. Nicht jede Aufgabe benötigt ein möglichst großes Modell, und nicht jedes lokal verfügbare Modell kann mit leistungsfähigen Cloud-Systemen mithalten.

Wer lokale KI einsetzen möchte, sollte deshalb zunächst seine Anforderungen definieren, vorhandene Hardware ausprobieren und erst danach über eine Neuanschaffung entscheiden.

Denn die entscheidende Frage lautet nicht, wie viele Milliarden Parameter ein Rechner verarbeiten kann, sondern ob die eingesetzte KI die gewünschte Aufgabe zuverlässig, schnell genug und mit vertretbarem Aufwand erledigt.

Über den Gastautor

Stephan Sindera betreibt PCPruefer.de, eine deutschsprachige Seite rund um Systemanforderungen von Software, Spielen und Windows. Dort wertet er Herstellerangaben aus und übersetzt sie in verständliche Empfehlungen zur benötigten Hardware.Ein Gastbeitrag von Stephan Sindera, PCPruefer.de

Wer heute mit KI arbeitet, schickt seine Fragen, Texte und Dokumente in aller Regel an die Server eines Anbieters. Das ist bequem und oft leistungsfähig. Es bedeutet aber auch, dass Vertragsentwürfe, Protokolle oder interne Notizen das eigene Haus verlassen. Seit einiger Zeit gibt es eine ernsthafte Alternative: Sprachmodelle, die vollständig auf dem eigenen Rechner laufen. Die Frage, die sich dann sofort stellt, ist keine philosophische, sondern eine sehr handfeste: Reicht mein Computer dafür überhaupt? Dieser Beitrag erklärt, worauf es ankommt, ohne dass man dafür Hardware-Enthusiast sein muss.

Warum überhaupt lokal?

Die Gründe für lokale KI haben weniger mit Technik zu tun als mit Prozessen und Verantwortung:

• Datenhoheit: Was den Rechner nicht verlässt, kann nicht in fremden Trainingsdaten, Logdateien oder Rechenzentren landen. Für Kanzleien, Praxen, Beratungen oder Personalabteilungen ist das oft der entscheidende Punkt.
• Planbarkeit: Ein lokales Modell ändert sich nicht über Nacht, weil der Anbieter eine neue Version ausrollt, Preise anpasst oder Funktionen streicht. Ein Arbeitsablauf, der heute funktioniert, funktioniert morgen genauso.
• Unabhängigkeit: Keine Abo-Kosten pro Nutzer, kein Ausfall, wenn der Dienst überlastet ist, und Arbeit auch ohne Internetverbindung.
• Kontrolle: Man entscheidet selbst, wann KI läuft und wann nicht. Gerade weil KI zunehmend tief in Betriebssysteme wandert, wie der Beitrag KI im Kern hier auf 42thinking.de beschreibt, ist ein bewusst gewähltes, abgegrenztes Werkzeug ein Stück zurückgewonnene Souveränität.

Ehrlicherweise gehört auch dazu: Lokale Modelle sind kleiner als die großen Cloud-Systeme. Sie sind für viele Aufgaben immer noch gut genug, aber nicht für alle. Wer das vorher weiß, plant realistischer.

Was lokal heute realistisch funktioniert

Typische Anwendungen, die auf einem gut ausgestatteten Rechner schon heute brauchbar laufen:

• Texte zusammenfassen, umformulieren oder in eine andere Sprache übertragen,
• Fragen an eigene Dokumente stellen, etwa an Handbücher, Richtlinien oder Projektakten,
• Besprechungen und Diktate transkribieren, zum Beispiel mit dem offenen Spracherkennungsmodell Whisper,
• E-Mails, Protokolle und Gliederungen vorbereiten,
• Bilder erzeugen oder bearbeiten, mit deutlich höheren Anforderungen an die Grafikeinheit.

Werkzeuge wie Ollama, LM Studio oder GPT4All machen den Einstieg inzwischen so einfach wie die Installation eines normalen Programms. Dazu kommen frei verfügbare Modelle mit offenen Gewichten, etwa aus den Familien Llama, Mistral, Gemma oder Qwen. Welche Modellklasse auf einem Gerät sinnvoll läuft, hängt aber fast ausschließlich an einer Größe: dem Speicher.

Die wichtigste Zahl: Speicher, nicht Prozessortakt

Ein Sprachmodell besteht aus Milliarden von Zahlen, den sogenannten Parametern. Eine gut verständliche Einführung in die Funktionsweise bietet der Wikipedia-Artikel über große Sprachmodelle. Für die Hardwarefrage genügt eine einfache Rechnung: Alle Parameter müssen während der Arbeit in den Speicher passen, und zwar möglichst in einen schnellen.

Damit das auf normalen Rechnern klappt, werden Modelle meist „quantisiert“, also mit geringerer Genauigkeit gespeichert. Bei 4 Bit pro Parameter braucht eine Milliarde Parameter rechnerisch rund ein halbes Gigabyte. Ein Modell mit acht Milliarden Parametern belegt damit etwa 4 bis 5 GB, ein Modell mit 70 Milliarden Parametern schon rund 35 bis 40 GB. Dazu kommt Platz für den Kontext, also den Text, den das Modell gerade „im Blick“ hat. Je länger das Dokument, desto mehr Speicher.

Daraus ergibt sich eine grobe Orientierung:

• 8 GB Arbeitsspeicher: Kleine Modelle laufen, aber mit wenig Luft. Für ernsthafte Arbeit eher zu knapp.
• 16 GB: Modelle bis etwa acht Milliarden Parameter laufen ordentlich. Das reicht für Zusammenfassungen, Entwürfe und einfache Dokumentenfragen.
• 32 GB und mehr: Mittlere Modelle mit spürbar besserer Sprachqualität werden möglich, und es bleibt Platz für längere Dokumente.
• 64 GB und mehr gemeinsamer oder Grafikspeicher: Erst hier werden große Modelle in der 70-Milliarden-Klasse praktikabel.

RAM, VRAM und gemeinsamer Speicher – drei Wege zum Ziel

Entscheidend ist nicht nur, wie viel Speicher vorhanden ist, sondern auch, wie schnell der Rechenchip auf ihn zugreifen kann. Denn die Geschwindigkeit, mit der ein Modell antwortet, hängt stark von dieser Speicherbandbreite ab. Drei Architekturen sind heute verbreitet:

1. Klassischer PC mit separater Grafikkarte

Grafikkarten haben eigenen, sehr schnellen Speicher, den VRAM. Passt ein Modell vollständig hinein, antwortet es zügig. Übliche Karten haben 8 bis 16 GB, Spitzenmodelle bis 32 GB. Läuft der VRAM über, weicht die Software auf den normalen Arbeitsspeicher aus, und die Antworten werden deutlich langsamer. NVIDIA-Karten werden von den meisten Werkzeugen am breitesten unterstützt, AMD-Karten holen auf.

2. Gemeinsamer Speicher (Unified Memory)

Bei Apples M-Chips und bei neueren Prozessoren wie AMDs Ryzen AI Max teilen sich Prozessor und Grafikeinheit einen gemeinsamen, schnellen Speicher. Der Vorteil: Ein Gerät mit 64 oder 128 GB kann einen Großteil davon für ein Modell nutzen. Das macht solche Rechner für große Modelle attraktiv, obwohl sie keine dedizierte Grafikkarte haben. Der Nachteil: Der Speicher ist fest verlötet. Was man beim Kauf wählt, bleibt für die gesamte Lebensdauer.

3. Notebook mit NPU

Viele aktuelle Notebooks haben eine NPU, eine Recheneinheit speziell für KI-Aufgaben, etwa in Intels Core Ultra, AMDs Ryzen AI oder Qualcomms Snapdragon X. Apple verbaut mit der Neural Engine schon länger etwas Vergleichbares. Microsoft setzt für seine „Copilot+ PCs“ zum Beispiel eine NPU mit mindestens 40 TOPS und 16 GB RAM voraus. NPUs sind sehr sparsam und ideal für dauerhafte Hintergrundaufgaben wie Weichzeichner im Videocall, Rauschunterdrückung oder Live-Transkription. Für große Sprachmodelle nutzen die verbreiteten Werkzeuge aber bislang meist Grafikeinheit und Arbeitsspeicher. Eine NPU ist daher ein nettes Extra, aber kein Ersatz für ausreichend Speicher.

Eine Entscheidungshilfe in fünf Fragen

1. Welche Aufgabe soll lokal laufen? Zusammenfassen und Umformulieren braucht viel weniger als Bildgenerierung oder Programmieren mit großen Modellen.
2. Wie sensibel sind die Daten? Je sensibler, desto eher lohnt sich lokal, auch mit kleineren Modellen und Abstrichen bei der Qualität.
3. Wie viele Menschen nutzen es? Für ein Team kann ein zentraler, gut ausgestatteter Rechner im eigenen Netz sinnvoller sein als zehn aufgerüstete Laptops.
4. Wie lange soll das Gerät halten? Modelle werden effizienter, die Ansprüche aber auch. Beim Speicher lieber eine Stufe höher greifen.
5. Wer kümmert sich? Lokale KI ist kein Selbstläufer. Updates, Modellauswahl und die Frage, wer was damit tun darf, brauchen eine Zuständigkeit.

Gerade der letzte Punkt wird gern unterschätzt. Die eigentlichen Kosten von KI liegen selten in der Hardware, sondern im menschlichen Prüfaufwand und in fehlender Governance. Genau das analysiert der Beitrag über die KI-Effizienz-Lüge sehr treffend. Ein lokales Modell, dessen Ergebnisse niemand gegenliest, ist nicht sicherer, nur unauffälliger.

Erst prüfen, dann kaufen

Bevor neue Hardware angeschafft wird, lohnt ein ehrlicher Blick auf das, was schon da ist. Viele Bürorechner haben mehr Reserven als gedacht, oder aber genau den einen Engpass, meist zu wenig Arbeitsspeicher, der lokale KI ausbremst. Ein kostenloser PC-Check im Browser zeigt in wenigen Sekunden, welche Grafikeinheit, wie viele Prozessorkerne und ungefähr wie viel Arbeitsspeicher ein Gerät mitbringt. Auf PCPruefer.de beschäftige ich mich genau mit dieser Frage: Was verlangt eine Anwendung, und was steckt tatsächlich im Rechner? Danach lässt sich mit einem kleinen Modell ausprobieren, ob der Arbeitsablauf überhaupt trägt, bevor Geld in eine größere Lösung fließt.

Fazit

Lokale KI ist keine Spielerei mehr, sondern eine realistische Option für alle, denen Datenhoheit und planbare Prozesse wichtig sind. Die Hardwarefrage lässt sich auf einen Kern reduzieren: genug schneller Speicher für das Modell, das die Aufgabe wirklich braucht. 16 GB sind der Einstieg, 32 GB der vernünftige Arbeitsstandard, und wer große Modelle betreiben will, landet bei viel Grafik- oder gemeinsamem Speicher. Mindestens ebenso wichtig wie der Chip ist aber die Frage, wer die Ergebnisse prüft und verantwortet.

Über den Gastautor

Stephan Sindera betreibt PCPruefer.de, eine deutschsprachige Seite rund um Systemanforderungen von Software, Spielen und Windows. Dort wertet er offizielle Herstellerangaben aus und übersetzt sie in verständliche Empfehlungen dazu, welche Hardware für welche Anwendung wirklich nötig ist.