> ## Content Index
> Fetch the complete content index at: https://www.christos.studio/llms.txt
> Use this file to discover other available public pages before exploring further.

# Lokale KI ✺ Wann sich ein eigenes Modell lohnt und wann nicht
- URL: https://www.christos.studio/lokale-ki/
- Published: 2026-08-28T06:30:00.000Z
- Updated: 2026-11-19T17:51:58.000Z
- Description: Was eine lokale KI kann, welche Software und welcher Rechner dafür nötig sind, was sie kostet und wann ein Cloud-Abo mit Vertrag die einfachere Lösung ist.
- Author: Christos Stavrou
- Tags: Künstliche Intelligenz, #Thema KI-Modelle verstehen, #Weg Verstehen

Lokale KI ist ein Sprachmodell, das auf deinem eigenen Rechner oder einem Server im Haus läuft, ohne dass deine Eingaben an einen Cloud-Anbieter gehen. Möglich machen das offene Modelle wie gpt-oss, Gemma, Llama, Mistral, Qwen oder DeepSeek und kostenlose Programme wie Ollama, LM Studio, Jan oder GPT4All. Kleine Modelle laufen ab 8 GB Speicher. Ab 16 GB läuft gpt-oss-20b von OpenAI (laut Ollama, Stand 18\. November 2026), auf einem Laptop ohne eigene Grafikkarte allerdings langsam. Es lohnt sich vor allem, wenn Daten das Haus nicht verlassen dürfen. Bei schwierigen Aufgaben liefern die großen Cloud-Modelle meist die besseren Antworten.

## Moment, durfte ich das?

Eine Sachbearbeiterin kopiert einen Vertrag mit 40 Seiten in ChatGPT, drückt Enter, und eine Sekunde später denkt sie: Moment, durfte ich das? Diese Sekunde ist eigentlich ein gutes Zeichen. Das Gefühl für Daten funktioniert, es kommt nur einen Tastendruck zu spät. Aus genau so einer Sekunde entsteht vermutlich ein guter Teil der Suchen nach „lokale KI“. Und in Firmen fällt der Satz „Können wir das nicht einfach lokal laufen lassen?“ meistens dann, wenn jemand das Wort Datenschutz ausgesprochen hat.

Die Frage ist gut. Die schnelle Antwort darauf ist allerdings oft zu schnell. Und ich stelle sie mir aus der Cloud heraus: Ich arbeite mit Claude, ein lokales Modell betreibe ich nicht. Was hier über Programme und Modelle steht, ist am Stand vom 18\. November an den Seiten der Hersteller geprüft.

## Kann ich KI nicht einfach lokal laufen lassen?

Ja, und die Einrichtung ist einfacher, als die meisten denken. Du installierst ein Programm, wählst ein Modell aus, lädst ein paar Gigabyte herunter und tippst los. Das sieht dann fast aus wie ChatGPT, nur dass die Antwort auf deinem eigenen Rechner entsteht.

Diese vier Programme tauchen in fast jeder Empfehlung auf:

- **Ollama:** lädt und startet Modelle mit einem Befehl, inzwischen auch mit eigener App. Ollama bietet zusätzlich Modelle in der Cloud an. Wer die auswählt, ist wieder in der Cloud, das nur als kleine Warnung.
- **LM Studio:** Desktop-App mit Chatfenster und Modellsuche, seit Juli 2025 auch für die Arbeit kostenlos.
- **Jan:** quelloffen, sieht aus wie ein Chat-Programm und bindet auf Wunsch zusätzlich die Modelle von OpenAI oder Anthropic über einen eigenen Zugangsschlüssel an.
- **GPT4All:** von Nomic, für Windows, Mac und Linux, mit einer Funktion namens LocalDocs, um eigene Dokumente zu befragen.

Und die Modelle? Die großen Namen bei offenen Modellen sind gpt-oss von OpenAI, Gemma von Google, Llama von Meta, Mistral aus Paris, Qwen von Alibaba und DeepSeek aus China. Offen heißt: Die Hersteller veröffentlichen die [Gewichte](https://www.christos.studio/ki-begriffe/), also die Einstellung aller Regler im Modell, und du kannst sie herunterladen. Wie so ein Sprachmodell überhaupt zu einer Antwort kommt, egal wo es läuft, steht in meinem Text [Was ist ein LLM?](https://www.christos.studio/was-ist-ein-llm/).

[Was ist ein LLM? Vier Bilder statt FormelnBibliothek, Autovervollständigung, Mischpult, Schreibtisch: So verstehst du große Sprachmodelle wie ChatGPT, Claude und Gemini, und was das für deine Arbeit heißt.![](https://storage.ghost.io/c/f5/b8/f5b8f91e-d38d-4761-a59e-7441574fdcc2/content/images/icon/studio-christos-icon-black-7487f3f3-3799-4b5d-82e8-4cc79eb3d8c1.png)Studio ✺ ChristosChristos Stavrou![](https://images.unsplash.com/photo-1649277073033-9cce6a2081e6?ixid=M3wxMTIyNTM5fDB8MXxhbGx8fHx8fHx8fHwxNzk0OTM2OTUxfA&ixlib=rb-4.1.0&w=600&q=80&fm=jpg&fit=crop)](https://www.christos.studio/was-ist-ein-llm/)

## Was kann eine lokale KI?

Eine lokale KI kann im Prinzip dasselbe wie ein Chat in der Cloud: Texte entwerfen, zusammenfassen, übersetzen, Fragen zu eigenen Dokumenten beantworten und beim Programmieren helfen. Der Unterschied liegt darin, wie gut und wie schnell.

Ein typischer Fall aus dem Büro wäre ein Stapel Notizen aus Mitarbeitergesprächen. In die Cloud würde ich die nicht ohne Vertrag geben, eigentlich am liebsten gar nicht. Ein lokales Modell kann sie sortieren, wiederkehrende Themen zählen und einen ersten Entwurf für eine Zusammenfassung schreiben. Ob die Zusammenfassung stimmt, prüft trotzdem ein Mensch. Lokal erfindet ein Modell Dinge genauso munter wie in der Cloud. Kleinere Modelle tun es eher öfter.

Okay, aber wie gut genau? Hier wird die Antwort unbequem. In der [Rangliste von Artificial Analysis](https://www.christos.studio/ki-benchmarks/) liegt das beste offene Modell 19 Punkte hinter dem besten geschlossenen (Stand 16\. November 2026). Und das beste offene Modell läuft nicht auf deinem Laptop, dafür ist es viel zu groß. Auf dem Laptop läuft eine kleinere Version, und die merkt man bei langen Texten, kniffligen Fragen und Fakten, die sie einfach erfindet.

Dazu kommt das Tempo. Wie schnell eine lokale KI schreibt, misst man in Token pro Sekunde, also in Textstücken. Auf schwacher Hardware tröpfelt die Antwort Wort für Wort, und spätestens dann versteht man, warum die Anbieter Rechenzentren bauen.

Was entscheidet, welches Modell bei dir überhaupt läuft? Vor allem der Speicher, beim PC der Grafikspeicher, beim Mac mit Apple-Chip der gemeinsame Arbeitsspeicher. Als grobe Orientierung, mit den Downloadgrößen aus der Modellbibliothek von Ollama:

- **8 GB:** kleine Modelle wie Gemma 4 E2B (rund 5 GB). Für kurze Texte und einfache Fragen.
- **16 GB:** gpt-oss-20b (14 GB) oder Gemma 4 12B (rund 8 GB). Ab hier wird es für Büroaufgaben brauchbar, auf einem Laptop ohne eigene Grafikkarte allerdings langsam.
- **24 bis 32 GB:** mittlere Modelle wie Gemma 4 26B oder 31B (16 bis 20 GB).
- **80 GB und mehr:** gpt-oss-120b (65 GB) braucht laut Ollama eine einzelne Grafikkarte mit 80 GB. Das ist kein Schreibtisch-PC mehr.

Wer jetzt im Kopf schon die Grafikkarte in den Warenkorb legt: Ich verstehe das. Warte noch zwei Abschnitte.

## Deine Daten, dein Rechner, deine Entscheidung

Ich erkläre, was KI mit deinen Daten macht, wo sie rechnet und welche Wahl du hast. Ohne Panik, ohne Fachchinesisch.

Schick mir das 

Fast geschafft. Schau in dein Postfach und bestätige den Link. 

## Was kostet eine lokale KI?

Software und Modelle kosten in der Regel nichts. Bezahlt wird mit Hardware, Strom und Zeit. Für kleine Modelle reicht ein normaler Büro-Laptop mit 8 bis 16 GB, nur eben ohne Tempo. Ein Rechner, auf dem die großen offenen Modelle flüssig laufen, kostet schnell mehrere tausend Euro, und dafür bekommst du viele Jahre Cloud-Abo.

Die Gegenüberstellung, Stand 18\. November 2026:

| Frage                       | Lokal                                            | Cloud-Abo                                  |
| --------------------------- | ------------------------------------------------ | ------------------------------------------ |
| Wo liegen die Daten?        | auf deinem Gerät oder Server                     | beim Anbieter, im Firmen-Tarif mit Vertrag |
| Was kostet es?              | Software gratis, dazu Hardware und Strom         | rund 20 bis 30 Euro im Monat je Person     |
| Wie gut sind die Antworten? | gut für Routine, schwächer bei schweren Aufgaben | aktuelle Spitzenmodelle                    |
| Wie viel Aufwand?           | einrichten, Modelle wählen, selbst aktualisieren | anmelden und loslegen                      |
| Welche Hardware?            | ab 8 GB, besser 16 GB und mehr                   | ein Browser reicht                         |
| Geht es ohne Internet?      | ja                                               | nein                                       |
| Wer wartet es?              | du oder deine IT                                 | der Anbieter                               |

Quellen: Modellbibliothek von [Ollama](https://ollama.com/library/gpt-oss?ref=christos.studio) (gpt-oss, Gemma 4), [LM Studio](https://lmstudio.ai/blog/free-for-work?ref=christos.studio), Preise der Cloud-Abos aus meinem Vergleich [Was kostet KI?](https://www.christos.studio/ki-kosten/). Alles gelesen am 18.11.2026.

Die teuerste Zeile in dieser Tabelle ist für mich die mit dem Aufwand. Ein Cloud-Abo aktualisiert sich über Nacht. Ein lokales Modell bleibt, wie es ist, bis jemand ein neues herunterlädt, testet und verteilt. Wer ein Modell einmal einrichtet und dann nie wieder anfasst, arbeitet in zwei Jahren mit dem Stand von heute. Ich vermute, in vielen Firmen passiert genau das.

## Ist lokal automatisch sicher?

Nein. Lokal löst genau ein Problem: Deine Eingaben gehen nicht an einen fremden Anbieter. Das ist viel wert. Die Datenschutz-Grundverordnung gilt trotzdem, sobald personenbezogene Daten im Spiel sind, nur bist du jetzt allein dafür zuständig, wer an den Rechner kommt und wie lange Chats gespeichert bleiben.

Bei den Agenten wird es heikler. Ein lokaler KI-Agent, der Mails liest oder Webseiten öffnet, holt sich fremden Text ins Haus, und dieser Text kann Anweisungen enthalten. Kleinere Modelle lassen sich davon eher manipulieren, davor warnt sogar der Erfinder von OpenClaw, wie ich in meinem Text zur [Sicherheit von OpenClaw](https://www.christos.studio/ki-agent-sicherheit-openclaw/) zusammengetragen habe.

Wie leicht so eine Tür entsteht, habe ich selbst gesehen. Nach dem Go-live von [wenighair](https://wenighair.de/?ref=christos.studio) hat ein Code-Review gezeigt, dass Fragen der Besucher an den Chatbot ungefiltert im Wochenbericht landeten, den Claude danach nach Regelbuch selbst umsetzt. Eine offene Tür für Prompt-Injection, gebaut von mir selbst. Auf einem lokalen Modell wäre das ganz genauso passiert. Wo das Modell rechnet, ändert nichts daran, welchen Text es liest.

> Lokal heißt nicht sicher, und es heißt auch nicht europäisch.

Von den sechs Modellfamilien oben kommt nur Mistral aus Europa, die anderen aus den USA und China. Welche [Anbieter aus Europa](https://www.christos.studio/europaeische-ki/) es gibt, habe ich in einem eigenen Text gesammelt. Du holst dir das Modell zwar ins Haus, gebaut hat es trotzdem jemand anderes, mit dessen Trainingsdaten und dessen Lizenz. gpt-oss steht unter der freien Lizenz Apache 2.0, andere Modelle teils eigene Bedingungen, und die liest vor dem Einsatz in der Firma bitte jemand. Wie abhängig wir dabei insgesamt sind, habe ich in [Europa 2031](https://www.christos.studio/europa-2031-ki-souveraenitaet/) aufgeschrieben.

## Wann ich lokal gehen würde

Vor der Grafikkarte kommt bei mir eine langweilige Frage: Gibt es eine viel einfachere Lösung? Oft gibt es sie. Ein [Firmen-Tarif von ChatGPT, Claude oder Copilot](https://www.christos.studio/ki-datenschutz-chatgpt-claude-copilot/) mit Vertrag zur Auftragsverarbeitung und Verzicht auf Training löst für viele Daten schon das meiste. Welche Daten in welches Werkzeug dürfen, gehört dann in eure [KI-Richtlinie](https://www.christos.studio/ki-richtlinie-unternehmen/), gern mit einer Spalte für „nur lokal“.

Lokal würde ich erst gehen, wenn Daten auch mit Vertrag nicht raus dürfen: Patientenakten, Personalakten, Konstruktionspläne, alles, wo schon die Frage nach einem fremden Server Ärger macht.

Dabei hilft mir ein Gedanke aus meinem eigenen Alltag. Für wenighair habe ich zwei geplante Aufgaben in der Claude-App angelegt. Den Wochenbericht macht das kleinere Modell Sonnet, weil er Routine ist. Die Monatsauswertung macht Opus, weil sie Texte schreibt. Dieselbe Aufteilung würde ich bei lokaler KI denken: Routine mit vertraulichen Daten auf ein kleines Modell im Haus, das schwere Denken in die Cloud, mit Daten, die raus dürfen.

Bevor jemand bei euch eine Grafikkarte bestellt, würde ich drei Fragen auf den Tisch legen. Selbst durchgespielt habe ich das nicht, es ist mein Vorschlag:

- Welche Daten dürfen auch mit Vertrag nicht raus? Bleibt die Liste leer, ist die Sache erledigt.
- Welche eine Aufgabe mit diesen Daten kommt jede Woche wieder? Protokolle zusammenfassen, Rechnungen auslesen, irgendetwas Langweiliges. Die testet ihr erst auf einem vorhandenen Rechner mit LM Studio oder Ollama, an zehn echten Fällen.
- Wer pflegt das Ding in zwei Jahren noch? Ein Server ist schnell gekauft, ein Mensch, der ihn betreut, nicht.

Die dritte Frage klingt nach Bürokratie. Gut möglich, dass trotzdem an ihr die meisten Projekte im eigenen Keller später hängen, weil sie keinem Spaß macht und in keinem Angebot steht.

Welche Aufgabe würdest du sofort an eine KI geben, wenn die Daten dafür nie dein Büro verlassen müssten? Ein offenes Modell von OpenAI, das ohne Internet auf einem Laptop mit 16 GB läuft, langsam, aber es läuft: Das gibt es erst seit August 2025\. Heute ist es ein Download von 14 GB. Für die erste Aufgabe auf deiner Liste reicht vielleicht schon der Rechner, auf dem du das hier liest.

  
Studio ✺ Christos

## KI, die du einordnen kannst

Neue Modelle, neue Werkzeuge, neue Versprechen: Ich sortiere, was davon für deinen Arbeitstag zählt.

Bin dabei 

Fast geschafft. Schau in dein Postfach und bestätige den Link. 

## Häufige Fragen

#### Was kann eine lokale KI?

Eine lokale KI kann Texte entwerfen, zusammenfassen, übersetzen, Fragen zu eigenen Dokumenten beantworten und beim Programmieren helfen, ohne dass die Daten deinen Rechner verlassen. Bei langen, schwierigen Aufgaben sind die Modelle, die auf normaler Hardware laufen, meist schwächer als die großen Cloud-Modelle.

#### Welche Software brauche ich für lokale KI?

Die bekanntesten kostenlosen Programme sind Ollama, LM Studio, Jan und GPT4All. Sie laden offene Modelle wie gpt-oss, Gemma, Llama, Mistral oder Qwen herunter und zeigen ein Chatfenster. LM Studio ist seit Juli 2025 auch für die Nutzung in der Firma kostenlos.

#### Was kostet eine lokale KI?

Software und offene Modelle sind meist kostenlos. Kosten entstehen durch Hardware, Strom und die Zeit für Einrichtung und Pflege. Kleine Modelle laufen ab 8 GB Speicher, gpt-oss-20b ab 16 GB, auf einem Laptop ohne eigene Grafikkarte allerdings langsam. Für große Modelle wie gpt-oss-120b braucht es laut Ollama eine Grafikkarte mit 80 GB.

#### Welcher PC eignet sich für lokale KI?

Entscheidend ist der Speicher: beim PC der Grafikspeicher, beim Mac mit Apple-Chip der gemeinsame Arbeitsspeicher. Kleine Modelle laufen ab 8 GB, mit 16 GB Modelle wie gpt-oss-20b, ohne eigene Grafikkarte allerdings langsam. Mit 24 bis 32 GB laufen mittlere Modelle wie Gemma 4 26B (Stand November 2026).

#### Ist lokale KI datenschutzkonform?

Lokale KI schickt deine Eingaben an keinen fremden Anbieter, das macht vieles einfacher. Die Datenschutz-Grundverordnung gilt trotzdem, wenn personenbezogene Daten verarbeitet werden. Zugriff, Speicherdauer und Lizenz des Modells musst du dann selbst regeln.