Ollama oder LM Studio: Welches Programm für lokale KI-Modelle?

Worum es geht

Ein lokales KI-Modell ist ein Sprachmodell, das du herunterlädst und auf deinem eigenen Computer laufen lässt. Was das bringt und wo die Grenzen liegen, erklärt unser Beitrag über lokale KI-Modelle. Hier geht es nur um die Wahl des Programms, mit dem du solche Modelle startest.

Laut PC Games Hardware sind LM Studio und Ollama die beiden Programme, die für den Einstieg am häufigsten genannt werden. LM Studio richtet sich demnach an alle, die möglichst kein Terminal öffnen wollen, also kein Textfenster für Befehle. Es kombiniert ein Chatfenster im Stil von ChatGPT mit einer Modellsuche, die direkt auf die Plattform Hugging Face zugreift. Ollama verfolgt laut dem Magazin den entgegengesetzten Ansatz: reduziert aufs Wesentliche, klassisch per Kommandozeile, inzwischen mit schlichtem Chatfenster.

Einrichtung und Hardware

Ollama: Auf macOS und Linux installierst du Ollama laut Projektseite mit einem Befehl im Terminal oder per Download, auf Windows ebenso; es gibt auch eine Docker-Version. Auf Windows braucht die Installation laut Ollama keine Administratorrechte. Voraussetzungen sind laut Dokumentation macOS 14 oder neuer, wobei Macs mit M-Chips die Grafikeinheit nutzen und ältere Intel-Macs nur den Hauptprozessor, sowie Windows 10 22H2 oder neuer. Eine Grafikkarte ist keine Pflicht: Ollama kann Modelle laut Dokumentation auch nur mit dem Hauptprozessor und dem normalen Arbeitsspeicher ausführen, nur langsamer. Wer eine Nvidia- oder AMD-Grafikkarte zur Beschleunigung nutzen will, braucht dafür aktuelle Treiber. Unter Windows belegt das Programm selbst laut Ollama mindestens 4 Gigabyte, die Modelle kommen hinzu.

LM Studio: Du lädst die App herunter und bedienst alles per Maus. Laut LM Studio braucht der Mac einen Apple-Chip ab M1 und macOS 14 oder neuer, Intel-Macs werden nicht unterstützt. Empfohlen sind 16 Gigabyte Arbeitsspeicher; mit 8 Gigabyte gehen nur kleine Modelle. Unter Windows läuft LM Studio auf PCs mit x64-Prozessor, der dafür die Befehlserweiterung AVX2 braucht, und auch auf Windows-PCs mit ARM-Chip wie dem Snapdragon X Elite; empfohlen sind 16 Gigabyte Arbeitsspeicher und mindestens 4 Gigabyte Grafikspeicher.

Parameter sind die internen Zahlenwerte, aus denen ein Modell besteht; mehr Parameter bedeuten meist ein größeres Modell. Laut PC Games Hardware können 8 Gigabyte Grafikspeicher für kompakte Modelle bis etwa neun Milliarden Parameter reichen und 16 Gigabyte für Modelle um 20 Milliarden Parameter, allerdings für speichersparend komprimierte Varianten, sogenannte quantisierte Modelle. Dazu kommt Speicher für den Gesprächsverlauf, der mit der Länge des Gesprächs wächst. Prüfe deshalb die Dateigröße der konkreten Modellvariante und plane etwas Puffer ein.

Lizenzen: Programm und Modell

Ollama steht laut Projektseite unter der MIT-Lizenz. Das ist eine freie Open-Source-Lizenz: Du darfst das Programm auch beruflich nutzen, verändern und weitergeben.

LM Studio ist kostenlos, aber kein offenes Programm; die Beratungsfirma Qytera führt es als proprietär. Die Nutzungsbedingungen erlauben die Nutzung für private Zwecke und für interne Zwecke im Unternehmen.

Wichtig: Die Lizenz des Programms ist nicht die Lizenz des Modells. LM Studio weist in seinen Bedingungen darauf hin, dass die heruntergeladenen Modelle von Drittanbietern stammen und deren eigene Lizenzbedingungen gelten. Wer Ergebnisse kommerziell nutzen will, sollte daher die Lizenz jedes Modells prüfen, egal mit welchem Programm.

Cloud-Angebote: Wann du nicht mehr lokal bist

Beide Anbieter verdienen inzwischen mit Cloud-Modellen Geld, die auf fremden Servern laufen.

Ollama: Laut Preisseite gibt es einen Gratis-Plan mit kleinem Startguthaben, Pro für 20 Dollar im Monat oder 200 Dollar im Jahr mit 60 Dollar Nutzungsguthaben pro Monat und Max für 100 Dollar. Das enthaltene Guthaben erneuert sich monatlich, auch bei Jahreszahlung. Ein Abo ist für mehr Cloud-Nutzung aber nicht nötig: Auch mit dem Gratis-Konto kannst du Nutzungsguthaben kaufen und damit alle Cloud-Modelle freischalten. Die Modelle laufen laut Ollama vorwiegend in den USA, bei Bedarf auch in Europa; Eingaben und Antworten werden laut Ollama weder protokolliert noch zum Training genutzt. Lokale Modelle bleiben unbegrenzt kostenlos.

LM Studio: Die App heißt inzwischen LM Studio Bionic und enthält einen Agenten für Dokumente und Code. Laut Preisseite ist der lokale Betrieb kostenlos, Bionic+ mit in den USA betriebenen offenen Modellen kostet 20 Dollar und Pro 100 Dollar im Monat. Laut LM Studio speichern die Cloud-Dienste keine Eingaben und Antworten.

Das sind Herstellerangaben. Wenn dir Datenschutz wichtig ist, achte bei beiden darauf, dass das gewählte Modell wirklich lokal läuft.

Welches Programm für wen?

Die folgende Einordnung ist eine redaktionelle Empfehlung auf Basis der Herstellerangaben und von PC Games Hardware.

LM Studio passt, wenn du ohne Terminal starten willst, gern per Maus Modelle suchst und einen Mac mit Apple-Chip oder einen Windows-PC mit ausreichend Speicher hast.

Ollama passt, wenn du ein offenes, schlankes Werkzeug suchst, das auch auf Linux, in Docker oder auf älteren Intel-Macs läuft, oder wenn du die KI später mit anderen Programmen verbinden willst. Laut Qytera ist Ollama bei Server-Einrichtungen der übliche Standard.