Modell auswählen

Wenn Sie lokale KI-Modelle nutzen, wählen Sie selbst aus, welches Sprachmodell AI Assist verwendet. Für die Wahl des richtigen Modells gibt es viele Kriterien: Neue Modelle erscheinen regelmäßig und die richtige Wahl hängt von Ihrem Computer und von den AI Assist-Funktionen ab, die Sie am häufigsten nutzen. Auf dieser Seite erfahren Sie, worauf Sie achten sollten, um ein Modell zu wählen, das auf Ihrer Hardware gut läuft und brauchbare Ergebnisse liefert. Wie Sie MAXQDA anschließend mit dem gewählten Modell verbinden, lesen Sie unter lokale KI-Modelle einrichten.

Lokale Modelle im Vergleich zu AI Assist in der Cloud

Der wichtigste Vorteil eines lokalen Modells ist die Kontrolle: Ihre Daten bleiben auf Ihrem Computer bzw. im Netzwerk Ihrer Organisation. Im Gegenzug sind die Ergebnisse in der Regel weniger genau und die Antworten langsamer als mit AI Assist in der Cloud. Das hat vor allem zwei Gründe:

Größe: Die Modelle hinter AI Assist in der Cloud sind weitaus größer als die Modelle, die ein einzelner Computer oder die meisten Organisationen betreiben können.
Abstimmung: AI Assist ist auf die Cloud-Modelle abgestimmt, die es verwendet. Andere Modelle verhalten sich anders, u. a. darin, wie genau sie Anweisungen befolgen oder wie gut sie mit einer bestimmten Sprache umgehen.

Sie können jederzeit zwischen lokalen KI-Modellen und AI Assist in der Cloud wechseln, zum Beispiel um anspruchsvollere Aufgaben in der Cloud zu erledigen.

Welche Funktionen ein leistungsfähigeres Modell brauchen

Die Funktionen von AI Assist stellen unterschiedlich hohe Anforderungen an ein Modell:

Geringe Anforderungen: „Text erklären“ und „Text übersetzen“ funktionieren mit fast jedem Modell gut.
Mittlere Anforderungen: AI Chat und AI Summarys brauchen ein Modell, das Anweisungen zuverlässig befolgt.
Hohe Anforderungen: AI Coding braucht das leistungsfähigste Modell, weil es Ihre Codedefinitionen konsistent anwenden muss.

Manche Funktionen senden außerdem mehrere Anfragen gleichzeitig. Wenn Sie zum Beispiel mehrere Dokumente mit AI Coding codieren, bearbeitet AI Assist in der Cloud die Anfragen parallel, während ein lokaler Server sie meist nacheinander abarbeitet. Das Codieren von zehn Dokumenten kann in diesem Fall etwa zehnmal so lange dauern wie das Codieren eines einzelnen.

Passend zu Ihrem Computer

Speicher

Der Speicher ist die wichtigste Grenze. Wählen Sie ein Modell, das mit ausreichend Reserve in den Speicher Ihres Computers passt (den Arbeitsspeicher oder den Speicher Ihrer Grafikkarte), sodass noch genug Platz für Ihre Daten, das Betriebssystem und andere Programme bleibt. Als Faustregel gilt: Halten Sie etwa 20 % des Speichers frei. Ein zu großes Modell startet unter Umständen trotzdem, läuft dann aber sehr langsam oder bricht mit einer Fehlermeldung ab.

Modellgröße und Quantisierung

Die Größe eines Modells wird in Parametern angegeben, zum Beispiel 7B (7 Milliarden) oder 30B. Größere Modelle liefern in der Regel bessere Ergebnisse, brauchen aber mehr Speicher. Die meisten Modellbibliotheken bieten jedes Modell außerdem in mehreren komprimierten Versionen an. Diese heißen Quantisierungen und sind mit Q2 bis Q8 gekennzeichnet. Niedrigere Zahlen brauchen weniger Speicher, gehen aber zulasten der Qualität.

Wählen Sie Q4 oder höher. Q4 und Q5 bieten für die meisten Computer einen guten Kompromiss.
Bis hinunter zu Q4 schneidet ein größeres Modell mit niedrigerer Quantisierung meist besser ab als ein kleineres Modell mit höherer. Ein 30B-Modell mit Q4 liefert zum Beispiel in der Regel bessere Ergebnisse als ein 15B-Modell mit Q8.
Unter Q4 nimmt die Qualität schnell ab. Wenn von einem Modell nur eine Q2- oder Q3-Version passt, ist ein kleineres Modell mit Q5 oder Q6 meist die bessere Wahl.

Manche Modelle, sogenannte Mixture-of-Experts-Modelle, geben zwei Parameterzahlen an: Die Gesamtzahl der Parameter bestimmt, wie viel Speicher das Modell braucht. Die Zahl der aktiven Parameter gibt an, wie schnell es läuft.

Alter und Qualität des Modells

Offene Modelle entwickeln sich schnell weiter und ein aktuelles, kleines Modell kann ein älteres, größeres übertreffen. Auch Modelle gleicher Größe können sich deutlich unterscheiden, zum Beispiel darin, wie gut sie mit verschiedenen Sprachen umgehen. Bevor Sie sich entscheiden, vergleichen Sie Modelle in unabhängigen Benchmarks wie Artificial Analysis.

Ihre Hardware

Grafikkarte: Eine Grafikkarte mit viel eigenem Speicher, zum Beispiel 12 GB oder mehr, liefert die schnellsten Antworten.
Macs mit Apple Silicon: Diese Macs teilen einen großen gemeinsamen Speicher zwischen Prozessor und Grafikchip. Deshalb können sie oft größere Modelle ausführen als ein vergleichbarer Laptop.
Nur Prozessor: Modelle laufen auch ohne geeignete Grafikkarte, allerdings deutlich langsamer. Rechnen Sie dann mit kleineren Modellen (etwa 7B bis 9B) und längeren Wartezeiten.

Reasoning-Modelle

Manche Modelle „denken“, bevor sie antworten. Das kann bei komplexen Problemen helfen, verlängert aber bei Aufgaben wie dem Zusammenfassen, Übersetzen oder Chatten auch die Wartezeit erheblich. Kleinere Modelle können außerdem beim Denken hängen bleiben, ohne eine Antwort zu liefern. Wählen Sie für AI Assist ein Modell ohne Reasoning oder stellen Sie das Reasoning auf eine niedrige Stufe, falls das Modell diese Option bietet.

Wenn eine Anfrage nicht funktioniert

Eine fehlgeschlagene Anfrage bedeutet nicht immer, dass das Modell zu schwach ist. Sprachmodelle arbeiten mit einem Zufallselement, deshalb kann dieselbe Anfrage beim zweiten Versuch funktionieren. Wenn eine Anfrage fehlschlägt:

Erneut versuchen: Senden Sie dieselbe Anfrage noch einmal.
Anfrage anpassen: Vereinfachen Sie Ihre Anweisungen oder wählen Sie weniger Daten aus. Wenn Ihre Daten für das Modell zu umfangreich sind, können Sie auch ein Modell wählen, das mehr Text auf einmal verarbeiten kann, also eines mit einem größeren Kontextfenster.
Anderes Modell ausprobieren: Ein anderes Modell (nicht zwingend ein größeres) kommt mit der Anfrage vielleicht besser zurecht.

Checkliste für die Modellwahl

Prüfen Sie, wie viel Speicher Ihr Computer hat, und halten Sie etwa 20 % frei.
Wählen Sie das größte aktuelle Modell, das mit Q4 oder höher passt. Wenn Sie Jan nutzen, schlägt Jan Modelle vor, die zu Ihrer Hardware passen.
Bevorzugen Sie ein Modell ohne Reasoning oder stellen Sie das Reasoning auf eine niedrige Stufe.
Testen Sie das Modell zuerst mit einer einfacheren Funktion wie „Text erklären“ und dann mit den Funktionen, die Sie am häufigsten nutzen.
Wenn die Ergebnisse zu langsam oder nicht gut genug sind, probieren Sie ein anderes Modell oder eine andere Quantisierung aus.

MAXQDA Manual