Was ist ein Large Language Model?

Wie funktioniert ein Large Language Model?

Ein Large Language Model (LLM) sagt vorher, welches Token in einem Text folgt, und erzeugt auf diese Weise Text. Dafür schätzt ein Sprachmodell, wie wahrscheinlich ein Token oder eine Folge von Tokens innerhalb eines längeren Textes ist. Ein Token kann ein ganzes Wort, ein Wortteil oder ein einzelnes Zeichen sein. Bei dem Satz „Wenn ich Regen auf dem Dach höre, … ich in meiner Küche“ berechnet ein Sprachmodell, wie wahrscheinlich Ergänzungen wie „koche Suppe“ oder „setze Wasser auf“ sind.

Google erklärt den Aufbau von LLMs anhand der Transformer-Architektur. Ihr Kern ist ein Mechanismus namens Selbstaufmerksamkeit (Self-Attention): Für jedes Token wird bewertet, wie stark die übrigen Tokens der Eingabe seine Bedeutung beeinflussen. Dadurch kann ein Modell den gesamten Kontext auf einmal auswerten, statt einen Text Token für Token abzuarbeiten. Transformer enthalten laut Google Hunderte Milliarden oder sogar Billionen Parameter, also Werte, die das Modell im Training lernt.

Wie wird ein Large Language Model trainiert und angepasst?

Ein Large Language Model wird zuerst mit sehr großen Textmengen vortrainiert und lässt sich danach durch Fine-Tuning oder Prompt Engineering an eine Aufgabe anpassen. Das Ergebnis des Vortrainings ist ein Basismodell (Foundation Model). Im Vortraining lernt das Modell laut Google eine bemerkenswerte Menge über Grammatik, Wörter und Redewendungen. Beim sogenannten Fine-Tuning lernt das Modell an Beispielen genau einer Aufgabe weiter, was laut Google oft viel Rechenleistung kostet.

Ohne neues Training kommt das Prompt Engineering aus. Ein Prompt ist die Eingabe an das Modell, zum Beispiel eine Anweisung mit Beispielen. Gibt man mehrere Beispiele mit, spricht man von Few-Shot-Prompting. Die Parameter des Modells ändern sich dadurch nicht, nur seine Ausgabe. Wie viel Text ein Modell in einer Eingabe verarbeiten kann, bestimmt das Kontextfenster: Je größer es ist, desto mehr Informationen kann das Modell für eine stimmige Antwort nutzen.

Welche Beispiele für Large Language Models gibt es?

Beispiele für Large Language Models sind die GPT-Modelle von OpenAI, Gemini von Google, Claude von Anthropic, Llama von Meta und die Modelle von Mistral AI. Google zählt in seinem Glossar Transformer-basierte Sprachmodelle wie Gemini oder GPT zu den LLMs. Anthropic beschreibt Claude als Familie großer Sprachmodelle. Die Modelle unterscheiden sich unter anderem darin, wie Unternehmen sie nutzen können:

• Offene Modelle (Open-Weight-Modelle): Der Anbieter stellt die Modellgewichte, also die gelernten Parameter, zum Herunterladen bereit. Meta bietet Llama nach Annahme einer Lizenz direkt zum Download an. Mistral AI veröffentlicht die Modellfamilie Mistral 3 unter der Lizenz Apache 2.0, und Google beschreibt Gemma als Familie offener Modelle. Solche Modelle lassen sich auf eigenen Servern betreiben.
• Modelle über eine Programmierschnittstelle: Andere Modelle, etwa die aktuellen Claude- und GPT-Modelle, nutzen Unternehmen über die Programmierschnittstelle (API) oder die Anwendungen des Anbieters. Anthropic und OpenAI rechnen dabei nach verarbeiteten Tokens ab, mit getrennten Preisen für Eingabe und Ausgabe.

Wofür nutzen Unternehmen Large Language Models?

Laut dem Bundesamt für Sicherheit in der Informationstechnik (BSI) werden große KI-Sprachmodelle zunehmend genutzt, um Dokumente automatisiert zu verarbeiten und Nutzer mit Chatbots und autonomen Agenten zu unterstützen. Über Erweiterungen (Plugins) können Modelle zudem Webseiten oder Dokumente auswerten und auf E-Mail-Postfächer zugreifen. Generative KI-Modelle eignen sich nach Angabe des BSI unter anderem, um Texte zu übersetzen oder zu klassifizieren. Im Mittelstand kann das etwa eingehende Anfragen oder Lieferscheine betreffen, die ein Modell nach ihrem Inhalt einordnet.

Welche Grenzen und Risiken haben Large Language Models?

Large Language Models können falsche Antworten erzeugen, Verzerrungen aus ihren Trainingsdaten übernehmen und über manipulierte Eingaben angegriffen werden. Google beschreibt, dass LLMs halluzinieren: Ihre Vorhersagen enthalten oft Fehler. Die Verzerrungen bezeichnet man als Bias. Auf dieselbe Eingabe gibt ein LLM zudem häufig unterschiedliche Antworten; Google bezeichnet LLMs deshalb als in der Regel nichtdeterministisch.

Das BSI warnt außerdem vor indirekter Prompt Injection. Dabei platzieren Angreifer unerwünschte Anweisungen in Daten, die ein Modell verarbeitet, etwa auf einer Webseite oder in einem Dokument. Das BSI beschreibt dies als Schwachstelle, die in den Sprachmodellen selbst angelegt ist. Für Unternehmen folgt daraus, Ergebnisse eines LLM vor Entscheidungen zu prüfen und genau festzulegen, auf welche Daten und Systeme ein Modell zugreifen darf.

Was gilt für Large Language Models beim Datenschutz?

Enthalten Eingaben an ein LLM personenbezogene Daten, gilt die Datenschutz-Grundverordnung (DSGVO). Personenbezogen sind nach Art. 4 DSGVO alle Informationen, die sich auf eine identifizierte oder identifizierbare Person beziehen, etwa der Name eines Kunden in einer E-Mail. Die Datenschutzkonferenz (DSK), das Gremium der unabhängigen Datenschutzaufsichtsbehörden von Bund und Ländern, hat dazu im Mai 2024 eine Orientierungshilfe mit Schwerpunkt auf LLMs veröffentlicht. Danach braucht ein Unternehmen sowohl für die Verarbeitung als auch für die Übermittlung an den Anbieter eine Rechtsgrundlage. Namen und Anschriften zu entfernen, reicht laut DSK regelmäßig nicht, weil auch Zusammenhänge einen Personenbezug herstellen können.

Betreibt ein externer Anbieter das Modell im Auftrag des Unternehmens, besteht laut DSK häufig eine Auftragsverarbeitung, für die ein Vertrag nach Art. 28 DSGVO nötig ist. Als vorzugswürdig bezeichnet die DSK technisch geschlossene Systeme. Bei ihnen hat nur ein begrenzter Kreis von Nutzern Zugriff, und das System ist nicht darauf ausgelegt, dass der Anbieter die Daten für weiteres Training nutzt. Offene, meist cloudbasierte Systeme bergen laut DSK Risiken wie die Übermittlung in Drittstaaten. Ergebnisse mit Personenbezug müssen laut DSK vor der Weiterverarbeitung geprüft werden. Bei hohem Risiko ist zudem eine Datenschutz-Folgenabschätzung nötig, was laut DSK beim Einsatz von KI-Anwendungen vielfach der Fall sein wird.

Was unterscheidet ein Large Language Model von einem Chatbot?

Das LLM ist das Modell, das Texte verarbeitet und erzeugt. Ein Chatbot ist laut Google eine Anwendung eines LLM, über die Menschen im Dialog mit dem Modell arbeiten. Ein Modell lässt sich aber auch ohne Chatbot einsetzen, zum Beispiel in einer Automatisierung, die Dokumente verarbeitet.

• Was sieht der Nutzer? Beim Chatbot die Oberfläche für den Dialog, das LLM arbeitet im Hintergrund.
• Kennt ein Chatbot aktuelle Informationen? Sein Modell kennt Informationen nur bis zu einem Stichtag; Anthropic nennt für jedes Claude-Modell einen solchen Wissensstichtag (reliable knowledge cutoff). Über ein Werkzeug wie die Websuche kann eine Anwendung dem Modell aktuelle Inhalte bereitstellen. Laut Anthropic beantwortet Claude damit Fragen auch über seinen Wissensstand hinaus und nennt die Quellen.
• Gelten dieselben Grenzen? Ja, ein Chatbot übernimmt die Grenzen seines Modells, etwa Halluzinationen.