Was ist Prompt Engineering?

Wie funktioniert Prompt Engineering?

Prompt Engineering funktioniert in Runden: Sie schreiben einen Prompt, prüfen die Antworten des Modells an vorher festgelegten Kriterien und verbessern den Prompt, bis die Ergebnisse passen. Ein Prompt ist die Anfrage in natürlicher Sprache, die ein Sprachmodell erhält. OpenAI beschreibt Prompt Engineering als das Schreiben wirksamer Anweisungen, mit denen ein Modell gleichbleibend Inhalte nach Ihren Anforderungen erzeugt. Weil die Ausgaben eines Modells nicht deterministisch sind, also auf dieselbe Eingabe unterschiedlich ausfallen können, nennt OpenAI das eine Mischung aus Kunst und Wissenschaft.

Google bezeichnet Prompt Engineering ausdrücklich als iterativ. Bringt ein Prompt nicht das erwartete Ergebnis, empfiehlt Google, ihn umzuformulieren oder die Reihenfolge der Inhalte zu ändern. Anthropic ist der Hersteller des Sprachmodells Claude. Vor dem Feinschliff setzt das Unternehmen drei Dinge voraus: Erfolgskriterien für den Anwendungsfall, eine Möglichkeit, die Ergebnisse daran zu testen, und einen ersten Entwurf des Prompts. Das Modell bleibt dabei unverändert. Laut Google ändert Prompt Engineering nicht die Parameter des Modells, also die Werte, die es im Training gelernt hat.

Welche Techniken des Prompt Engineering gibt es?

Zu den gängigen Techniken gehören Beispiele im Prompt, eine Rolle für das Modell, eine erkennbare Gliederung des Prompts, Zwischenschritte beim Denken und das Aufteilen großer Aufgaben. Die Hersteller beschreiben sie so:

• Zero-Shot- und Few-Shot-Prompting: Ein Prompt ohne Beispiel heißt Zero-Shot-Prompt, mit einem Beispiel One-Shot und mit mehreren Beispielen Few-Shot. Google empfiehlt, immer einige Beispiele mitzugeben, warnt aber: Bei zu vielen Beispielen richtet sich das Modell womöglich zu stark nach ihnen. Anthropic nennt drei bis fünf Beispiele, die zum Anwendungsfall passen und sich voneinander unterscheiden.
• Rolle im System-Prompt: Der System-Prompt enthält die Grundanweisungen, die vor jeder Nutzereingabe gelten. Eine Rolle darin richtet laut Anthropic Verhalten und Ton des Modells auf den Anwendungsfall aus; schon ein einziger Satz macht einen Unterschied.
• Gliederung mit Markierungen: Anthropic empfiehlt XML-Tags, also benannte Markierungen in spitzen Klammern, etwa für Anweisungen, Kontext und Eingabe. Sie helfen dem Modell, einen langen Prompt eindeutig zu lesen, wenn darin Anweisungen, Beispiele und wechselnde Eingaben zusammenkommen.
• Chain of Thought: Das Modell schreibt Zwischenschritte seiner Überlegung auf, bevor es antwortet. Eine Forschungsarbeit von Wei u. a. (2022) zeigte, dass einige Beispiele mit solchen Zwischenschritten ausreichend großen Sprachmodellen bei Rechen-, Alltagslogik- und Symbolaufgaben helfen. Für aktuelle Claude-Modelle empfiehlt Anthropic in erster Linie deren eingebaute Denkfunktion und nennt die manuelle Anweisung als Ausweichlösung.
• Aufteilen und Verketten: Google rät, statt vieler Anweisungen in einem Prompt je Anweisung einen eigenen Prompt zu schreiben. Bei Aufgaben mit mehreren Schritten wird jeder Schritt ein Prompt, und die Ausgabe des einen dient als Eingabe des nächsten.

Wie sieht ein guter Prompt aus?

Ein guter Prompt nennt die Aufgabe eindeutig, liefert den nötigen Kontext und legt fest, in welcher Form die Antwort kommen soll. Laut Google hilft der Kontext dem Modell, die Rahmenbedingungen und Einzelheiten der Aufgabe zu verstehen. Ebenso lassen sich Einschränkungen und das Antwortformat vorgeben.

Ein Beispiel aus dem Kundenservice: Statt nur „Fasse diese Reklamation zusammen“ zu schreiben, beginnt der Prompt mit einer Rolle, etwa Sachbearbeiter im Kundenservice eines Großhändlers. Danach folgt die Aufgabe: die Reklamation in zwei Sätzen zusammenfassen und den betroffenen Artikel nennen. Eine Einschränkung verhindert Vermutungen über die Ursache des Mangels. Das Format besteht aus festen Feldern für Artikel, Mangel und Wunsch des Kunden. Drei bis fünf Beispiel-Reklamationen mit der erwarteten Antwort zeigen dem Modell das Muster. Bei langen Dokumenten rät Anthropic, sie an den Anfang des Prompts und die Frage ans Ende zu stellen. In Tests des Herstellers verbesserte das die Antwortqualität um bis zu 30 Prozent.

Wie prüft man, ob ein Prompt funktioniert?

Ob ein Prompt funktioniert, zeigt erst ein Test mit vielen unterschiedlichen Eingaben, deren richtiges Ergebnis vorher feststeht. Anthropic empfiehlt, Erfolgskriterien und Tests festzulegen, bevor man an einem Prompt feilt. OpenAI rät zu Testreihen, sogenannten Evals, die das Verhalten eines Prompts messen. So bleibt die Wirkung auch dann überprüfbar, wenn Sie den Prompt ändern oder ein neueres Modell einsetzen.

Für Anwendungen im laufenden Betrieb empfiehlt OpenAI außerdem, sie an einen bestimmten Modell-Snapshot zu binden, also an eine fest datierte Modellversion. Das Verhalten des Modells ändert sich dann nicht unbemerkt. Anthropic nennt als weitere Technik, das Modell seine Antwort selbst überprüfen zu lassen.

Was kostet Prompt Engineering?

Für Prompt Engineering fallen keine Kosten für ein neues Training an. Kosten entstehen durch die Arbeitszeit für Entwurf und Tests sowie durch die Nutzung des Modells. Diese Faktoren bestimmen den Aufwand:

• Arbeitszeit: Erfolgskriterien festlegen, Testfälle sammeln und Varianten des Prompts vergleichen.
• Modellwahl: Laut OpenAI sind Reasoning-Modelle, die vor der Antwort eine interne Gedankenkette erzeugen, in der Regel langsamer und teurer als GPT-Modelle. Anthropic weist darauf hin, dass sich Antwortzeit und Kosten manchmal einfacher über ein anderes Modell senken lassen als über einen neuen Prompt.
• Pflege: Wechselt das Modell, muss der Prompt erneut getestet werden. OpenAI empfiehlt die Testreihen ausdrücklich auch für den Umstieg auf ein neues Modell.

Welche Grenzen und Risiken hat Prompt Engineering?

Prompt Engineering verbessert die Antworten eines Modells, verhindert aber weder falsche Antworten noch Angriffe über manipulierte Inhalte vollständig. Anthropic schreibt selbst, dass sich nicht jedes Erfolgskriterium am besten durch Prompt Engineering erreichen lässt. Fragen nach wenig bekannten oder aktuellen Fakten beantwortet ein Modell allein aus seinem Training womöglich falsch; solche Fehler nennt man Halluzinationen. Google empfiehlt für diese Fälle, das Modell über ein Werkzeug wie die Google-Suche mit aktuellen Quellen zu verbinden.

Das Bundesamt für Sicherheit in der Informationstechnik (BSI) warnt vor indirekter Prompt Injection. Dabei platzieren Angreifer unerwünschte Anweisungen in Daten, die ein Modell verarbeitet, etwa auf Webseiten, in Dokumenten oder in E-Mails. Das BSI bezeichnet dies als intrinsische Schwachstelle, also als Schwäche, die in anwendungsintegrierten Sprachmodellen selbst angelegt ist. Ein sorgfältig formulierter Prompt schließt sie deshalb nicht. Für Unternehmen kommt es darauf an, auf welche Daten und Systeme ein Modell zugreifen darf und wer seine Ergebnisse prüft.

Was unterscheidet Prompt Engineering von Fine-Tuning?

Beim Prompt Engineering ändern Sie nur die Eingabe an das Modell, das Modell selbst bleibt, wie es ist. Beim Fine-Tuning wird ein vortrainiertes Basismodell mit eigenen Beispielen einer Aufgabe weiter trainiert. Laut Google genügen dafür manchmal einige Hundert oder einige Tausend Trainingsbeispiele. Das Standardverfahren ist trotzdem oft rechenaufwendig, weil es in jedem Trainingsschritt alle Parameter des Modells anpasst. Wie ein Basismodell entsteht, erklärt der Glossar-Eintrag „Large Language Model“.

• Was ändert sich am Modell? Beim Prompt Engineering nichts, laut Google bleiben die Parameter unverändert. Beim Standard-Fine-Tuning werden alle Parameter angepasst, bei sparsameren Verfahren nur ein Teil davon.
• Was wird gebraucht? Für Prompt Engineering ein Prompt, einige Beispiele und Testfälle. Für Fine-Tuning ein Satz Trainingsbeispiele und Rechenleistung für das Training.
• Schließt das eine das andere aus? Nein, auch ein durch Fine-Tuning angepasstes Modell erhält seine Aufgaben über Prompts.