Large Language Models (kurz: LLM und auf Deutsch: Große Sprachmodelle) können jede beliebige Folge von Zeichen erzeugen. Buchstäblich jede. In jedem Idiom, Datenformat oder jeder Programmiersprache.
Und mit sehr unterschiedlichen Qualitätsniveaus.
Es kann eine dieser typischerweise lauwarmen Modellantworten mit vielen Vorbehalten, weitschweifigen Erklärungen oder halbfabrizierten Erkenntnissen vom Vortag sein.
Oder der erste Abschnitt eines Bestsellers, ein Vorschlag für einen perfekten Markennamen, die leistungsfähigste und eleganteste Python-Funktion für ein kniffliges Problem.
Oder sogar noch mehr, mehr und mehr davon: Wenn du eine Anwendung baust, kann das Modell Millionen von Fragen deiner Kunden zuverlässig und genau beantworten, Versicherungsansprüche vollständig bearbeiten oder hartnäckig jeden Tag die frisch eingereichten Patentanmeldungen nach Konflikten mit älteren durchsuchen.
Es gibt ein Wenn – und das ist ein großes Wenn: Das funktioniert nur, wenn du deinen Wunsch in einem perfekten Prompt spezifizierst.
Und das bedeutet nicht nur, dass du mehrdeutige Anweisungen wie all diese Typen vermeiden musst, die die drei Wünsche verschwenden. Nein, es ist viel schwieriger. Um das volle Potenzial unserer KI-Feen und -Dschinns zu realisieren, musst du deine Prompts meisterhaft und penibel gestalten.
Wenn du Modelle für alltägliche Aufgaben verwendest, kann diese Entwicklungsarbeit hilfreich sein.
Wenn du Anwendungen mit KI baust, ist es ein Muss.
Unser Prompt-Engineering-Spickzettel ist ein komprimiertes (PDF-)Buch voller Zaubersprüche für diese etwas arcane und oft knifflige Disziplin des maschinellen Lernens.
Ob du ein erfahrener Anwender oder gerade erst auf deiner KI-Reise bist, dieser Spickzettel sollte als Taschenwörterbuch für viele Bereiche der Kommunikation mit großen Sprachmodellen dienen.
Der Inhalt:
- das AUTOMAT- und das CO-STAR-Framework
- Festlegung des Ausgabeformats
- Few-Shot-Learning
- Kette des Denkens
- Prompt-Vorlagen
- RAG, retrievalgestützte Generierung
- Formatierung und Trennzeichen
- und der Mehrfach-Prompt-Ansatz.
Hier ist eine praktische PDF-Version des Spickzettels, die du mitnehmen kannst.
Das AUTOMAT-Framework
Das AUTOMAT-Framework beschreibt die Schlüsselzutaten einer perfekten Prompt-Anweisung: Was du brauchst, wie du es schreibst.
Und wie du es besser nicht schreibst.
Das Akronym AUTOMAT steht für:
Auftreten als…
User Persona und Zielgruppe
Targetierte Aktion
Output-Definition
Modus / Tonalität / Stil
Atypische Fälle
Thementabliste
Wenn du jede Komponente berücksichtigst, kannst du das LLM auf das gewünschte Ergebnis hinlenken. Stell dir vor, du schreibst ein Skript für einen Chatbot. Du definierst seine Rolle (A), mit wem er interagiert (U), das Ziel der Interaktion (T), welche Informationen er bereitstellen soll (O), wie er kommunizieren soll (M), wie Sonderfälle zu behandeln sind (A) und welche Themen relevant sind (T). Diese Struktur sorgt für eine klare, konsistente Kommunikation für dein LLM.
Das CO-STAR-Framework
Ein ähnlicher Ansatz, aber mit etwas anderem Fokus:
- Kontext: Schaffe den Rahmen! Gib Hintergrundinformationen, damit das LLM die Situation versteht.
- Ziel: Was möchtest du erreichen? Definiere die Aufgabe klar für fokussierte Ergebnisse.
- Stil und Tonalität: Kleide es aus! Lege den gewünschten Schreibstil und Emotionston für die Antwort des LLM fest.
- Zielgruppe: Kenne deine Leser. Identifiziere die Adressaten, um die Ausgabe des LLM entsprechend anzupassen.
- Antwort: Wähle dein Format. Definiere das Ausgabeformat (Text, Code, etc.) für die Antwort des LLM.
Ausgabeformat
Die Definition des Ausgabeformats sagt dem Modell, wie es die Antwort präsentieren soll. Noch besser als Anweisungen ist es, ein Beispiel zu zeigen. Liefere ein reales Beispiel für eine Ausgabe.
Das Modell kann fast jedes denkbare Format, jede bestehende Struktur sowie die von dir für eine spezifische Aufgabe definierten Strukturen nachahmen. Eine Antwort in einem leicht zu parsenden Format wie JSON erleichtert den Aufbau von Anwendungen und autonomen KI-Arbeitern erheblich.
Strukturiere die Ausgabe weiter, indem du
- zulässige Werte und Bereiche für die Antwort des KI-Systems angibst
- dem KI-System instruierst, was es tun soll, wenn Daten nicht verfügbar sind oder Werte fehlen
Few-Shot Learning
Few-Shot-Learning in Prompts zeigt dem Modell einige praktische Probleme und Lösungen, bevor es mit der eigentlichen Arbeit beginnt:
- Standardfälle: Füge einige Beispiele ein, wie das Modell Eingaben auf Ausgaben abbilden soll
- Sonderfälle: Zeige dem Modell, wie es auf Randgruppen oder Ausreißer antworten soll. Wie soll es antworten, wenn Daten fehlen, wenn Off-Topic-Fragen gestellt werden oder wenn ein Nutzer ausbricht.
Kette des Denkens
Wenn wir das Modell dazu zwingen, laut nachzudenken und vor der Endantwort einige Überlegungen und Begründungen anzustellen, werden die Ergebnisse besser.
Hierbei unterscheidet sich unser KI-System nicht groß von Sechstklässlern, die Matheprobleme lösen. Oder, sagen wir, von Menschen im Allgemeinen.
Übrigens nicht meine Idee, sondern die des Google Brain Teams.
Um das Denken vom Ergebnis zu trennen, verwende erneut JSON in der Ausgabe.
Prompt-Vorlagen
Wenn du KI-Anwendungen entwickelst, wirst du fast nie einen konstanten Prompt verwenden.
Du wirst stattdessen eine Vorlage verwenden, die Variable enthält, die je nach Situation gesetzt werden: Spezifische Benutzerfragen, Dokumentenausschnitte, API-Ausgaben, die aktuelle Uhrzeit, Inhalte aus dem Internet usw.
In jedem Schritt oder jeder Aufrufen der Vorlage werden die Variablen dann durch tatsächlichen Inhalt ersetzt.
RAG – Retrieval-gestützte Generierung
RAG ist vielleicht die wichtigste Technik, die in den letzten zwei Jahren auf dem Gebiet der LLM entwickelt wurde. Diese Technik ermöglicht es LLMs, auf deine Daten oder Dokumente zuzugreifen, um eine Frage zu beantworten – und so Einschränkungen wie den Wissensabbruch in den Vortrainingsdaten zu überwinden. RAG ermöglicht es uns, auf eine extrem breite Datenbasis zurückzugreifen, die Megabytes und Gigabytes an Daten umfasst, was zu umfassenderen und aktuelleren Antworten der LLMs führt.
Formatierung und Trennzeichen
Modelle lesen deinen Prompt nicht zweimal.
Entweder sie verstehen auf Anhieb, welchen Zweck ein Informationselement erfüllt – ist es ein Beispiel, eine Anweisung oder Kontextinformation?
Oder sie tun es nicht. Dann wird ihre Antwort wahrscheinlich falsch sein.
Stelle also sicher, dass das Modell die Struktur deines Prompts erfassen kann. Anders als die privilegierten Autoren von Medium-Geschichten bist du auf Zeichen beschränkt; du kannst keine grafischen Hervorhebungen wie Überschriften, Fettdruck oder Kursivschrift verwenden. Mache bei der Strukturierung der einzelnen Abschnitte Freunde mit Rautenzeichen, Anführungszeichen und Zeilenumbrüchen.
Die Teile zusammenfügen
Hier ist ein praxisnahes Beispiel, wie du alles zusammensetzen kannst. Ich verwende die Komponenten eines Prompts und die oben besprochenen Trennzeichen, um dem Prompt eine Struktur zu geben. Beginne mit der Kerninstruktion, dann Beispiele, Daten, dem Ausgabeformat und schließlich der Interaktionshistorie.
Und ja, Prompts mit Beispielen und Kontextinformationen können durchaus lang werden. Deshalb öffnen die Modellanbieter immer größere Kontextfenster für eine einzelne Inferenz – in der KI-Terminologie die maximale Länge des Inputs für eine Beantwortung durch das Modell.
Der Mehrfach-Prompt-Ansatz
Wenn du eine komplexe Anwendung wie einen autonomen KI-Arbeiter, der Versicherungsansprüche bearbeitet, entwickelst, reicht oft ein einzelner Prompt nicht aus. Du könntest einen einzelnen Prompt erstellen, der einen Anspruch kategorisiert, den Versicherungsschutz prüft, die Kundenversicherungspolice berücksichtigt und den Erstattungswert berechnet.
Aber das ist nicht der beste Ansatz. Es ist sowohl einfacher als auch genauer, den Prompt in kleinere Einzelaufgaben-Prompts aufzuteilen und Ketten von Modellanfragen aufzubauen. Normalerweise kategorisierst du die Eingabedaten zuerst und wählst dann eine spezifische Kette aus, die die Daten mit Modellen und deterministischen Funktionen verarbeitet.
Liebe Mitglieder der Prompt-Magiergilde und Novizen, ich wünsche euch allen den größtmöglichen Erfolg für eure KI-Projekte und hoffe, dass ihr bei der Suche nach dem perfekten Prompt erfolgreich seid.
