Prompt-Caching speichert den Kontextblock, der sich zwischen Anfragen wiederholt —Anweisungen, Beispiele, ein Basisdokument— und berechnet ihn einmal statt bei jeder Anfrage. Bei Lasten mit viel wiederholtem Kontext erreicht die Ersparnis auf diese Tokens 50-90 %. Es gehört zu den günstigsten Hebeln in der Umsetzung und rührt nicht an der Qualität der Antworten.
Es ist der zweite der 7 Hebel, um die OpenAI-Rechnung zu senken und einer mit dem besten Verhältnis von Ersparnis zu Aufwand.
Auf einen Blick
| Was zwischengespeichert wird | Der stabile Kontext: System-Prompt, Anweisungen, Beispiele, Basisdokumente |
| Typische Ersparnis | 50-90 % auf die zwischengespeicherten Tokens |
| Aufwand | Gering: den stabilen Block markieren und wiederverwenden |
| Wann es sich lohnt | Anfragen, die denselben langen Kontext wiederholen |
Wie es funktioniert
Die erste Anfrage verarbeitet den gesamten Kontext und legt ihn für ein kurzes Fenster im Cache ab. Folgende Anfragen, die mit demselben Block beginnen, zahlen die Verarbeitung dieses Teils nicht erneut: Sie verwenden das Zwischengespeicherte wieder und zahlen nur das Neue. Je größer und stabiler der wiederverwendete Block, desto mehr lohnt es sich.
Wie viel es wirklich spart
Die Ersparnis gilt nur für die zwischengespeicherten Tokens, nicht für die ganze Rechnung. Wenn Ihr System-Prompt und Ihre Beispiele 3.000 Tokens belegen und sich bei jeder Anfrage wiederholen, kosten diese 3.000 ab der zweiten Anfrage nur einen Bruchteil. Bei hohem Volumen ist es der Rabatt, der am schnellsten auffällt, ohne am Modell oder an der Ausgabe etwas zu ändern.
Wann es sich lohnt (und wann nicht)
Es lohnt sich, wenn sich derselbe Kontext zwischen Anfragen wiederholt: Assistenten mit langem System-Prompt, RAG mit festem Basisdokument, Massenklassifizierung mit vielen Beispielen. Es bringt nichts, wenn jede Anfrage einen anderen Kontext trägt, weil es nichts zum Wiederverwenden gibt.
Wie Sie es aktivieren
Trennen Sie das Stabile vom Veränderlichen: Setzen Sie den wiederkehrenden Block zuerst (Anweisungen, Beispiele, Dokument) und ans Ende, was sich bei jeder Anfrage ändert. So ist das cachefähige Präfix so lang wie möglich. Sehen Sie in der Dokumentation Ihres Anbieters nach, um den Block zu markieren; die Änderung dauert meist Minuten.
Beziffern Sie es
Bevor Sie etwas ändern, messen Sie, woher Ihre Ausgaben kommen. Tragen Sie Ihre Kontext-Tokens und Ihr Volumen in den Token-Kostenrechner ein und vergleichen Sie es mit dem, was Sie bei Wiederverwendung des stabilen Blocks zahlen würden: Sie sehen die monatliche Ersparnis, bevor Sie sie umsetzen. Das alles gehört zu den Kosten pro Aufgabe, die e-ficient misst.
Häufige Fragen
Wie viel spart Prompt-Caching? Bei den Kontext-Tokens, die sich zwischen Anfragen wiederholen, erreicht die Ersparnis 50-90 %. Je größer und stabiler der wiederverwendete Block, desto mehr lohnt es sich.
Beeinflusst es die Antwortqualität? Nein. Das Modell erhält genau denselben Kontext; nur die Berechnung der Verarbeitung des wiederholten Teils ändert sich.
Worin unterscheidet es sich von RAG? Caching verbilligt den Kontext, den Sie ohnehin senden; RAG reduziert, wie viel Kontext Sie senden müssen. Sie lassen sich gut kombinieren.
Bei e-ficient messen wir die Kosten pro Aufgabe von Unternehmen, die KI bereits produktiv einsetzen, und sagen Ihnen, wie viel Sie mit jedem Hebel bei Ihrem realen Volumen sparen würden. Das erste Audit ist kostenfrei, wenn Sie einen Plan mit drei Monaten Laufzeit abschließen, und liefert innerhalb von 72 Stunden eine Diagnose.