Der Kontext ist der Ausgabenposten, der am stärksten wächst, ohne dass es jemand entscheidet. Niemand genehmigt “zahlen wir das Dreifache”: Es wird ein Dokument in den Prompt gelegt, dann noch eines, und die Rechnung steigt. Jeder Kontext-Token wird bei jeder Anfrage berechnet, und genau das macht ein langes Fenster zum Kostenproblem.
Warum es teuer wird
Ein Modell erinnert sich zwischen zwei Anfragen an nichts. Alles, was es wissen soll —Anweisungen, Beispiele, Verlauf, Dokumente— reist bei jeder Anfrage erneut mit und wird erneut berechnet. Wenn Ihr Prompt 20.000 Kontext-Tokens trägt und Sie 50.000 Anfragen im Monat machen, zahlen Sie eine Milliarde Eingabe-Tokens allein für den Kontext, ganz gleich, was herauskommt.
Die drei typischen Lecks
| Leck | Was es verursacht | Wie man es behebt |
|---|---|---|
| Vollständiger Verlauf | Das ganze Gespräch wird in jedem Zug erneut gesendet | Alte Züge zusammenfassen, nur die jüngsten senden |
| Ganze Dokumente | Das komplette PDF wird “sicherheitshalber” angehängt | Nur die relevanten Abschnitte abrufen |
| Aufgeblähter System-Prompt | Anweisungen häufen sich an und werden nie gestutzt | Neu schreiben und messen, ob die Qualität fällt |
Abrufen statt anhängen
Die strukturelle Korrektur besteht darin, das Korpus nicht in den Prompt zu legen. Man indexiert die Dokumente, ruft die drei oder vier Abschnitte ab, die die Frage beantworten, und sendet nur diese. Die Qualität steigt meist —weniger Rauschen— und der Kontext sinkt um eine Größenordnung. Wir vertiefen das in RAG, Fine-Tuning und Kontext.
Was ruhig lang bleiben darf
Nicht jeder Schnitt ist gut. Stabile Anweisungen und die Beispiele, die das Format festlegen, sind teuer zu entfernen und günstig zu behalten, wenn Sie Prompt Caching nutzen: Der feste Block wird zwischengespeichert und zu einem Bruchteil berechnet. Die praktische Regel lautet: fester, gecachter Kontext oben, variabler und minimaler Kontext unten.
Machen Sie eine Zahl daraus
Bevor Sie irgendetwas umbauen, messen Sie. Geben Sie Ihre aktuellen Eingabe-Tokens und Ihr Volumen in den Token-Kostenrechner ein und vergleichen Sie dieselbe Arbeit mit halbem Kontext: Sie sehen die monatliche Differenz sofort. Und verfolgen Sie die Kosten pro Aufgabe vorher und nachher, um zu bestätigen, dass die Qualität nicht gelitten hat.
Häufige Fragen
Warum erhöht langer Kontext die Kosten so stark? Weil der Kontext bei jeder Anfrage gesendet und berechnet wird. Ein großer Prompt wird nicht einmal bezahlt, sondern so oft, wie Sie Anfragen stellen.
Wie viel Kontext ist zu viel? Es gibt keine absolute Zahl. Das Signal ist das Verhältnis: Wenn die Eingabe-Tokens die Ausgabe-Tokens weit übersteigen und ein guter Teil davon Dokumente oder Verlauf ist, haben Sie Spielraum.
Verschlechtert weniger Kontext die Antworten? Oft verbessert er sie, weil das Modell nicht mehr mit irrelevanter Information konkurriert. Was man nicht tun darf, ist kürzen, ohne Kosten pro Aufgabe und Qualität vorher und nachher zu messen.
Bei e-ficient messen wir die Kosten pro Aufgabe von Unternehmen, die KI bereits produktiv einsetzen, und sagen Ihnen, wie viel Sie mit jedem Hebel bei Ihrem realen Volumen sparen würden. Das erste Audit ist kostenfrei, wenn Sie einen Plan mit drei Monaten Laufzeit abschließen, und liefert innerhalb von 72 Stunden eine Diagnose.