Frag BIKI

Eine der wesentlichen Unterscheidungsmerkmale der in BIKI angebotenene Sprachmodelle ist die Größe des Kontextfensters. Was ist das Kontextfenster? Hier ein Ausschnitt aus unserer Hilfeseite:

Sprachmodelle können die Inhalte einer Konversation für folgende Fragen verwenden (sich diese Inhalte also 'merken') und bei der Generierung neuer Antworten nutzen. Allerdings ist dieses Gedächtnis nicht unbegrenzt. Die Größe des sogenannten Kontextfensters definiert, in welchem Umfang die vorherige Konversation berücksichtigt werden kann. Alle Inhalte einer Konversation, die nicht mehr in das Kontextfenster passen, sind faktisch 'vergessen' für das Sprachmodell. Die Größe wird dabei in sogn. Tokens festgelegt. 

Gerade bei der Verwendung von großen Dateien in BIKI, oder bei sehr umfangreichen und lange geführten Konversationen kann es passieren, dass die Größe des Kontextfensters des jeweiligen Modells erreicht wird. Bei Dateien kann das besonders störend wirken:

Sind sie zu groß, dann werden sie im Chat komplett ignoriert und es ist so, als habe man sie gar nicht eingefügt. Beim Hinzufügen von Dateien erscheint nun direkt ein Hinweis, wie viel Prozent des Kontextfensters sie belegen, und wenn sie gar nicht hineinpassen gibt es eine direkte Warnung. Auch bei der letzten Chatantwort einer Konversation wird gezeigt, wie viel Prozent des Kontextfensters sie bereits verwendet:

Wenn hier die 100% überschritten werden, dass ist das Sprachmodell nicht mehr in der Lage alle Inhalte der Konversation zu verarbeiten und es werden Teile des bisher geführten Gespächs 'vergessen'. In solchen Fällen kann es dann eine Option sein auf ein Modell mit einem größeren Kontextfenster zu wechseln.

Oder man beginnt eine neue Konversation. Denn große Konversationen erzeugen ggf. auch hohe Kosten. Die neue Anzeige unterstützt daher auch dabei die eigene Kontingentnutzung im Blick zu behalten.