Frag BIKI

Gestern haben wir eine neue Version von BIKI online gebracht, die erste wichtige Schritte zur Verbesserung der Reaktionsgeschwindigkeit gebracht: Im Lauf der Zeit sind einige Datenstrukturen immer größer und die Zugriffe darauf langsamer geworden und das hat man in BIKI immer deutlicher gemerkt. Jetzt nutzt BIKI eine neue Struktur und der Unterschied beim Laden der Seiten ist spürbar 🚀 Die Arbeiten an der Performanceverbessung sind dabei noch nicht zu Ende und weitere Schritte werden folgen.

Ein erstes Werkzeug für BIKI: Suche im PEVZ

BIKI kann aber auch etwas Neues und hat sein erstes Werkzeug 🧰 bekommen! Werkzeuge oder Tools sind Funktionen, die ein Sprachmodell aufrufen kann wenn es zu dem Schluss kommt, dass es auf diese Weise fehlende Informationen erhalten kann. Man aktiviert diese Funktion über den Werkzeugkasten und kann dort heute die PEVZ Suche aktivieren:

Nun können die Sprachmodelle, die in der Lage sind Werkzeuge zu nutzen, PEVZ Suchen ausführen. Welche Modelle das können zeigt die Modellübersicht, heute sind dies GLM 5.3 Flash und die ChatGPT 6 Luna, Terra und Sol Modelle. Und mit dem PEVZ als Quelle für Informationen über die Uni kann BIKI plötzlich ganz anders antworten als bisher. Da unsere alte Testfrage 'Wie heißt die aktuelle Rektorin der Uni?' heute schon von den meisten Modellen auch aus den Trainingsdaten richtig beantwortet wird haben wir hier eine anspruchsvollere Variante versucht: 

Die Antwort gibt also nur nicht den richtigen Namen unserer Rektorin wieder, sondern findet auch die aktuellen Kontaktdaten aus dem PEVZ und bietet auch gleich einen Link an, über den sich das überprüfen lässt. Aber die KI macht noch mehr: Im Hintergrund hat sie hier die Assistenzen der Rektorin im PEVZ recherchiert und bietet alle Informationen als geschlossene Darstellung an. 

Grounding

Für den Zugriff von Sprachmodellen auf solche Werkzeuge gibt es den Begriff des Groundings bzw. der Faktenverankerung. Die KI ist hier also nicht mehr darauf angewiesen ausschließlich mit ihrem Trainingswissen zu arbeiten, sondern sie kann sich Fakten recherchieren und diese in ihren Antworten verwenden.

Allerdings lässt sich nicht fest einstellen, dass ein Sprachmodell ein bestimmtes Werkzeug verwendet. Die Aktivierung der Werkzeuge ist zunächst eine Option, die den Sprachmodellen angeboten wird. Hier gibt es Unterschiede von Sprachmodell zu Sprachmodell wann die Aktivierung ausgelöst wird. Es gibt daher bei den Antworten ebenfalls ein Werkzeugkastensymbol, welches gezeigt wird, wenn das Sprachmodell die PEVZ Suche verwendet hat:

Auch darin, wie kompetent ein Modell ist bei Begriffen, die sich nicht 1-zu-1 im PEVZ finden, durch die Suche nach alternativen Begriffen doch noch zu einem Ergebnis zu gelangen, gibt es teilweise deutliche Unterschiede. Bei den leistungsfähigeren Modellen ist es manchmal sehr überraschend zu sehen, wie kompetent sie darin sind aus dem PEVZ die gesuchten Informationen zu holen.

Warum wir die PEVZ Suche nicht generell aktiv schalten

Wenn die PEVZ Suche BIKI so viele spannende Möglichkeiten gibt könnte man sich fragen, warum man sie überhaupt anschalten muss? Das hat zwei Gründe:

Kosten

In dem Screenshot sieht man, dass allein die Frage nach der Erreichbarkeit der Rektorin schon mehr als 2.600 Tokens verbraucht hat. Ohne das PEVZ Tool wären hier Kosten von kaum 150 Tokens entstanden. Durch die Interaktionen des Sprachmodells mit dem PEVZ und der Verarbeitung der dabei erhaltenen Daten wächst der Tokenumsatz. Wir haben hier eine Begrenzung eingebaut, aber trotzdem sollte man gerade bei den teuren Modellen daran denken, dass der Werkzeugeinsatz Aufwände und damit Kosten verursacht.

Verlangsamung

Die Verwendung eines Werkzeugs braucht zusätzliche Schritte, denn der Ablauf ist ungefähr so:

1. Eine Anfrage wird an das Sprachmodell geschickt. Dabei werden dem Sprachmodell die Beschreibungen seiner Werkzeug mitgegeben
2. Das Sprachmodell entscheidet, dass es ein bestimmtes Werkzeug aufrufen möchte und gibt eine entsprechende Rückmeldung
3. Der BIKI Server ruft das Werkzeug auf und liefert die Ergebnisse wieder an das Sprachmodell aus
4. Die beiden vorherigen Schritte können mehrmals wiederholt werden, bis das Sprachmodell mit den Ergebnissen zufrieden oder die Grenze der erlaubten Zugriffe erreicht ist
5. Das Sprachmodell erzeugt seine finale Antwort unter Nutzung der Ergebnisse der Werkzeugaufrufe und liefert sie zurück

Bei einer Anfrage ohne Werkzeugaufruf gibt es nur den ersten und den letzten Schritt, ein Aufruf ohne Werkzeuge ist daher prinziell schneller. Aktuell sind die PEVZ Aufrufe aber nach unserem Eindruck so performant, dass man den Unterschied kaum merkt. Der Kostenpunkt ist daher nach unserer Einschätzung heute der relevantere, den man im Blick behalten sollte.

Das PEVZ Werkzeug wird nicht das letzte Werkzeug sein, welches BIKI bekommt. Generell lässt sich hier alles einbinden, was über Schnittstellen verfügt. Falls Sie eine spannende Idee für ein Werkzeug haben, welche auch für andere BIKI Nutzer*innen interessant sein könnte, geben Sie uns gern eine Rückmeldung!