Frag BIKI

Vor einigen Wochen haben wir in BIKI das Modell ChatGPT 5.5 Pro eingebunden, Hintergrund waren Bedarfe aus der Forschung. Hier werden die leistungsfähigsten Modelle benötigt, um aktuelle Forschungsthemen weiter zu entwickeln. Nach den Rückmeldungen, die wir hier erhalten haben, funktioniert dies auch durchaus.

In BIKI mussten wir danach noch einige Änderungen machen, damit die teilweise extrem langen Wartezeiten - es gibt dokumentierte Fälle, bei denen die ersten Zeichen der Antwort erst nach fast 30 Minuten geliefert wurden - nicht zu Fehlern oder Abbrüchen führen und damit die sehr teuer bezahlten Ergebnisse nicht verloren gehen.

ChatGPT 5.5 Pro als enormer Kostentreiber

Bisher hatten wir den Zugriff auf dieses Modell nur über das generelle BIKI Kostenkontingent begrenzt, das Modell aber grundsätzlich für alle BIKI Nutzer*innen zugänglich gemacht. Das hat sich leider nicht bewährt und zwar aus mehreren Gründen:

• Aktuell werden bereits ca. 50% der monatlichen BIKI Kosten bei OpenAI durch Nutzungen dieses einen Modells verursacht
• Das hat fast zu einer Verdopplung der monatlichen Kosten geführt, ohne das die Menge der bedienten Anfragen an OpenAI Modelle bzw. der Umfang der gelieferten Antworten sich auch nur annähernd in gleicher Weise entwickelt hat
• Trotz der Hinweise auf die großen Kosten und die für fast alle KI-Anwendungen viel zu langsamen Antwortzeiten haben offenbar viele BIKI Nutzer*innen das Modell ausprobiert oder sogar zu ihrem Standardmodell gemacht, was so nicht erwartet wurde
• Da sich mit diesem Modell innerhalb weniger Chatanfragen das eigene BIKI Monatskontigent komplett verbrauchen lässt gab es Fälle, bei denen sich BIKI Nutzer*innen ungewollt von der Nutzung der OpenAI Modelle bis zum Monatsende ausgeschlossen haben

Insgesamt ist der Kosten-Nutzen-Effekt dieses Modells zu hoch, als das sich diese Kostenentwicklung rechtfertigen ließe. Vor diesem Hintergrund haben wir heute eine Änderung gemacht:

Neue Zugriffssteuerung für sehr teure Sprachmodelle

Seit heute steht das ChatGPT 5.5 Pro nur noch Personen zur Verfügung, die dafür explizit zugelassen sind. Das sind aktuell alle Mitarbeitenden, hier greift der in den BIS Anwendungen - z. B. im 'Meine Uni'-Portal - häufig verwendete Zielgruppenmechanismus, der letztlich auf den BIS Mailverteilern beruht. Wir werden jetzt die Kostenentwicklung in den kommenden Wochen beobachten und dann entscheiden, ob der Zugriff noch weiter eingeschränkt werden muss.