Frag BIKI

Gestern ist eine neue Version von BIKI online gegangen, bei der intern wesentliche Änderungen vorgenommen wurden, die insbesondere die Nutzung der Sprachmodelle von OpenAI betreffen. Diese Änderungen verbessern das Verhalten von BIKI bei Anfragen, die sehr viel Zeit brauchen. Mit viel Zeit sind dabei Antwortzeiten gemeint, die viele Minuten dauern. Der Grund, warum wir diese Änderungen machen mussten, liegt im Angebot eines bestimmten Sprachmodells:

ChatGPT 5.5 PRO - langsam und SEHR teuer

Forschende haben uns speziell auf dieses Modell angesprochen, welches von OpenAI u. a. so für den Einsatz in der Forschung beworben wird:

"GPT‑5.5 zeigt auch bei wissenschaftlichen und technischen Forschungsabläufen Fortschritte, die mehr erfordern, als nur eine schwierige Frage zu beantworten. Forschende müssen eine Idee untersuchen, Belege sammeln, Annahmen überprüfen, Ergebnisse interpretieren und entscheiden, was sie als Nächstes ausprobieren sollen. GPT‑5.5 ist besser darin, diesen Zyklus konsistent zu durchlaufen, als andere Modelle."

Die Pro Version soll diese Versprechen durch umfangreichere Nachdenkphasen in noch größerem Maße einlösen. Diese Leistungsfähigkeit hat aber ihren Preis:

Dieses Modell 'denkt' teilweise extrem lange nach, so lange, dass wir hier eine kleine Animation in Form von fortschreitenden Punkten eingebaut haben, die deutlich macht, dass noch an der Antwort gearbeitet wird und die auch dafür sorgen soll, dass die Weboberfläche von BIKI nicht irgendwann das Warten aufgibt.

OpenAI berechnet uns dabei für diese langen Arbeitszeiten hohe Kosten, wir haben dieses Modell in der Auswahlliste daher ans Ende gesetzt und unter eine neue Kategorie, die verdeutlichen soll, dass dieses Modell NICHT generell als das neue Standardmodell dienen kann.

Neue Übersicht über die Kosten der Modelle

Um transparent zu machen, wie stark die Verwendung von ChatGPT 5.5 Pro sich im Kostenmodell von BIKI auswirkt, haben wir eine neue Liste der Sprachmodelle innerhalb von BIKI aufgebaut:

Diese Seite erreichen Sie über das ℹ️-Symbol neben der Modellauswahlliste. Hier sehen Sie in der letzten Spalte den relativen Faktor, der die bei Anfragen umgesetzten Tokens in den Kontingentverbrauch umrechnet. Hier wird bei ChatGPT 4o mini der Faktor 2 verwendet, während ChatGPT 5.5 Pro den Faktor 300 hat. Man kann also bei gleichem Tokeneinsatz von 150 mal höheren Kosten ausgehen. Es gibt bei den Modellen mit Reasoning Kapazität dabei noch einen versteckten Tokenverbrauch in Form von speziellen Reasoning Tokens. Dies kann zu einer weiteren Steigerung der Kosten führen.

Hinweise, wenn Sie ChatGPT 5.5 Pro nutzen wollen: Kostenkontrolle

Wie gesagt ist das Pro Modell nicht als Standardmodell gedacht und auch nicht für diesen Zweck geeignet. Beachten Sie bei der Verwendung diese Hinweise:

• Wenn Sie Gründe haben Pro zu nutzen, so sollten Sie sofort und regelmäßig einen Blick in Ihren aktuellen Verbrauchsstand werfen. Diesen sehen Sie in den Einstellungen. Mit Anfragen an die Pro Version kann es bei umfangreichen Antworten vorkommen, dass schon einige wenige Chats Ihr Kontingent weitgehend aufzehren!
• Verlassen Sie während einer laufenden Anfrage BIKI nicht, falls Sie nicht eine Fehlermeldung erhalten. Es ist normal, dass dieses Modell sehr lange arbeitet, bevor die ersten Rückmeldungen erscheinen
• Falls eine Antwort scheinbar nicht erscheint, verzichten Sie darauf diese immer wieder erneut zu stellen. Es kann vorkommen, dass die Antwort im Hintergrund doch abgeschlossen wird und später in ihrer Konversation sichtbar wird. Erneute Anfragen sorgen nur dafür, dass ein Vielfaches der Kosten entstehen kann

Nachdenkprozess nun bei weiteren Modellen sichtbar

Die Arbeiten, die wir in BIKI für die Anbindung von ChatGPT 5.5 Pro machen mussten, hatten noch einen Effekt:

Bei OpenAI Modellen, die zu Reasoning in der Lage sind, wird der Nachdenkprozess nun auch sichtbar. Wobei es etwas von der Frage und den eigenen Einstellungen abhängt, ob hier eine Anzeige erscheint.