Frag BIKI

Die heute online gegangene Version von BIKI hat zwei Neuerungen mitgebracht:

Qwen 3 Coder als Nachfolgemodell von Codestral

Im Katalog der in BIKI verfügbaren Sprachmodelle haben wir Qwen 3 Coder aufgenommen. Die genaue Bezeichnung, die der Hersteller Alibaba dem Modell gegeben hat, ist Qwen3-Coder-30B-A3B-Instruct. In der Github Seite zum Modell finden sich dazu zahlreiche Detailinformationen.

Dieses Sprachmodell verspricht besondere Optimierungen für den Einsatz in der Softwareentwicklung und nach ersten Tests funktioniert es schnell und generiert auch Antworten in deutscher Sprache fehlerfrei. Betrieben wird dieses Modell für uns wieder bei der GWDG in Göttingen.

Wir haben dafür das Modell Codestral 22B entfernt, welches von der GWDG abgekündigt wurde.

Fehlermeldungen bei zu langen Antwortzeiten

Eine Detailverbesserung in BIKI ist der Umgang mit den leider hin und wieder vorkommenden Fälle, bei denen die Antwortzeiten der Sprachmodelle so lang sind, dass in der Zwischenzeit die Verbindung abbricht. Dies geschieht nicht oft, aber gerade bei der Nutzung von Reasoning Modellen und ihren manchmal langen 'Nachdenkphasen' kommt es leider hin und wieder dazu. Die neue Fehlermeldung soll klarer machen, was hier genau passiert ist:

Leider gibt es keine uns bekannte, generelle Lösung dafür. Es gibt offenbar Phasen, in denen bei OpenAI als Betreiber der ChatGPT Modelle die Leistung sinkt und Antworten daher länger brauchen. Darauf deutet es hin, wenn ein erneuter Versuch dann funktioniert. Manchmal sind die Aufgaben aber offenbar generell zu komplex, als das eine Antwort innerhalb der maximal möglichen Zeitspanne erfolgen kann. Hier kann man zunächst versuchen das Sprachmodell zu wechseln, z. B. sind die 'Mini'-Modelle generell schneller. Schließlich bleibt noch die Option das Prompt zu ändern und z. B. die Aufgabe in Teilaufgaben zu unterteilen, die schneller bearbeitet werden können.

Update

Um das Problem der zu langen Antwortzeiten in weniger Fällen auszulösen haben wir die BIKI Programmierung verändert, hier werden nun auch deutlich längere Wartezeiten toleriert. Es ist allerdings aus technischen Gründen nicht möglich diese Wartezeiten beliebig lang werden zu lassen. Zusätzlich werden bald Informationen darüber erfasst, wie das Antwortverhalten der Sprachmodelle ist, damit wir so weitere Hinweise für die Systemkonfiguration erhalten.