Frag BIKI

Wir haben gelernt, dass BIKI sehr gut Texte erstellen und modifizieren kann. Doch wie gut eignet sich BIKI zur Faktenrecherche? Kann BIKI eine herkömmliche Suchmaschine ersetzen? Ein einfacher Test:

Wie heißt die aktuelle Rektorin der Uni?

BIKI antwortet (Stand Juli 2024):

Die aktuelle Rektorin der Universität Bielefeld ist Professorin Dr. Birgitt Riegraf. Sie hat das Amt seit dem 1. Oktober 2021 inne.

BIKI gibt hier also den Namen der Präsidentin der Uni Paderborn als Antwort. Man kann BIKI auffordern die Antwort zu korrigieren, z. B. durch die Eingabe von ‘Das stimmt nicht’. BIKI wird dann viele weitere Namen nennen, aber vermutlich nie den unserer wirklichen Rektorin Angelika Epple. Versuche Sie es selbst!

Warum weiß BIKI nicht, wer unsere Rektorin ist? Und warum gibt es das nicht zu?

Die Wissensgrenzen der großen Sprachmodelle

Es gibt mehrere mögliche Gründe, warum BIKI bei dieser Frage versagt:

1. Das notwendige Wissen ist zu neu: Sprachmodelle lernen nach dem Ende ihres Trainings nichts dazu und können damit im Gegensatz zu einer Suchmaschine, die permanent damit beschäftigt ist das Internet nach neuen Informationen zu durchforsten, grundsätzliche keine Informationen zu späteren Ereignissen haben
2. Das Wissen war niemals Teil der Trainingsdaten: Dies kann bei sehr speziellen Sachverhalten, zu denen sich vielleicht auch nicht viele Daten frei zugänglich im Internet finden, der Fall sein
3. Das Wissen ging beim Training verloren: Sprachmodelle werden mit riesigen Mengen an Daten trainiert. Aber ähnlich, wie die meisten Menschen etwas Gelerntes danach nicht 1-zu-1 wiedergeben können, ist es auch bei Sprachmodellen: Nur ein kleiner Teil der Trainingsdaten findet sich am Ende vollständig gespeichert im Sprachmodell wieder

Welcher der Gründe für BIKIs Fehler verantwortlich ist lässt sich nur schwer beurteilen. In diesem Fall ist es vielleicht der erste Grund, denn das hier verwendete ChatGPT 4o Sprachmodell wurde im Herbst 2023 trainiert, vielleicht zu früh um noch die Information über das neue Rektorat zu verarbeiten.

Halluzinationen in großen Sprachmodellen

Trotzdem bleibt die Frage, warum BIKI hier dann falsche Antworten gibt? Wenn Sie BIKI nach Ihrem Geburtstag fragen:

BIKI, wann habe ich Geburtstag?

wird die Antwort zum Beispiel diese sein:

BIKI:

Es tut mir leid, aber ich habe keine Informationen über dein Geburtsdatum. Wenn du möchtest, kannst du es mir mitteilen!

Leider kann man sich nicht darauf verlassen, dass BIKI an den Stellen, an denen Informationen fehlen, darauf hinweist. Für erfundene Antworten von Sprachmodellen hat sich der Begriff der Halluzination etabliert. Es gibt heute keinen bekannten Weg, wie das Problem der Halluzination mit völliger Sicherheit ausgeschlossen werden kann.

Daher ist immer mit inhaltlich falschen Antworten von BIKI zu rechnen und die Auskünfte sind mit entsprechender Vorsicht zu verwenden bzw. erst nach weiterer Recherche, zum Beispiel über eine klassische Suchmaschine.

Ist BIKI damit unbrauchbar für Recherchen?

BIKI kann durchaus nützlich sein für Recherchen, da auf Fragen bereits ausformulierte Antworten geliefert werden, während man bei der Nutzung einer Suchmaschine selbst solche Formulierungen erstellen muss. Gerade in Themenfeldern, in denen man selbst Kenntnisse hat und in denen einem Fehler in BIKIs Antworten daher auffallen werden kann dieser Rechercheweg sehr hilfreich sein. Je mehr Informationen es zu einem Sachverhalt im Internet gibt und je älter diese Informationen sind, desto besser werden BIKIs Antworten im Normalfall sein.   

Zusammengefasst

• Ein Sprachmodell verhält sich nicht wie eine Suchmaschine. Es speichert das Wissen, welches für sein Training verwendet wurde, nicht 1-zu-1 ab und kann daher nicht jeden Sachverhalt korrekt wiedergeben.
• Ein Sprachmodell wird auch nicht mehr aktueller und kann kein Wissen enthalten, welche erst nach seinem Trainingsende entstanden ist. In unserer Liste der in BIKI verfügbaren Sprachmodelle dokumentieren wir daher die Aktualität der Modelle.
• In solchen Fällen kann ein Sprachmodell statt dessen eine wahrscheinliche Antwort geben statt zu sagen 'Ich weiß es nicht'. Für das heute in BIKI verwendete Sprachmodell ist die Nennung der Präsidentin der Uni Paderborn offenbar wahrscheinlich genug als Antwort auf die Frage nach der Rektorin der Uni Bielefeld.

Weiter zu ... OFFEN