Zentrum für interdisziplinäre Forschung
The Challenge of Knowledge in the Dark
English version below
Im November ging es am ZiF um verborgenes Wissen: Wissen, das zwar vorhanden, aber schwer oder gar nicht aufzufinden und nicht mit anderen Wissensbeständen verknüpft ist und deshalb, obwohl es gebraucht würde, keinen Weg in den wissenschaftlichen Diskurs und die Praxis findet.
Im Rahmen eines Dinner Talks, bei dem sich die am ZiF arbeitenden Gruppen den Kolleg*innen aus der Universität vorstellen, präsentierten die Ökologin Tina Heger (Berlin), die Wissenschaftsphilosophin Alkistis Elliott-Graves (Bielefeld) und die Biologin Léna Bureau (McGill University) die Arbeit der Gruppe „Evidenz und Theorie in der ÖkologieVom Einzelfall zur Generalisierung und von Korrelationen zu Kausalität“. Ein Teil ihres Vorhabens: Verborgenes Wissen für Ökologie, Naturschutz und Renaturierung zu finden, zu verknüpfen und ins Licht zu holen.
Ökosysteme stehen weltweit unter Druck, immer mehr Tier- und Pflanzenarten sterben aus oder sind bedroht. Die Ökologie als wissenschaftliche Disziplin soll das nötige Wissen liefern, um gegenzusteuern. Doch der Schritt von den Ergebnissen ökologischer Studien hin zu wirkungsvollen Maßnahmen ist groß. Zum einen, weil Ökosysteme komplex und sehr unterschiedlich sind. Man kann Erkenntnisse, die man in einem gewonnen hat, nicht einfach auf ein anderes übertragen. Die Ökologie ist voller Überraschungen, so Alkistis Elliott-Graves, die von einem kuriosen Fall von Räuber-Beute-Umkehr berichtete: Vor der Küste der südafrikanischen Marcus-Inseln versspeisten die dort in großer Zahl vorhandenen Wellhornschnecken Langusten, die Forscher*innen dort ansiedeln wollten. Gewöhnlich stehen die Schnecken auf deren Speisezettel.
Weitere Faktoren machen es schwierig, Wissen zur Entscheidungsunterstützung heranzuziehen. Sei es, dass es Fehler oder Einseitigkeiten enthält, dass Daten in unbrauchbaren Formaten vorliegen, dass Aussagen unverständlich formuliert sind oder einfach, dass Wissen verloren gegangen ist.
Zudem müsse man sich klar machen, dass die Ergebnisse vieler Studien nach wie vor nicht digital verfügbar sind, sondern ihr Dasein ausgedruckt und geheftet in Regalen und Schränken fristen, so die Forscherinnen. Dies gilt auch für Wissen, das außerhalb der Forschung etwa bei Behörden vorliegt. "Zu jedem Einkaufszentrum gibt es ein Gutachten, dass die Ökologie des Baugrundstücks beschreibt, doch oft sind sie nicht zugänglich“, erklärt Tina Heger, die die Forschungsgruppe leitet.
Weitere Schwierigkeiten wurden bereits früher im Artikel „Knowledge in the dark: scientific challenges and ways forward“ idenitifiziert : Mainstream-Forschung wird eher gefördert als Themen abseits der bekannten Wege, viele Ergebnisse sind nicht reproduzierbar, fachspezifischer Jargon macht Ergebnisse auch für Kolleg*innen aus anderen Disziplinen schwer zugänglich; Entscheidungen darüber, wozu geforscht wird, hängen auch von Karriereaussichten und Modethemen ab. So steigt zwar die Menge des Wissens stetig an, damit aber auch die Menge des verborgenen Wissens.
In Zeiten von KI-gestützter Suche nach Themen, Thesen und Publikationen, einschließlich der Möglichkeit, sich den Stand der Forschung automatisch zusammenfassen zu lassen, überrascht die Diagnose, dass nach wie vor viel Wissen in die Kategorie „verborgenes Wissen“ fällt und damit nicht zugänglich und damit auch nicht wirksam ist. Doch selbst wenn Texte digital verfügbar sind, heißt das nicht, dass die großen Sprachmodelle sie auch finden und auswerten können. „Wir experimentieren damit, stoßen aber immer wieder auf Halluzinationen und andere Fehler“, so Tina Heger. Im Grunde müssten die Forscher*innen ein solches KI-Modell für ihre Zwecke mit ihren Daten nachtrainieren, damit es von Nutzen sein kann. Aber selbst dann gilt: „Je spezifischer man fragt, so unsere Erfahrung, desto weniger hilfreich sind die Antworten der Bots.“ In jüngster Zeit kommt noch das Phänomen der degenerierenden Sprachmodele hinzu: Ja häufiger solche Programme mit Daten trainieren, die sie selbst oder andere KI-Modelle erzeugt haben, desto schlechter werden sie.
Vielversprechend erscheint den Forscher*innen der Gruppe hingegen die Idee, moderne Modelle des maschinellen Lernens mit Methoden zur Wissensrepräsentation und Kausalmodellen zusammenzubringen, da dies den Übergang von der reinen Mustererkennung zur Erfassung von kausalen Strukturen ermöglichen könnte. Damit wäre eine Grundlage geschaffen um von Einzelerkenntnisse zu generalisierbarem Wissen zu gelangen. Denn wie Elliot-Graves betont „Man kann nicht einfach davon ausgehen, dass Generalsierungen möglich sind, man muss das sorgfältig prüfen.“
Aber es geht nicht nur um technische Unterstützung: Das Wissen derjenigen, die in bestimmten Ökosystemen, Regionen und Orten leben und diese erfahren, die auf dem Land geboren und aufgewachsen sind und die kritische Veränderungen in ihrer Umwelt beobachten, findet oft nur schwer Eingang in den wissenschaftlichen Diskurs, erklärte Léna Bureau, die an der McGill University in Kanada zur Produktion und Verbreitung von Wissen im Bereich des ökologischen Naturschutzes forscht. Beim Dinner-Talk berichtete sie über ihre Arbeit in den Regionen Nunavut und Eeyou Istchee im kanadischen Subarktis- und Arktisgebiet. Ihr Ziel ist es, wissenschaftliches Wissen und das Expertenwissen indigener Gemeinschaften miteinander zu verflechten, um es Wissenschaftler*innen und lokalen Expert*innen zu ermöglichen, gemeinsam sinnvolle Projekte zur Überwachung der Tierwelt zu entwickeln.
Die Forscher*innen der ZiF-Gruppe sind sich sicher, dass es vieler unterschiedlicher Ansätze und Methoden bedarf, um möglichst viel Wissen ans Licht zu holen. Sie arbeiten noch bis Ende Februar am ZiF an einem Werkzeugkasten, der dies erleichtern soll.
The Research Group "Mapping Evidence to Theory in Ecology". (c) Universität Bielefeld
------------
On 12 November, the ZiF focused on knowledge in the dark. This signifies knowledge that exists but is difficult or impossible to find and not connected to other fields and therefore, although it is needed, does not find its way into scientific discourse.
As part of a dinner talk at which the groups working at the ZiF introduce themselves to colleagues from the university, ecologist Tina Heger (Berlin), philosopher of science Alkistis Elliott-Graves (Bielefeld University) and biologist Léna Bureau (McGIll University) presented the work of the group “Mapping Evidence to Theory in Ecology. Addressing the Challenges of Generalization and Causality”. One part of their project: To find dark knowledge for ecology and nature conservation and bring it into the light.
Ecosystems are under pressure worldwide, with more and more animal and species are becoming extinct or are under threat. Ecology as a scientific discipline should provide the necessary knowledge to take countermeasures. But the step from the results of ecological studies to effective measures is big. Firstly, because ecosystems are complex and very different. Knowledge gained in one cannot simply be transferred to another. Ecology is full of surprises, says Alkistis Elliott-Graves, who reported a curious case of predator-prey reversal: Off the coast of South Africa's Marcus Islands, large numbers of whelks were feeding on lobsters that researchers wanted to colonise. The snails are usually on their menu.
Other factors make it difficult to use knowledge to support decision-making. Be it that it contains errors or biases, that data is available only in unusable formats, that statements are formulated in an incomprehensible way or simply that knowledge has been lost.
It is also important to realise that the results of many studies are still not available digitally, but are instead printed out and filed away on shelves and in cupboards, according to the researchers. This also applies to knowledge that is available outside of research, for example from authorities. “For every shopping centre there is an expert report describing the ecology of the building site, but they are often not accessible”, explains Tina Heger, who heads the research group.
Further difficulties have already been identified earlier in the paper ‘Knowledge in the dark: scientific challenges and ways forward’: Often mainstream research is promoted rather than topics off the beaten track, many results are not reproducible, subject-specific jargon makes results difficult to access for colleagues from other disciplines; decisions about what to research also depend on career prospects and fashionable topics. So, while the amount of knowledge is constantly increasing, the amount of dark knowledge is also growing.
In times of AI-supported searches for topics, theses and publications, including the possibility of having the state of research automatically summarised, the diagnosis that a lot of knowledge still falls into the category of ‘knowledge in the dark’ is surprising. And even if texts are available digitally, this does not mean that the large language models can also find and analyse them. ‘We are experimenting with this, but we keep coming across hallucinations and other errors,’ says Tina Heger. Basically, the researchers would have to retrain such an AI model for their purposes with their data in order for it to be useful. But even then: ‘In our experience, the more specific the questions, the less helpful the answers of the language models are.’ Recently, there has also been the phenomenon of degenerating language models: the more often such programmes are trained with data that they themselves or other AI models have generated, the more they decline.
However, the researchers in the group believe that the idea of combining modern machine learning models with methods for knowledge representation and causal models is promising, as this could enable the transition from pure pattern recognition to the capture of causal structures. This would create a basis for moving from individual findings to generalisable knowledge. As Elliot-Graves emphasises, ‘You can't just assume that generalisations are possible, you have to test them carefully’.
But it's not just about technical support: The knowledge of those who live in and experience certain ecosystems, regions and places, who were born and raised on the land and who observe critical changes in their environment, is not easily integrated into scientific discourse, explained Léna Bureau, who researches the production and dissemination of knowledge in the field of ecological nature conservation at McGill University in Canada. At the dinner talk, she reported on her work in the Nunavut and Eeyou Istchee regions in the Canadian sub-Arctic and Arctic. Her aim is to combine scientific knowledge and the expertise of indigenous communities to enable scientists and local experts to jointly develop meaningful wildlife monitoring projects.
The researchers in the ZiF group are certain that many different approaches and methods are needed to bring as much knowledge as possible to light. They are still working on a toolbox at the ZiF until the end of February to make this easier.