BASE Weblog

Vor genau 10 Jahren, am 24.6.2004, ging unsere wissenschaftliche Suchmaschine BASE online.

BASE umfasst mittlerweile über 60 Mio. Dokumente aus über 3000 Quellen und ist eine der größten wissenschaftlichen Suchmaschinen weltweit. Etwa 70% der Dokumente sind frei im Sinne des Open Access zugänglich. Von den restlichen Dokumenten stehen die Metadaten zur Verfügung.

Ein Rückblick

Die Ursprünge unserer Suchmaschine BASE liegen im Jahr 2001. Eine viel beachtete wissenschaftlichen Studie zeigte bereits damals, dass Wissenschaftler und Studierende zur Informationsrecherche vorwiegend Internet-Suchmaschinen benutzten. Fachdatenbanken mit ihren oftmals komplizierten Suchmasken und Trefferlisten wurden deutlich seltener genutzt. Die Bibliothek entwickelte daraufhin im Januar 2002 ein erstes Konzept für eine "Universelle Wissenschaftssuchmaschine". Das Ziel war es von Anfang an die einfache Bedienung von Suchmaschinen in die wissenschaftliche Welt zu übertragen, um die Recherche nach qualitativ hochwertigen Dokumenten zu erleichtern.

Grundsätzlich gelangen die Inhalte dabei auf zwei verschiedenen Wegen in die Datenbank:

• Repository-Server, die ihre Inhalte (bibliographische Metadaten) in strukturierter Form über das "Open Archives Initiative Protocol for Metadata Harvesting" (OAI-PMH) bereitstellen werden geharvested, d.h. die über eine OAI-Schnittstelle bereitgestellten Daten werden eingesammelt, anschließend werden sie von uns normalisiert (z.B. Jahreszahlen vereinheitlicht), kleinere Fehler in den Metadaten werden mit Hilfe verschiedener Skripte bereinigt und die so "verbesserten" Daten anschließend indexiert.


• Außerdem werden ausgewählte Webquellen indexiert, wobei ähnliche Techniken wie bei Internetsuchmaschinen wie Google eingesetzt werden

Darüber hinaus haben wir über 1.000 weitere Quellen mit über 30 Millionen Dokumenten geharvested. Die auf diese Weise gesammelten Metadaten sind jedoch aus verschiedenen Gründen nicht für die anschließende Indexierung geeignet (Server ist zugriffsgeschützt, Metadaten stark fehlerhaft oder unvollständig, Server häufig offline, die Quelle besitzt keine frei zugänglichen Volltexte oder alle Inhalte sind bereits über eine andere Quelle indexiert). Solche Quellen werden von uns nach individueller Prüfung nicht indexiert, die Betreiber jedoch ggf. über aufgetretene Probleme informiert (teilweise werden diese auch vom Betreiber behoben und die Quelle kann von uns dann indexiert werden).

Seit dem Start von BASE sind nicht nur zahlreiche weitere Quellen und Dokumente indexiert worden, sondern es kamen auch viele neue Funktionen, neue Suchmöglichkeiten und neue Schnittstellen hinzu, über die wir auch hier im Blog kontinuierlich berichtet haben. Etwa 10 Mio. Dokumente sind mit einer DDC versehen und können über das Browsing gefunden werden. Der größte Teil der Dokumente wird dabei automatisch mit einer DDC klassifiziert. Voraussetzung ist, dass ein ausreichend langes Abstract in deutscher oder englischer Sprache zur Verfügung steht. Außerdem gibt es ein Browsing nach Dokumentart.

BASE ist nicht nur unter der Originaloberfläche - www.base-search.net - absuchbar, sondern auch in zahlreichen Metasuchmaschinen, Datenbanken und Kataloge eingebunden. Spezielle "Fachausschnitte" aus BASE sind z.B. über EconBiz (Virtuelle Fachbibliothek Wirtschaftswissenschaften) und den High North Research Documents (Universität Tromsö) suchbar.

Ein Ausblick

Neben dem kontinuierlichen Aufwand für die ständige Pflege und Kontrolle der bereits indexierten Inhalte stehen auf der Agenda einige Punkte für die zukünftige Entwicklung unserer Suchmaschine:

• Bisher beschränken wir uns bei der Indexierung strukturierte Metadaten auf OAI-PMH. Zwar bieten sehr viele Repositorien und E-Journals eine solche Schnittstelle an, es gibt jedoch auch weitere Schnittstellen, über die z.T. noch mehr bibliographischen Daten angeboten werden. Hier ermitteln wir derzeit eine Quelle für praktische Tests.


• Die Kennzeichnung von Open-Access-Dokumenten auf Dokumentebene soll ausgebaut werden. Die Auszeichnung wird von den Betreibern selbst allerdings nicht immer vorgenommen und auch das OAI-Protokoll bietet nur unzureichende Möglichkeiten, die Zugänglichkeit eines Volltextes eindeutig zu kennzeichnen. Momentan können daher nur gut 20% der indexieren Dokumente zweifelsfrei als Open Access von uns gekennzeichnet werden, auch wenn die tatsächliche Quote der frei zugänglichen Dokumente, die in BASE zu finden sind, bei ca. 70% liegt.


• Auch die Integration von Funktionen, wie man sie aus dem Umfeld von Google Scholar kennt, z.B. die Zusammenführung von Dubletten / mehreren Versionen eines Artikels oder die Anzeige von Zitaten, steht auf unserer Agenda. Beides ist allerdings nur mit großem Aufwand zu realisieren.

Ein paar Zahlen

Die 10 größten Quellen:

• CiteSeerX 3.353.358 Dokumente
  
• DataCite Metadata Store (TIB Hannover) 3.160.121
• PubMed Central (PMC) 3.113.557
• HighWire Press (Stanford University) 2.342.511
• Gallica - bibliothèque numérique de la Bibliothèque nationale de France (BnF) 2.172.104
• Directory of Open Access Journals: DOAJ Articles 1.597.202
• University of Michigan: Digital Library Production Service (DLPS) 1.208.765
• RePEc: Research Papers in Economics 1.114.209
• Hathi Trust Digital Library 964.755
• ArXiv.org (Cornell University Library) 940.537

Länder mit über 100 Quellen im Index:

• USA 629 Quellen
• Deutschland 247
• Großbritannien 186
• Brasilien 167
• Spanien 161
• Japan 149
• Italien 108

Länder mit über 1 Mio. Dokumente im Index:

• USA 24.643.988 Dokumente
  
• Deutschland 6.228.448
• Frankreich 3.973.813
• Spanien 2.850.617
• Großbritannien 2.632.363
• Australien 1.912.267
• Taiwan 1.384.966
• Polen 1.338.866
• Schweiz 1.272.013
• Japan 1.205.641
• Niederlande 1.055.150
• Brasilien 1.047.417

Weitere Zahlen und Statistiken