Dieses Blog wird nicht weiter betrieben. Nachrichten zu BASE finden Sie ab sofort im Weblog der Universitätsbibliothek ub.aktuell

Die wissenschaftliche Suchmaschine BASE durchsucht das wissenschaftliche Web jetzt so umfangreich wie nie zuvor!

Seit kurzem enthält BASE über 200 Millionen Nachweise aus über 8.000 Quellen. Die Folgende Grafik zeigt den Zuwachs bei den indexierten Nachweisen und Quellen seit 2012.

Einen großen Anteil an dieser Steigerung hat die Indexierung wissenschaftlicher Publikationen aus Verlagen über die Crossref-Plattform. In unserer Quellenliste sind diese Quellen durch den Zusatz "via Crossref" gekennzeichnet. Ein verbesserter Workflow ermöglicht uns die schnellere Integration größerer Datenmengen. Die Verwendung der API-Schnittstelle von Unpaywall erlaubt es uns zudem mehr Dokumente als bisher mit dem Open-Access-Status zu versehen.

Trotz der großen Anzahl der indexierten Dokumente werden wie bisher auch Quellen und Dokumente ausgefiltert, wenn diese auf Grund technischer Probleme nicht erreichbar sind. Eine quellenübergreifende Dublettenkontrolle findet in BASE nicht statt, wir arbeiten jedoch weiterhin an diesem Thema. Es stellt sich bei der extremen Heterogenität der Daten als äußerst komplexes Thema heraus.

Ein Aspekt, der weitestgehend hinter den Kulissen abläuft, soll an dieser Stelle nicht unerwähnt bleiben: Wir konnten bereits Hunderte von Quellenbetreibern auf Probleme in ihrer OAI-Schnittstelle hinweisen. Diese werden in den allermeisten Fällen von den Quellenbetreibern zeitnah behoben, so dass die OAI-Schnittstellen funktionieren und korrekte Metadaten ausliefern. Davon profitieren neben BASE auch zahlreiche andere Dienste, die Inhalte via OAI indexieren.

Deutlich ausgebaut haben wir daher auch unsere Goldenen Regeln für Quellenbetreiber. Hier erklären wir detailliert, wie die Metadaten einer Quelle optimal bereit gestellt werden sollten, damit sie von BASE - aber natürlich auch von anderen Diensten, ohne Probleme indexiert werden können.

Wie bisher können die Inhalte über verschiedene Schnittstellen nachgenutzt werden. Hunderte Betreiber von Datenbanken, Suchmaschinen und Portalen aus aller Welt machen davon bereits Gebrauch.

Seit kurzem sind über unsere wissenschaftlichen Suchmaschine BASE mehr als 150 Millionen Dokumente aus über 7000 Quellen zu finden. BASE ist damit - hinter den wissenschaftlichen Suchdiensten von Google und Microsoft - die größte wissenschaftliche Suchmaschine weltweit und die größte nicht-kommerzielle Suchmaschinen ihrer Art.

In letzter Zeit sind zudem einige Funktionen hinzugekommen.

Mitte 2018 haben wir BASE auf ein neues, responsives Design umgestellt. Die Darstellung der Webseiten passt sich jetzt immer dem jeweiligen Endgerät an. Auf allen Endgeräten sind alle Funktionen von BASE voll nutzbar.

Die mehrsprachige Suche wurde umgestellt und erweitert. Mit Hilfe dieser Funktionen werden Suchbegriffe in mehr als 25 übersetzt und so ganz einfach auch fremdsprachige Dokumente gefunden. Neu hinzugekommen ist neben dem Eurovoc-Thesaurus jetzt auch der Agrovoc Thesaurus. Aktivieren können Sie die mehrsprachige Suche über die gleichnamige Funktion in der erweiterten Suche oder in der Suchmaske auf der Trefferliste. Die zusätzliche Suche nach (übersetzten) Synonymen wird nicht mehr angeboten, da diese häufig ungenaue Ergebnisse und zu große Treffermengen brachte.

Verbessert wurde auch unser Formular zum Vorschlagen neuer Quellen. Beim Absenden des Formulars wird nun geprüft, ob die Quelle bereits von uns indexiert oder zur Indexierung vorbereitet wurde. Ist dies der Fall erhalten Sie sofort eine Rückmeldung und können die indexierten Dokumente aus der vorgeschlagenen Quelle direkt aufrufen.

Erweitert und aktualisiert haben wir auch unsere Info- und Hilfeseiten - so die Suchhilfe, die FAQ und die Goldenen Regeln für Quellenbetreiber. Wenn Sie Fragen zur Suchmaschine haben finden Sie dort die passenden Antworten.

In einer Trefferliste in BASE finden Sie neben jedem Autorennamen jetzt den Link claim.

Wenn Sie selbst der Autor der Publikation sind, können Sie hier Ihre Autorenschaft bestätigen und z.B. die Publikation mit Ihrer ORCID iD verknüpfen und auch die Metadaten (Autor, Titel, Erscheinungsjahr etc.) in Ihre Publikationsliste bei ORCID übernehmen.

Hierfür müssen Sie sich einmalig in unserer Suchmaschine registrieren und eine ORCID iD besitzen. Sollten Sie noch kein persönliches Login / keine ORCID iD aben, können Sie nach Klick auf "claim" ein persönliches Login in BASE einrichten bzw. sich bei ORCID kostenlos registrieren. Nach der Registrierung erhalten Sie bei ORCID eine ID, die eine eindeutige Identifizierung Ihrer Publikationen ermöglicht (auch bei Namensgleichheit mit einer anderen Person, Varianten in der Schreibung Ihres Namens oder Namensänderungen). Sie können die Metadaten der Publikation (Autor, Titel, Erscheinungsjahr etc.) auch direkt in Ihre Publikationsliste bei ORCID übernehmen. Nach dem "claiming" erscheint in BASE hinter Ihrem Autorennamen ein Icon ("ID") mit einem Link auf Ihr Profil bei ORCID.

Die Anreicherung von Autoren-Informationen in BASE um ORCID-iDs wurde im Kontext des Projekts ORCID DE implementiert, an dem u.a. die Universitätsbibliothek Bielefeld als Betreiber der Suchmaschine BASE beteiligt ist. Präsentation BASE-ORCID-Claiming-Service.

Die Vorgehensweise wird in den folgenden Screenshots verdeutlicht, die Sie per Klick vergrößern können.

Unsere wissenschaftlichen Suchmaschine BASE hat einen wichtigen
Meilenstein erreicht: Die Metadaten von über 100 Millionen
wissenschaftlichen Dokumenten können über BASE durchsucht werden. BASE
ist damit - nach Google Scholar - die größte wissenschaftliche
Suchmaschine weltweit. BASE ist zudem eine der größten europäischen
Suchmaschinen überhaupt.

Ausgebaut und verfeinert haben wir in letzter Zeit vor allem die
Erkennung von Open-Access-Dokumenten und die Zuordnung zu Dokumentarten.
Sie können nun z.B. in der erweiterten Suche gezielt nur nach
Zeitschriftenaufsätzen, Buchkapiteln oder Vorträgen suchen. Hierbei
kommen von uns intellektuell erstellte Tabellen zum Einsatz, über die
die heterogenen Angaben aus den Originaldaten dem jeweiligen Oberbegriff
zuordnet werden. Als Vorlage hierfür diente uns das Vokabular, welches
im EU-Projekt OpenAIRE verwendet wird, an dem die
Universitätsbibliothek Bielefeld beteiligt ist.

Knapp 40% der indexierten Nachweise konnten wir inzwischen eindeutig als
Open Access kennzeichnen. Darüber hinaus sind weitere Nachweise frei
zugänglich, die aber teilweise wegen unzureichender Metadaten (noch)
nicht in BASE als OA gekennzeichnet werden konnten. Etwa 60% der
indexierten Nachweise in BASE sind nach Stichproben weltweit frei
zugänglich.

Ein größeres Projekt, an dem wir derzeit arbeiten, ist die Anreicherung
der Autorennamen um ORCID-iDs im Rahmen des Projektes ORCID DE.
Geplant ist auch die Einbindung eines ORCID-Claiming-Dienstes, so dass
Autoren selbst ihre Metadaten in BASE um ORCID-iDs ergänzen können und
in ihre ORCID-Publikationsliste exportieren können.

Für Repository-Betreiber haben wir Goldene Regeln zusammengestellt,
die dabei helfen, die eigene OAI-Schnittstelle (nicht nur) für die
Indexierung in BASE zu optimieren.

Nachweise aus BASE sind über Schnittstellen inzwischen in zahlreichen
anderen Suchmaschinen und Portalen in aller Welt integriert. Die
HTTP-Schnittstelle und OAI-Schnittstelle können für nicht-kommerzielle
Projekte kostenlos nachgenutzt werden. Über unsere Schnittstellen
und die BASE-Suchmaske erfolgen inzwischen mehrere Millionen Zugriffe im
Monat. Der von der Universitätsbibliothek Bielefeld aufgebaute Index
trägt so zu einer weltweiten Sichtbarmachung von Open-Access-Nachweisen bei.

Wichtige Fragen (und deren Antworten) zu BASE haben wir in unserer FAQ zusammengestellt.

Mehr als 80 Millionen Dokumente aus über 3.800 Quellen sind in unserer Suchmaschine BASE mittlerweile indexiert. Eine Vereinbarung
zwischen EBSCO und der Universität
Bielefeld erlaubt die Nutzung der BASE-Datenservices für den EBSCO Discovery Service (EDS). Damit haben mehrere hundert wissenschaftliche Bibliotheken die Möglichkeit, Metadaten der weltweiten Repository-Community in ihren EDS-Installationen sichtbar zu machen.

Wir freuen uns, dass diese Partnerschaft die Verbreitung und Nutzung insbesondere von Open-Access-Inhalten der Repositorien verstärkt.

Zur Pressmitteilung:

https://www.ebsco.com/e/de-de/nachrichten-center/pressemitteilungen-in-deutscher-sprache/inhalte-aus-der-suchmaschine-base-von-der-universitaet-bielefeld-jetzt-such

Vor genau 10 Jahren, am 24.6.2004, ging unsere wissenschaftliche Suchmaschine BASE online.

BASE umfasst mittlerweile über 60 Mio. Dokumente aus über 3000 Quellen und ist eine der größten wissenschaftlichen Suchmaschinen weltweit. Etwa 70% der Dokumente sind frei im Sinne des Open Access zugänglich. Von den restlichen Dokumenten stehen die Metadaten zur Verfügung.

Ein Rückblick

Die Ursprünge unserer Suchmaschine BASE liegen im Jahr 2001. Eine viel beachtete wissenschaftlichen Studie zeigte bereits damals, dass Wissenschaftler und Studierende zur Informationsrecherche vorwiegend Internet-Suchmaschinen benutzten. Fachdatenbanken mit ihren oftmals komplizierten Suchmasken und Trefferlisten wurden deutlich seltener genutzt. Die Bibliothek entwickelte daraufhin im Januar 2002 ein erstes Konzept für eine "Universelle Wissenschaftssuchmaschine". Das Ziel war es von Anfang an die einfache Bedienung von Suchmaschinen in die wissenschaftliche Welt zu übertragen, um die Recherche nach qualitativ hochwertigen Dokumenten zu erleichtern.

Grundsätzlich gelangen die Inhalte dabei auf zwei verschiedenen Wegen in die Datenbank:

• Repository-Server, die ihre Inhalte (bibliographische Metadaten) in strukturierter Form über das "Open Archives Initiative Protocol for Metadata Harvesting" (OAI-PMH) bereitstellen werden geharvested, d.h. die über eine OAI-Schnittstelle bereitgestellten Daten werden eingesammelt, anschließend werden sie von uns normalisiert (z.B. Jahreszahlen vereinheitlicht), kleinere Fehler in den Metadaten werden mit Hilfe verschiedener Skripte bereinigt und die so "verbesserten" Daten anschließend indexiert.


• Außerdem werden ausgewählte Webquellen indexiert, wobei ähnliche Techniken wie bei Internetsuchmaschinen wie Google eingesetzt werden

Darüber hinaus haben wir über 1.000 weitere Quellen mit über 30 Millionen Dokumenten geharvested. Die auf diese Weise gesammelten Metadaten sind jedoch aus verschiedenen Gründen nicht für die anschließende Indexierung geeignet (Server ist zugriffsgeschützt, Metadaten stark fehlerhaft oder unvollständig, Server häufig offline, die Quelle besitzt keine frei zugänglichen Volltexte oder alle Inhalte sind bereits über eine andere Quelle indexiert). Solche Quellen werden von uns nach individueller Prüfung nicht indexiert, die Betreiber jedoch ggf. über aufgetretene Probleme informiert (teilweise werden diese auch vom Betreiber behoben und die Quelle kann von uns dann indexiert werden).

Seit dem Start von BASE sind nicht nur zahlreiche weitere Quellen und Dokumente indexiert worden, sondern es kamen auch viele neue Funktionen, neue Suchmöglichkeiten und neue Schnittstellen hinzu, über die wir auch hier im Blog kontinuierlich berichtet haben. Etwa 10 Mio. Dokumente sind mit einer DDC versehen und können über das Browsing gefunden werden. Der größte Teil der Dokumente wird dabei automatisch mit einer DDC klassifiziert. Voraussetzung ist, dass ein ausreichend langes Abstract in deutscher oder englischer Sprache zur Verfügung steht. Außerdem gibt es ein Browsing nach Dokumentart.

BASE ist nicht nur unter der Originaloberfläche - www.base-search.net - absuchbar, sondern auch in zahlreichen Metasuchmaschinen, Datenbanken und Kataloge eingebunden. Spezielle "Fachausschnitte" aus BASE sind z.B. über EconBiz (Virtuelle Fachbibliothek Wirtschaftswissenschaften) und den High North Research Documents (Universität Tromsö) suchbar.

Ein Ausblick

Neben dem kontinuierlichen Aufwand für die ständige Pflege und Kontrolle der bereits indexierten Inhalte stehen auf der Agenda einige Punkte für die zukünftige Entwicklung unserer Suchmaschine:

• Bisher beschränken wir uns bei der Indexierung strukturierte Metadaten auf OAI-PMH. Zwar bieten sehr viele Repositorien und E-Journals eine solche Schnittstelle an, es gibt jedoch auch weitere Schnittstellen, über die z.T. noch mehr bibliographischen Daten angeboten werden. Hier ermitteln wir derzeit eine Quelle für praktische Tests.


• Die Kennzeichnung von Open-Access-Dokumenten auf Dokumentebene soll ausgebaut werden. Die Auszeichnung wird von den Betreibern selbst allerdings nicht immer vorgenommen und auch das OAI-Protokoll bietet nur unzureichende Möglichkeiten, die Zugänglichkeit eines Volltextes eindeutig zu kennzeichnen. Momentan können daher nur gut 20% der indexieren Dokumente zweifelsfrei als Open Access von uns gekennzeichnet werden, auch wenn die tatsächliche Quote der frei zugänglichen Dokumente, die in BASE zu finden sind, bei ca. 70% liegt.


• Auch die Integration von Funktionen, wie man sie aus dem Umfeld von Google Scholar kennt, z.B. die Zusammenführung von Dubletten / mehreren Versionen eines Artikels oder die Anzeige von Zitaten, steht auf unserer Agenda. Beides ist allerdings nur mit großem Aufwand zu realisieren.

Ein paar Zahlen

Die 10 größten Quellen:

• CiteSeerX 3.353.358 Dokumente
  
• DataCite Metadata Store (TIB Hannover) 3.160.121
• PubMed Central (PMC) 3.113.557
• HighWire Press (Stanford University) 2.342.511
• Gallica - bibliothèque numérique de la Bibliothèque nationale de France (BnF) 2.172.104
• Directory of Open Access Journals: DOAJ Articles 1.597.202
• University of Michigan: Digital Library Production Service (DLPS) 1.208.765
• RePEc: Research Papers in Economics 1.114.209
• Hathi Trust Digital Library 964.755
• ArXiv.org (Cornell University Library) 940.537

Länder mit über 100 Quellen im Index:

• USA 629 Quellen
• Deutschland 247
• Großbritannien 186
• Brasilien 167
• Spanien 161
• Japan 149
• Italien 108

Länder mit über 1 Mio. Dokumente im Index:

• USA 24.643.988 Dokumente
  
• Deutschland 6.228.448
• Frankreich 3.973.813
• Spanien 2.850.617
• Großbritannien 2.632.363
• Australien 1.912.267
• Taiwan 1.384.966
• Polen 1.338.866
• Schweiz 1.272.013
• Japan 1.205.641
• Niederlande 1.055.150
• Brasilien 1.047.417

Weitere Zahlen und Statistiken

In Kürze feiert unsere Suchmaschine BASE ihr 10-jähriges Bestehen. Was im Juni 2004 mit der Indexierung einiger Hunderttausend Dokumente aus einem Dutzend Quellen begann, ist inzwischen auf über 60 Millionen Dokumente aus über 3000 Quellen angewachsen. Die Metadaten (Autor, Titel, Erscheinungsjahr usw.) der Dokumente können weltweit frei durchsucht werden, die Volltexte sind in ca. 70% der Fälle frei zugänglich.

Mittlerweile sind Quellen aus 94 Ländern im BASE-Index zu finden, ein Zeichen für den weltweiten Erfolg "Open-Archives"-Initiative und des dazu gehörigen OAI-PMH-Protokolls. BASE indexiert vorwiegend Dokumente aus Quellen, die über ein solches Protokoll verfügen und ihre Metadaten in strukturierte Form über OAI-PMH zur Verfügung stellen.

Alleine aus Deutschland können 246 Quellen mit über 6 Millionen Dokumenten über BASE DE durchsucht werden. Damit ist BASE eine der weltweit größten Suchmaschinen für wissenschaftliche Dokumente, insbesondere im deutschsprachigen Bereich. Neben dem umfangreichen Index bietet BASE auch zahlreiche Möglichkeiten gezielt zu suchen und das Ergebnis auch gezielt einzuschränken. Hier ein Beispiel aus einer Trefferliste (klicken zum vergrößern):

Weitere Informationen über unsere Suchmaschine BASE finden Sie auch im öffentlichen Wiki der Universitätsbibliothek Bielefeld oder in unserer BASE-FAQ.

Das an der Pennsylvania State University betriebene Repository CiteSeerX ist eine der wichtigsten Quellen für Open-Acces-Dokumente aus den Bereichen Informatik und Informationswissenschaft. In Kommunikation zwischen unserem Senior Developer, Bernd Fehling, und Verantwortlichen bei CiteSeerX konnte vor Kurzem die OAI-PMH-Schnittstelle so verbessert werden, dass das Harvesten des gesamten Repositories jetzt ohne Probleme möglich ist. Damit ist CiteSeerX noch vor PubMed Central das weltweit größte Repository für Open-Access-Dokumente in BASE, wobei selbstverständlich auch andere OAI-Service-Provider von der mit BASE-Hilfe verbesserten OAI-Schnittstelle bei CiteSeerX profitieren können. Die von BASE gegebenen Rückmeldungen an OAI-Data-Provider haben schon in vielen Fällen zu verbesserten Schnittstellen auf Seiten der Repositories geführt und machen einen nicht unerheblichen Anteil unserer Arbeit für die Open-Access-Community aus.

BASE (www.base-search.net) ermöglicht eine Suche nach über 50 Millionen Dokumenten, deren Metadaten von rund 2.700 Dokumentenservern (Repositories) wissenschaftlicher Institutionen weltweit bereit gestellt werden. Damit ist BASE eine der größten Suchmaschinen für wissenschaftliche, frei im Internet verfügbare Dokumente. Alleine in diesem Jahr wuchs der Index um rund 10 Millionen Einträge.

Dazu passt auch das Ergebnis einer Studie für die Europäische Kommission, die eine Trendwende für Open Access insofern feststellt, dass nun mehr als 50% aller in 2011 veröffentlichten wissenschaftlichen Publikationen frei zugänglich seien (http://europa.eu/rapid/press-release_IP-13-786_en.htm). Suchmaschinen  wie BASE sind ein wichtiges Hilfsmittel, frei zugängliche wissenschaftliche Publikationen im Internet zu finden, und zusammen mit den von den Hochschulen, Forschungsorganisationen und anderen wissenschaftlichen Institutionen betriebenen Repositories bildet sie einen wesentlichen Teil der Open-Access-Infrastruktur. Repositories beinhalten dabei längst nicht mehr nur Hochschulschriften (wie z.B. Dissertationen) oder Preprints, sondern zunehmend auch Forschungsdaten, digitalisierte Textsammlungen, oder E-Books. Gerade in den letztgenannten Bereichen gibt es derzeit ein dynamisches Wachstum, welches sich in den BASE-Zahlen widerspiegelt.

Sie haben jetzt die Möglichkeit, ein persönliches Profil in BASE einzurichten, um sich z.B. einzelne Treffer als "Favorit" abzuspeichern oder Suchanfragen zur Suchhistorie hinzuzufügen. Favoriten und Suchhistorie stehen Ihnen über Ihr persönliches Login dauerhaft zur Verfügung.

Ein Konto richten Sie auf der BASE-Website durch Klick auf "Anmelden" und anschließend "Neues Konto anlegen" ein. Wenn Sie eingeloggt sind, erscheint Ihr Login-Name oben rechts.

Demonstration einiger Funktionen (zum Vergrößern das Bild anklicken):

Treffer zu den Favoriten hinzufügen

Ihre gespeicherten Favoriten

Suche speichern

Gespeicherte Suche

Ihre Login-Daten werden selbstverständlich nur für den jeweiligen Zweck verwendet und nicht an Dritte weitergegeben. Sobald Sie Ihr Profil löschen, werden alle damit in Zusammenhang stehenden Daten auch aus unserem System gelöscht.

Die virtuelle Fachbibliothek Wirtschaftswissenschaften EconBiz hat rd. 50.000 wirtschaftswissenschaftlich relevante Datensätze aus BASE in ihren Katalog  eingebunden. Ziel von EconBiz ist es, den zentralen Einstiegspunkt für wirtschaftswissenschaftliche Fachinformation im Internet anzubieten; mit dem auf manueller und automatisch erzeugter Klassifikation (DDC 330) basierenden Fachausschnitt des BASE-Index konnte der Anteil von Open-Access-Content in EconBiz deutlich gesteigert werden.

Gestern konnte bei BASE die Grenze von 2000 Quellen überschritten werden. Erfasst sind dadurch inzwischen mehr als 31 Mill. Dokumente.
Damit ist der durch die Migration entstandene Überhang an vorbereiteten, aber noch nicht indexierten Dokumentenservern abgebaut.

BASE war in der letzten Woche auf der OAI7-Konferenz in Genf vertreten. Friedrich Summann leitete ein Tutorial zum Thema Metadata-Harvesting, Mathias Lösch präsentierte im Rahmen einer Poster-Session die inzwischen vielfältigen BASE-Services. Sein Poster verdeutlicht sehr schön die inzwischen erreichte Komplexität der Services rund um BASE sowie den Zusammenhang mit internationalen Projekten wie DRIVER und OpenAire.

Nach erfolgreicher Migration werden jetzt wieder verstärkt neue Quellen in BASE eingebunden. Seit dem Tag der Umstellung sind rund 60 neue Quellen hinzugekommen, weitere Quellen stehen noch aus. Die Gesamtzahl erhöht sich damit auf rd. 1.840 Quellen, das Directory of Open Archive Repositories (DOAR) verzeichnet aktuell rd. 1.960 Quellen. In DOAR sind jedoch eine Vielzahl von Dokumentenservern ohne OAI-Schnittstelle verzeichnet, so dass die BASE-Liste wahrscheinlich weltweit die derzeit vollständigste Liste aller Dokumentenserver mit OAI-Schnittstelle darstellt.