BASE Weblog

Mehr als 3500 Quellen im BASE-Index

BASE Weblog — Wed, 13 May 2015 16:17:03 +0200

Der Index unserer wissenschaftlichen Suchmaschine BASE wächst weiterhin stark. Mittlerweile haben wir mehr als 73 Mio. Dokumente aus über 3500 Quellen indexiert. Innerhalb eines Jahres wurden von uns mehr als 600 neue Quellen und insgesamt über 10 Mio. neue Dokumente indexiert.
Unsere Statistik veranschaulicht den stetigen Zuwachs an Dokumenten und Quellen:

Etwa 60% der Quellen, die innerhalb des letzten Jahres hinzugekommen sind, bieten ausschließlich Open-Access-Dokumente an. Als "Open Access" wird der weltweit freie Zugang zum Volltext (PDF) ohne Kosten, Login oder Registrierung bezeichnet. Die restlichen Quellen bieten zumindest teilweise Open-Access-Dokumente an, da dies eine Voraussetzung für die Aufnahme in den BASE-Index ist. Insgesamt sind 60-70% aller indexierten Dokumente in unserer Suchmaschine auf diese Weise frei zugänglich.

Als besonders umfangreiche Quellen sind im letzten Jahr hinzugekommen OpenEdition mit über 270.000 Open-Access-Dokumenten, die Publikationsserver der Aarhus Universitet (210.000 Dokumente), der State Library of Massachusetts (150.000), der RWTH Aachen (120.000), der Technical University of Denmark (120.000), des Karlsruher Institut für Technologie (100.000) oder die Images from the History of Medicine der U.S. National Library of Medicine (NLM) (70.000).

10 Quellen bietet mittlerweile über 1 Mio. Dokumente an, u.a. PubMed Central, CiteSeer, ArXiv.org, das Directory of Open Access Journals und DataCite.

Vollständige Liste der von BASE indexierten Quellen

Springer Open-Access-Artikel in BASE

BASE Weblog — Wed, 15 May 2013 14:53:20 +0200

In Kooperation mit Springer Science + Business Media verzeichnet BASE rund
48.000 frei zugängliche Zeitschriftenartikel aus dem Programm Springer
Open Choice und aus SpringerOpen-Zeitschriften. Damit ist erstmalig eine
gemeinsame Recherche über alle von Springer
bereitgestellten Open-Access-Zeitschriftenartikel in BASE möglich, die
von Springer zur Verfügung gestellten Metadaten werden wöchentlich in
BASE aktualisiert.

Zählt man den zu Springer gehörenden Verlag BioMed Central hinzu,
verzeichnet BASE derzeit rund 215.000 Open-Access-Zeitschriftenartikel
dieser Verlagsgruppe, womit Springer Science + Business Media derzeit der größte Open-Access-Verlag sein dürfte.

Jetzt über 2500 Quellen in BASE

BASE Weblog — Wed, 27 Mar 2013 15:04:51 +0100

Kurz vor Ostern hat BASE die Anzahl von 2500 Quellen überschritten. Damit ist die Datenbank auf über 43,5 Millionen Dokumente angewachsen.

40 Millionen Dokumente in BASE

BASE Weblog — Tue, 11 Dec 2012 13:26:03 +0100

Nach dem jüngsten Update haben wir in BASE erstmalig die Marke von 40 Millionen Dokumenten übersprungen. Wir freuen uns wie Bolle, auch wenn wir bei der nächsten Index-Aktualisierung eventuell wieder unter diese Grenze rutschen könnten.

BASE im Knowlegde Exchange Report - oder: warum betreiben wir BASE?

BASE Weblog — Mon, 15 Oct 2012 15:25:22 +0200

Im aktuellen KE Report "Sustainability of Open Access Services" ist auf Seite 38 zu lesen:

"As well as this, some libraries are service providers (or, in some
cases, service sponsors) in their own right.
Libraries may do this because there is a clear advantage to them in
terms of recognition, impact, esteem and
reputation and in some cases they can charge other libraries for
on-going support and maintenance of services. It
helps to understand some of the ways that they are sustaining these
services. A good example is Bielefeld
University Library, which developed and supports the BASE search engine
and considers it a strategic investment
that helps brand the library, has positive networking effects and may
assist in bringing in grant funding. The
expertise gained through developing such a service is also valuable and
can be used to underpin other innovative
developments in the library. The data collected by BASE is of monetary
value to library suppliers and may be
exchanged for cash, discounts or other benefits. The Library’s
philosophy is to give away its services to those
who also give theirs away (for example, reciprocal relationships with
RepEc and DOAJ), but to charge commercial
suppliers."

Dank an Alma Swan für die treffende Beschreibung.

Nationaler Nachweis von OAI-Metadaten

BASE Weblog — Tue, 17 Jul 2012 10:08:15 +0200

BASE bietet seit kurzem unter de.base-search.net eine eigene Suchoberfläche für in Deutschland beheimatete Dokumentenserver an. Damit fasst BASE die "nationalen Erschließungsdaten" (siehe DFG Ausschreibung Neuausrichtung überregionaler Informationsservices) von allen Dokumentenservern, die ihre Metadaten über OAI-PMH bereistellen, nach dem Territorialprinzip zusammen. Aktuell sind unter de.base-search.net 218 Dokumentenserver mit 1.780.896 Datensätzen recherchierbar.

Über dokumentierte Schnittstellen werden die Daten bereits jetzt in andere Endnutzersysteme und Datenplattformen integriert und können mit anderen Daten zusammengeführt werden.

Wer sich für den Vergleich mit anderen Ländern interessiert, kann schon seit längerem mit Hilfe der BASE-Länderkarten die Anzahl der Dokumentenserver pro Land mit aktuellen Dokumentenzahlen ermitteln.

Die "Deutschland-Sicht", die Länderkarten sowie die über die
Schnittstellen exponierten Daten werden bei jedem Indexupdate automatisch aktualisiert.

High North Research Documents

BASE Weblog — Fri, 27 Jan 2012 09:31:28 +0100

High North Research Documents ist eine Datenbank für frei zugängliche wissenschaftliche Dokumente mit thematischem Fokus auf nördliche Polarforschung. Dieser neue Service wurde von der Universitätsbibliothek Tromsø entwickelt, BASE fungiert in diesem Projekt als OAI-Dataprovider, d.h. aus den BASE-Daten selektieren unsere norwegischen Kollegen automatisch die Metadaten, die für das Themengebiet relevant sind. Das Projekt ist ein gutes Beispiel dafür, wie durch Verbreitung und Nachnutzung von OAI-Metadaten und fachliche Fokussierung die Sichtbarkeit von Dokumenten auf den entsprechenden Repositories weiter gesteigert werden kann.

Zweiter Platz bei der Wahl zur Hochschulperle des Jahres 2011

BASE Weblog — Mon, 23 Jan 2012 17:15:13 +0100

Die vom Stifterverband für die Deutsche Wissenschaft veranstaltete Online-Wahl zur Hochschulperle des Jahre 2011 hat das studentische Mentoren Projekt "Rock your Life" mit rund 25% der abgegebenen Stimmen gewonnen. Vom BASE-Team Glückwunsch an den verdienten Gewinner! Mit einigem Abstand, aber immerhin mit 2.420 Stimmen (rd. 18%), hat BASE den zweiten Platz erreicht. Wir bedanken uns bei allen, die uns unterstützt und ihre Stimme gegeben haben.

Wahl als Hochschulperle des Jahres 2011!

BASE Weblog — Tue, 10 Jan 2012 15:30:09 +0100

Wir bitten um Ihre Unterstützung bei der Wahl zur Hochschulperle des Jahres 2011! Hochschulperlen sind innovative Projekte an Hochschulen, BASE wurde im Mai 2011 vom Stifterverband für die Deutsche Wissenschaft als Hochschulperle des Monats Mai 2011 ausgezeichnet. Wir würden uns freuen, wenn Sie uns beim Online-Voting zur Hochschulperle des Jahres Ihre Stimme geben würden. Die Wahl geht bis zum 23. Januar 2012, 12.00 Uhr, jeder Internetnutzer ist stimmberechtigt, einmal pro Tag und Nutzer darf eine Stimme abgegeben werden.

Stimmen Sie für BASE, verbreiten Sie die Nachricht in Ihren Blogs, auf Twitter oder in Ihrem sozialen Netzwerk!

Vielen Dank

Ihr BASE-Team

BASE Smartphone-Nutzung

BASE Weblog — Mon, 9 Jan 2012 15:59:29 +0100

Bei Aufruf der Webseite base-search.net werden Smartphone-Clients automatisch auf die neuen BASE-Mobil-Seiten umgeleitet. Neben dem IPhone-App unterstützt BASE damit jetzt auch alle weiteren gängigen Plattformen (Android, IOS, Windows Phone, u.a.).

Multilinguale Suche mit Eurovoc-Thesaurus

BASE Weblog — Tue, 13 Dec 2011 16:26:11 +0100

Bei Aktivierung des Radio-Buttons "Synonyme (Eurovoc Thesaurus)" in der BASE-Suchoberfläche kann die Suchanfrage um Synonyme und anderssprachige Begriffe aus dem Eurovoc-Thesaurus erweitert werden. Im Idealfall finden Sie bei Eingabe eines z.B. deutschsprachigen Suchbegriffs wie Abfallwirtschaft auch Dokumente, in denen dieser Term nur in anderen Sprachen und ggf. synonym vorkommt, in diesem Beispiel also "affaldsbehandling", "Afvalbeheer", "Abfallentsorgung", "waste", "lixo", usw.. Voraussetzung ist allerdings, dass bei erfolgter Aktivierung dieser Suchoption die Begriffe aus der Suchanfrage im Eurovoc-Thesaurus verzeichnet sind.

Der Eurovoc-Thesaurus wird vom Amt für amtliche Veröffentlichungen der Europäischen Gemeinschaften erstellt und enthält rd. 239.000 Einträge (6.500 Basisbegriffe in 21 Sprachen plus Synonyme sofern vorhanden).

Automatische DDC-Kategorisierung in BASE ist produktiv

BASE Weblog — Mon, 28 Nov 2011 11:08:14 +0100

Schon seit einiger Zeit setzen wir ein automatisches Verfahren
zur Dokumentenklassifikation nach der Dewey-Dezimalklassifikation
(DDC) in BASE ein. Die Software dafür wurde während des DFG-geförderten
Projekts Automatische Anreicherung von OAI-Metadaten entwickelt
und basiert auf Methoden des Text Minings und des maschinellen Lernens.

Die DDC-kategorisierten Dokumente sind u.a. über das hierarchische
BASE-DDC-Browsing zugänglich. Hier kann die Anzahl der Ergebnisdokumente
schrittweise über die Klassenhierarchie eingeschränkt werden.

Auch in den BASE-Trefferlisten werden jetzt die DDC-Klassen zu den
Ergebnissen angezeigt. Automatisch vergebene Klassen erkennt man an dem
Zusatz "computed".

Über den DDC-Drilldown kann auch noch nach einer bereits durchgeführten
Suche die Trefferliste ganz einfach auf eine bestimmte Klasse eingegrenzt
werden.

Durch die automatische Klassifikation konnte die Anzahl der
DDC-erschlossenen Dokumente in BASE deutlich gesteigert werden –
von ursprünglich rund 450.000 auf aktuell rund 1,7 Mio Dokumente.
Die aktuelle Gesamtzahl der DDC-kategorisierten Dokumente können
Sie sich hier anzeigen lassen.

Es sei nicht verschwiegen, dass das automatische Klassifikationsverfahren
nicht perfekt ist, da es auf der statistischen Analyse der Dokumenttexte
basiert. Da die Wissenschaftssprache sehr komplex ist und sich
zudem ständig verändert, kann es auch zu Fehlklassifikationen kommen.
Wenn Sie eine entdecken, nutzen Sie bitte unsere DDC-Vorschlagsfunktion.
Dadurch helfen Sie uns, das Verfahren ständig zu verbessern.

Automatisches Klassifizieren von OAI-Metadaten

BASE Weblog — Mon, 20 Jun 2011 09:48:38 +0200

Der auf dem letzten Bibliothekartag gehaltene Vortrag Automatische Sacherschließung elektronischer Dokumente von Mathias Lösch ist jetzt auf dem Publikationsserver des BIB zugänglich. Die Präsentation fasst den bislang erreichten Stand des DFG-Projekts Automatische Anreicherung von OAI-Metadaten zusammen. Mit der wenn auch zunächst nur groben fachlichen Klassifikation von OAI-Metadaten werden die Voraussetzungen für eine automatische Schlagwortvergabe in BASE sowie die Lieferung von Subsets aus BASE an entsprechende fachspezifische Repository-Dienste wesentlich verbessert.

BASE OAI-PMH Validity Checker (OVAL)

BASE Weblog — Wed, 1 Jun 2011 15:02:16 +0200

Der von Mathias Lösch entwickelte BASE OAI-PMH Validity Checker (OVAL) erleichert uns intern schon eine ganze Weile das Einbinden neuer Quellen in BASE. Wir machen ihn heute öffentlich zugänglich, weil wir glauben, dass er auch Repository Managern helfen kann, die Qualität der angebotenen OAI-Schnittstelle zu überprüfen und eventuell zu verbessern. Über ein entsprechendes Feedback zu diesem Tool würden wir uns natürlich freuen.

Lob vom VuFind-Entwickler

BASE Weblog — Wed, 25 May 2011 09:09:31 +0200

Andrew Nagy - VuFind-Entwickler und jetzt bei Serials Solutions tätig - schrieb mir gestern folgende Mail:

"Hi Dirk - Congratulations on your launch of VuFind with BASE. This is really exciting to see. As the original founder and developer of VuFind, it has been really exciting to see so many large collections adopting VuFind and adapting it to fit their needs so well. Your site is very fast and very nicely done - I really like the refine your search drop downs on the right.

...

All the best
Andrew"

BASE Umstellung erfolgreich

BASE Weblog — Mon, 16 May 2011 15:31:36 +0200

Nach drei Monaten Test im BASE Lab haben wir heute den neuen, aktuellen und wesentlich umfangreicheren BASE Index unter Lucene/Solr sowie die neue Benutzeroberfläche unter VuFind freigeschaltet. Die FAST-Version des BASE-Index wird noch für einige Zeit im Hintergrund für die Nutzer der BASE-Search-API laufen, in den nächsten Tagen wird eine Dokumentation der API für den neuen Index veröffentlicht, so dass der Umstieg für diesen Nutzerkreis ebenfalls in Ruhe vonstattengehen kann. Wir freuen uns, dass wir diesen wichtigen Meilenstein geschafft haben und bedanken uns für die Geduld und die Unterstützung während der Umstellung.

Stifterverband für die Deutsche Wissenschaft zeichnet BASE aus

BASE Weblog — Tue, 3 May 2011 11:59:37 +0200

Wir freuen uns über die Auszeichnung von BASE als Hochschulperle des Monats Mai 2011. Laut Presseerklärung des Stifterverbands für die Deutsche Wissenschaft trägt BASE maßgeblich zur Verbreitung des Open-Access-Gedankens bei.

iBase: Die iPhone-App für BASE

BASE Weblog — Mon, 2 May 2011 10:36:39 +0200

Marek Imialek hat ein iPhone-App für unsere Suchmaschine BASE geschrieben, das seit einigen Tagen im App-Store freigeschaltet ist. Das App zielt auf den neuen Index im BASE-Lab, der seit dem letzten Blog-Eintrag wieder um einige Quellen erweitert wurde und jetzt 27.834.516 Dokumente aus 1.753 Quellen umfasst.

Neuer Index und neue Features im BASE Lab

BASE Weblog — Thu, 14 Apr 2011 10:50:23 +0200

Der Base-Lab-Index enthält jetzt 27.483.695 Dokumente aus 1.738 Quellen. Die Behandlung von Sonderzeichen wurde verbessert, z.B. führen Suchanfragen mit oder mit aufgelösten Umlauten jetzt zu der gleichen Treffermenge.

Mit Hilfe von VuFind haben wir das DDC-Browsing überabeitet, auf Ebene der einzelnen Klassen werden jetzt auch die entsprechenden Dokumentzahlen aktuell angezeigt. Darüber hinaus sind erstmals 10 Quellen automatisch mit DDC-Informationen angereichert worden, weitere Details dazu finden Sie im Wiki zum laufenden DFG-Projekt "Automatische Anreicherung von OAI-Metadaten".

Des Weiteren beschäftigen wir uns jetzt intensiver mit der search-api des neuen Index. Um diese unter Praxisbedingungen zu testen, werden im Bielefelder Katalog die Suchanfragen per Ajax jetzt auf den neuen Index gelenkt. Wenn hier keine Probleme auftauchen, können wir unseren externen Nutzern die neue API zu Verfügung stellen.

Für die technisch Interessierten: BASE Lab wurde auf das offizielle Release Apache Solr 3.1.0 umgestellt.

"Zum Potenzial der Suchtechniken Lucene und Solr"

BASE Weblog — Fri, 1 Apr 2011 09:00:28 +0200

Ein interessanter Artikel zu Lucene/Solr bei heise:

http://heise.de/-1214998

Neuer BASE Index

BASE Weblog — Thu, 24 Mar 2011 11:43:27 +0100

Der BASE Index im BASE Lab wurde aktualisiert und umfasst nunmehr 26.920.383 Dokumente aus 1.725 Quellen. In der Standardsuche und in der Erweiterten Suche kann für das Feld "gesamtes Dokument" die Wortformensuche jetzt auch ausgeschaltet werden, d.h.in diesem Fall wird auf ein Indexfeld zugegriffen, in dem zuvor kein Stemming englischsprachiger Begriffe durchgeführt wurde. Des Weiteren wurde Lucene/Solr von unserem Entwickler Bernd Fehling jetzt voll Unicode-fähig gemacht.

Neue Quellen im BASE Lab

BASE Weblog — Thu, 10 Mar 2011 11:27:59 +0100

Ein wichtiger Teil der Migration von FAST nach Lucene/Solr ist die Anpassung der Workflows zum Management der OAI-Quellen. Deshalb freuen wir uns, dass wir in den letzten Tagen eine größere Anzahl neuer Dokumentenserver, die zum Teil schon länger bei uns in der Pipeline standen, in den BASE-Lab-Index aufnehmen konnten:

Univerzita Tomáše Bati ve Zlíně: DSpace UTB
Universidade Católica Portuguesa: Veritati - Repositório Institucional
Instituto Superior de Psicologia, Lisboa: Repositório do ISPA
Instituto Politécnico de Leiria: IC-onlineUniverzita Tomáše Bati ve Zlíně: DSpace UTB
Electronic Sumy State University Institutional Repository (eSSUIR)
CEEMaR (Central and Eastern European Marine Repository)
Universität des Saarlandes, Universitätsverlag universaar: Bücher Online
University of Central Florida Libraries: Digital Collections
San José State University: SJSU ScholarWorks
Repozytorium Cyfrowe Poloników / Digital Repository Polonica
Pedagogical Digital Library (dLibra) / Pedagogiczna Biblioteka Cyfrowa
OPUS - Hochschulschriftenserver der Hochschule Aalen
Olivet Nazarene University: Digital Commons @ Olivet
Linfield College: DigitalCommons@Linfield
Hertie School of Governance, Berlin: OPUS-Dokumentenserver
Georgetown University's Law School: Scholarship@Georgetown Law
Universität Siegen: OPUS Siegen
Universität des Saarlandes, Universitätsverlag universaar: Zeitschriften online
Universidade Federal de Uberlândia (UFU): Sistema Eletrônico de Editoração de Revistas
Universidade Federal da Paraíba: Portal de Periódicos Científicos Eletrônicos da UFPB
Universidade do Oeste Paulista (Unoeste): Sistema Eletrônico de Editoração de Revistas
Universida del Norte: Series y Revistas Científicas
Revista Iberoamericana (Host: University of Texas, Austin)
Revista Brasileira de Estudos de Segurança Pública (REBESP)
Review of Economics and Institutions / Economia, Società e Istituzioni
Community Literacy Journal (Host: DePaul University, Chicago)
Bergische Universität Wuppertal: Elektronische Publikationen
African Ethnomedicines Network: E-Journals (Host: Simon Fraser Univ. Vancouver)
InterDisciplines - Journal of History and Sociology (Bielefeld Graduate School in History and Sociology

Links und Dokumentenzahl können der Quellenliste entnommen werden.

Fehler in der Trefferliste, oder: wie indexiert BASE?

BASE Weblog — Tue, 8 Mar 2011 11:28:31 +0100

Von Nutzern und Repository-Betreibern werden wir hin und wieder auf scheinbar unvollständig indexierte Quellen oder fehlerhaft indexierte Dokumente aufmerksam gemacht.

Zu solchen Fehlern kommt es in aller Regel, wenn es Probleme mit der OAI-Schnittstelle des Repositories gibt. An der Weboberfläche des Repositories kann dabei durchaus alles korrekt sein, da wir aber nur die OAI-Metadaten indexieren ist die Anzeige der Weboberfläche für die Indexierung in BASE nicht relevant. Wir indexieren über OAI, da hier - anders als auf Webseiten - eine eindeutige und korrekte Indexierung von Metadaten (Autor, Titel, Abstract, Schlagwörter etc.) möglich ist. Die Indexierung geschieht zuerst mit einem Harvester, der sich um das Einsammeln (to harvest = ernten) der OAI-Daten kümmert. Die Daten werden anschließend mit unserer Suchmaschinensoftware indexiert und schließlich in einer Trefferliste angezeigt. Dazu ein Beispiel dem Dokumentenserver des BIB:

Anzeige im Dokumentenserver: http://ub.unibi.de/base04a
OAI-Datensatz: http://ub.unibi.de/base04b
Treffer in BASE: http://ub.unibi.de/base04c

Man sieht einen kleinen Unterschied zwischen der Anzeige im Dokumentenserver und der Anzeige in BASE; während nämlich die URL des Datensatzes http://www.opus-bayern.de/bib-info/frontdoor.php?source_opus=546 lautet, führt der Treffer in BASE auf die Zitat-URL http://www.opus-bayern.de/bib-info/volltexte/2008/546/. Dies liegt daran, dass im OAI-Datensatz im Feld <dc:identifier> diese Zitat-URL zu finden ist.

Die OAI-Metadaten können sich aber noch weitaus stärker von dem unterscheiden, was man an der Weboberfläche im Dokumentenserver sieht. Es kann auch sein, dass der Betreiber der Quelle im OAI-Datensatz einen Fehler behebt, diese Korrektur aber nicht ordnungsgemäß über die OAI-Schnittstelle mitteilt. So erfährt unser Harvester auch nicht, dass sich an dem Datensatz etwas geändert hat. Erst ein kompletter Neuabzug der Daten behebt dann den Fehler auch in den Metadaten, die bei uns angezeigt werden. Wegen der langen Ladezeiten können wir solche Komplettabzüge aber nur hin und wieder durchführen.

Neben unterschiedlichen Metadaten, kann es auch vorkommen, dass über OAI nur ein Teil der Daten geliefert werden, die im gesamten Dokumentenserver zu finden sind. Manchmal fehlt auch der "identifier" in den OAI-Metadaten. Dann wird der Datensatz nicht weiter verarbeitet, denn reine Zitatanagaben ohne einen Link zumindest auf eine Webseite mit den Metadaten nehmen wir (anders als z.B. Google Scholar) nicht in unseren Index auf.

Da es auch vorkommen kann, dass auf unserer Seite beim Harvesten oder Indexieren ein Fehler passiert, sind wir natürlich an Ihren Rückmeldungen interessiert. Wenn Ihnen also ein Fehler auffällt, schicken Sie einfach eine Nachricht über unser Kontaktformular.