Nach drei Monaten Test im BASE Lab haben wir heute den neuen, aktuellen und wesentlich umfangreicheren BASE Index unter Lucene/Solr sowie die neue Benutzeroberfläche unter VuFind freigeschaltet. Die FAST-Version des BASE-Index wird noch für einige Zeit im Hintergrund für die Nutzer der BASE-Search-API laufen, in den nächsten Tagen wird eine Dokumentation der API für den neuen Index veröffentlicht, so dass der Umstieg für diesen Nutzerkreis ebenfalls in Ruhe vonstattengehen kann. Wir freuen uns, dass wir diesen wichtigen Meilenstein geschafft haben und bedanken uns für die Geduld und die Unterstützung während der Umstellung.

Wir freuen uns über die Auszeichnung von BASE als Hochschulperle des Monats Mai 2011. Laut Presseerklärung des Stifterverbands für die Deutsche Wissenschaft trägt BASE maßgeblich zur Verbreitung des Open-Access-Gedankens bei.

Marek Imialek hat ein iPhone-App für unsere Suchmaschine BASE geschrieben, das seit einigen Tagen im App-Store freigeschaltet ist. Das App zielt auf den neuen Index im BASE-Lab, der seit dem letzten Blog-Eintrag wieder um einige Quellen erweitert wurde und jetzt 27.834.516 Dokumente aus 1.753 Quellen umfasst.

Der Base-Lab-Index enthält jetzt 27.483.695 Dokumente aus 1.738 Quellen. Die Behandlung von Sonderzeichen wurde verbessert, z.B. führen Suchanfragen mit oder mit aufgelösten Umlauten jetzt zu der gleichen Treffermenge.

Mit Hilfe von VuFind haben wir das DDC-Browsing überabeitet, auf Ebene der einzelnen Klassen werden jetzt auch die entsprechenden Dokumentzahlen aktuell angezeigt. Darüber hinaus sind erstmals 10 Quellen automatisch mit DDC-Informationen angereichert worden, weitere Details dazu finden Sie im Wiki zum laufenden DFG-Projekt "Automatische Anreicherung von OAI-Metadaten".

Des Weiteren beschäftigen wir uns jetzt intensiver mit der search-api des neuen Index. Um diese unter Praxisbedingungen zu testen, werden im Bielefelder Katalog die Suchanfragen per Ajax jetzt auf den neuen Index gelenkt. Wenn hier keine Probleme auftauchen, können wir unseren externen Nutzern die neue API zu Verfügung stellen.

Für die technisch Interessierten: BASE Lab wurde auf das offizielle Release Apache Solr 3.1.0 umgestellt.

Ein interessanter Artikel zu Lucene/Solr bei heise:

http://heise.de/-1214998

Der BASE Index im BASE Lab wurde aktualisiert und umfasst nunmehr 26.920.383 Dokumente aus 1.725 Quellen. In der Standardsuche und in der Erweiterten Suche kann für das Feld "gesamtes Dokument" die Wortformensuche jetzt auch ausgeschaltet werden, d.h.in diesem Fall wird auf ein Indexfeld zugegriffen, in dem zuvor kein Stemming englischsprachiger Begriffe durchgeführt wurde. Des Weiteren wurde Lucene/Solr von unserem Entwickler Bernd Fehling jetzt voll Unicode-fähig gemacht.

Ein wichtiger Teil der Migration von FAST nach Lucene/Solr ist die Anpassung der Workflows zum Management der OAI-Quellen. Deshalb freuen wir uns, dass wir in den letzten Tagen eine größere Anzahl neuer Dokumentenserver, die zum Teil schon länger bei uns in der Pipeline standen, in den BASE-Lab-Index aufnehmen konnten:

• Univerzita Tomáše Bati ve Zlíně: DSpace UTB
• Universidade Católica Portuguesa: Veritati - Repositório Institucional
• Instituto Superior de Psicologia, Lisboa: Repositório do ISPA
• Instituto Politécnico de Leiria: IC-onlineUniverzita Tomáše Bati ve Zlíně: DSpace UTB
• Electronic Sumy State University Institutional Repository (eSSUIR)
• CEEMaR (Central and Eastern European Marine Repository)
• Universität des Saarlandes, Universitätsverlag universaar: Bücher Online
• University of Central Florida Libraries: Digital Collections
• San José State University: SJSU ScholarWorks
• Repozytorium Cyfrowe Poloników / Digital Repository Polonica
• Pedagogical Digital Library (dLibra) / Pedagogiczna Biblioteka Cyfrowa
• OPUS - Hochschulschriftenserver der Hochschule Aalen
• Olivet Nazarene University: Digital Commons @ Olivet
• Linfield College: DigitalCommons@Linfield
• Hertie School of Governance, Berlin: OPUS-Dokumentenserver
• Georgetown University's Law School: Scholarship@Georgetown Law
• Universität Siegen: OPUS Siegen
• Universität des Saarlandes, Universitätsverlag universaar: Zeitschriften online
• Universidade Federal de Uberlândia (UFU): Sistema Eletrônico de Editoração de Revistas
• Universidade Federal da Paraíba: Portal de Periódicos Científicos Eletrônicos da UFPB
• Universidade do Oeste Paulista (Unoeste): Sistema Eletrônico de Editoração de Revistas
• Universida del Norte: Series y Revistas Científicas
• Revista Iberoamericana (Host: University of Texas, Austin)
• Revista Brasileira de Estudos de Segurança Pública (REBESP)
• Review of Economics and Institutions / Economia, Società e Istituzioni
• Community Literacy Journal (Host: DePaul University, Chicago)
• Bergische Universität Wuppertal: Elektronische Publikationen
• African Ethnomedicines Network: E-Journals (Host: Simon Fraser Univ. Vancouver)
• InterDisciplines - Journal of History and Sociology (Bielefeld Graduate School in History and Sociology

Links und Dokumentenzahl können der Quellenliste entnommen werden.

Von Nutzern und Repository-Betreibern werden wir hin und wieder auf scheinbar unvollständig indexierte Quellen oder fehlerhaft indexierte Dokumente aufmerksam gemacht.

Zu solchen Fehlern kommt es in aller Regel, wenn es Probleme mit der OAI-Schnittstelle des Repositories gibt. An der Weboberfläche des Repositories kann dabei durchaus alles korrekt sein, da wir aber nur die OAI-Metadaten indexieren ist die Anzeige der Weboberfläche für die Indexierung in BASE nicht relevant. Wir indexieren über OAI, da hier - anders als auf Webseiten - eine eindeutige und korrekte Indexierung von Metadaten (Autor, Titel, Abstract, Schlagwörter etc.) möglich ist. Die Indexierung geschieht zuerst mit einem Harvester, der sich um das Einsammeln (to harvest = ernten) der OAI-Daten kümmert. Die Daten werden anschließend mit unserer Suchmaschinensoftware indexiert und schließlich in einer Trefferliste angezeigt. Dazu ein Beispiel dem Dokumentenserver des BIB:

Anzeige im Dokumentenserver: http://ub.unibi.de/base04a
OAI-Datensatz: http://ub.unibi.de/base04b
Treffer in BASE: http://ub.unibi.de/base04c

Man sieht einen kleinen Unterschied zwischen der Anzeige im Dokumentenserver und der Anzeige in BASE; während nämlich die URL des Datensatzes http://www.opus-bayern.de/bib-info/frontdoor.php?source_opus=546 lautet, führt der Treffer in BASE auf die Zitat-URL http://www.opus-bayern.de/bib-info/volltexte/2008/546/. Dies liegt daran, dass im OAI-Datensatz im Feld <dc:identifier> diese Zitat-URL zu finden ist.

Die OAI-Metadaten können sich aber noch weitaus stärker von dem unterscheiden, was man an der Weboberfläche im Dokumentenserver sieht. Es kann auch sein, dass der Betreiber der Quelle im OAI-Datensatz einen Fehler behebt, diese Korrektur aber nicht ordnungsgemäß über die OAI-Schnittstelle mitteilt. So erfährt unser Harvester auch nicht, dass sich an dem Datensatz etwas geändert hat. Erst ein kompletter Neuabzug der Daten behebt dann den Fehler auch in den Metadaten, die bei uns angezeigt werden. Wegen der langen Ladezeiten können wir solche Komplettabzüge aber nur hin und wieder durchführen.

Neben unterschiedlichen Metadaten, kann es auch vorkommen, dass über OAI nur ein Teil der Daten geliefert werden, die im gesamten Dokumentenserver zu finden sind. Manchmal fehlt auch der "identifier" in den OAI-Metadaten. Dann wird der Datensatz nicht weiter verarbeitet, denn reine Zitatanagaben ohne einen Link zumindest auf eine Webseite mit den Metadaten nehmen wir (anders als z.B. Google Scholar) nicht in unseren Index auf.

Da es auch vorkommen kann, dass auf unserer Seite beim Harvesten oder Indexieren ein Fehler passiert, sind wir natürlich an Ihren Rückmeldungen interessiert. Wenn Ihnen also ein Fehler auffällt, schicken Sie einfach eine Nachricht über unser Kontaktformular.