Frag BIKI

Seit heute steht in BIKI das Sprachmodell Apertus zur Auswahl. Es ist ein besonderes Modell, denn es ergänzt unseren Katalog um ein Sprachmodell, welches von der ETH Zürich und anderen schweizer Institionen entwickelt wurde. Die GWDG hat dieses Modell seit der vergangenen Woche im Angebot und wir haben es direkt in BIKI verfügbar gemacht.

Was zeichnet Apertus aus

In inhaltlicher Hinsicht versprechen die Macher*innen von Apertus eine hohe Transparenz auf ihren Trainingsdaten, einen Schwerpunkt auf nicht-englischen Inhalten mit über 1.000 Sprachen, und eine Überprüfung der Trainingsdaten auf schädliche Inhalte. Auch sollen die rechtlichen Anforderungen von Datenschutz und KI Verordnung berücksichtigt worden sein.

Nach unseren ersten Tests antwortet das Modell rasch und ist für Anwendungen wie Textzusammenfassung sehr gut nutzbar. Beim Weltwissen, siehe unsere alte Testfrage nach der Rektorin der Uni, ist es aber nicht ganz auf der Höhe der Zeit. Das Kontextfenster gehört mit 64.000 Tokens heute zu den kleineren und kann insbesondere bei Verwendung von Dateien durchaus erreicht werden.

Welche Eigenschaften hat das Sprachmodell

Diese Zusammenfassung haben wir aus der Meldung der ETH Zürich in BIKI mit Apertus selbst erstellen lassen:

-----

Einzigartige Merkmale von Apertus

1. Offen & Transparent – Vertrauen durch Transparenz

• Volle Transparenz: Apertus ist nicht nur ein offenes Modell, sondern wird auch mit vollständiger Transparenz entwickelt. Alles – von den Trainingsdaten über die Architektur bis hin zu den Modellgewichten – ist für alle einsehbar.
• Reproduzierbarkeit: Dieses Modell ist so konzipiert, dass jeder Schritt nachvollzogen und reproduziert werden kann. Ein Novum in der KI-Welt, das Vertrauen in die Technologie stärkt.

2. Mehrsprachigkeit und Vielfalt Sprachvielfalt:

• Trainiert auf einem 15-Billionen-Token-Korpus aus über 1000 Sprachen, wobei 40% der Daten nicht-englischsprachig sind.
• Sprachliche Gerechtigkeit: Ein besonderer Fokus liegt auf Sprachen, die in klassischen Modellen oft unterrepräsentiert sind. Dies fördert eine inklusivere digitale Welt und ermöglicht es uns, mehrsprachige Nutzergruppen besser zu erreichen und zu unterstützen.
• Sprachliche Nuancen: Durch die breite Abdeckung verschiedener Sprachen kann das Modell kulturspezifische und sprachliche Nuancen besser erfassen und reproduzieren.

3. Ethische und Rechtliche Grundlage

• Ethische Entwicklung: Von Anfang an wurde auf ethische Standards geachtet. Die Trainingsdaten wurden sorgfältig auf potenziell schädliche Inhalte überprüft und diese wurden entfernt.
• Rechtliche Konformität: Das Modell wurde unter Berücksichtigung von Schweizer Datenschutzgesetzen, dem Schweizer Urheberrecht und den Anforderungen der EU KI-Verordnung entwickelt.
• Datenintegrität: Die verwendeten Daten sind ausschliesslich auf öffentlich zugängliche Quellen zurückzuführen. Wir achten darauf, personenbezogene Daten und unerwünschte Inhalte zu vermeiden.

4. Leistungsfähigkeit und Flexibilität

• Modellgrösse: Es steht in zwei Modellgrößen zur Verfügung (8 Milliarden und 70 Milliarden Parameter), was es für verschiedene Anwendungszwecke geeignet macht – von kleineren, individuellen Nutzungszwecken bis hin zu größeren, institutionellen Einsatzszenarien.
• Anpassungsfähigkeit: Als Basismodell soll Apertus anderen Entwickler:innen die Möglichkeit bieten, darauf aufzubauen, es anzupassen oder für spezifische Anwendungen weiterzuentwickeln.
• Leistung: Trotz seiner Größe und Komplexität ist das Modell effizient und skalierbar, was es für eine breite Palette von Anwendungen geeignet macht.

5. Gemeinschaftliches Engagement

• Innovationsimpuls: Apertus wurde nicht nur als technisches Werkzeug, sondern als Impulsgeber für die gesamte KI-Gemeinschaft konzipiert.
• Community und Kollaboration: Wir laden die akademische Gemeinschaft herzlich ein, mit Apertus zu arbeiten, es weiterzuentwickeln und gemeinsam die Zukunft der KI zu gestalten.
• Globale Zugänglichkeit: Über Partner wie Hugging Face oder Public AI steht das Modell auch für andere Institutionen weltweit zur Verfügung, was es zu einer globalen Ressource macht. 

Neue Darstellung der Sprachmodelle

Wir haben die Einführung des neuen Modells in unseren Katalog zum Anlass genommen die Liste unserer Modelle zu überarbeiten: Sie ist nun in tabellarischer Form und damit kompakter und sortierbar geworden.