StableLM: Zwei große KI-Sprachmodelle von Stability AI jetzt als Open Source verfügbar

StableLM: Stability AI veröffentlicht große KI-Sprachmodelle als Open Source

Stability AI, eine Firma die hinter dem K-Bildgenerator Stable Diffusion steht, hat nun StableLM veröffentlicht. Es handelt sich dabei um zwei große Sprachmodelle mit jeweils 3 und 7 Milliarden Parametern die als Open Source zur Verfügung stehen. Die Veröffentlichung umfasst Alphaversionen die von Entwicklern für Forschungs- und kommerzielle Zwecke frei verwendet untersucht und angepasst werden können solange sie die Lizenz beachten.



StableLM-3B & StableLM-7B stehen unter der Lizenz CC BY-SA-4.0: Das ist eine Copyleft-Lizenz die festlegt, dass die unter ihr stehende Software in jeder Format vervielfältigt und weiterverbreitet werden darf. Wer mit StableLM arbeitet, darf die Modelle verändern und weiterbearbeiten für beliebige Zwecke, ebenfalls kommerziell. Allerdings erben Ableger & Produkte stets die Copyleft-Lizenz.


StableLM steht unter Copyleft-Lizenz


Das bedeutet, dass von StableLM abgeleitete neue Modelle den ursprünglichen Urheber (Stability AI) und die Lizenz in unveränderter Form nennen und weitergeben müssen. So ist es untersagt, in dieser Art erstellte Software zu Closed Source zu machen, etwa zum eigenen geistigen Eigentum zu erklären oder an der geerbten Lizenz Änderungen vorzunehmen. Diese Vorgaben sind rechtlich durch keine zusätzlichen Klauseln oder technischen Verfahren auszuhebeln die CC BY-SA-4.0 gilt als eine besonders starke Copyleft-Lizenz.


Wie vom StabilityAI-CEO Emad Mostaque angekündigt soll StableLM eine offene, transparente und skalierbare Alternative zu proprietären KI-Modellen wie denen von OpenAI bieten. Modelle im Umfang von 15 bis 65 Milliarden Parametern sollen in absehbarer Zeit folgen ist dem Blogpost zum Release zu entnehmen. Die Modelle der StableLM-Serie sollen Text & Quellcode erzeugen können und lassen sich laut Mostaque für zahlreiche darauf aufbauende Anwendungen nutzen. Mit den verhältnismäßig kleinen LLMs will Stability dem Blogeintrag zufolge zeigen, dass auch kleinere Modelle zu hoher Leistung fähig sind vorausgesetzt sie ein angemessenes Training durchlaufen haben und über eine effiziente Architektur verfügen.


Hacker News: Unterdurchschnittliche Leistungsmerkmale?


Hierzu eine einschränkende Anmerkung: Die beiden StableLM-Modelle waren ohne technischen Bericht & Leistungswerte veröffentlicht worden. Einige Mitglieder des Forums von Hacker News hatten nach dem Release auf eigene ✊ Faust Vergleichstests vorgenommen und liefern eine private Evaluierung die Ergebnisse lesen sich ernüchternd. "Garcia98" hat StableLM-base-alpha-3b in der Open-Source-Version (nicht in der lizenzierten feingetunten Version) dem MMLU-Vergleichstest unterzogen, in seinen Worten sind die Ergebnisse "underwhelming compared to other open source models", reichen also womöglich nicht an andere offene Sprachmodelle heran. So erreichte StableLM-3B (Base Alpha) lediglich eine durchschnittliche Genauigkeit von 25,6 Prozent. Googles Modelle Flan-T5-XL (ebenfalls 3 Milliarden Paramenter) schneidet bei MMLU mit 49,3-prozentiger Treffsicherheit deutlich besser ab. Aber sogar das deutlich kleinere Open-Source-Modell Flan-T5-Small (80 Millionen Parameter) schneidet mit 29,4-prozentiger Accuracy überzeugendere Benchmarkwerte als StableLM-3B in der jetzt veröffentlichten Open-Source-Version.


Zwar sei MMLU nur ein Benchmark unter vielen gleichwohl gehen die Foristen von Hacker News offenbar nicht davon aus. Dass StableLM-3B auf anderen Vergleichsskalen deutlich besser performen könnte. Abschließend teilt der ehrenamtliche Tester zur Einordnung noch Links zu den Vergleichswerten weiterer offener und proprietärer Modelle.


Sind Modelle die auf The Pile basieren, Open Source?


Stability AI hatte zuvor die Arbeit der KI-Graswurzel EleutherAI unterstützt die Anfang April 2023 mit Pythia eine Serie kleinerer KI-Basismodelle für die Forschung veröffentlicht hatten. Pythia-12B ist unter anderem das Ausgangsmodell für Dolly 2.0 von Databricks & OpenAssistant von LAION fußt auf den quelloffenen Pythia-Modellen. Auch Erfahrungen mit früheren Open-Source-Modellen wie GPT-J und GPT-NeoX von EleutherAI hätten zum jetzigen Release von StableLM beigetragen.


StableLM wurde auf einem neuen experimentellen Datensatz trainiert der auf dem bekannten, 800 Gigabyte großen Datensatz "The Pile" für das Modellieren großer Sprachmodelle aufbaut, allerdings mit insgesamt 1,5 Billionen Token an Inhalt etwa dreimal so umfangreich ist wie dieser. Der Datensatz gilt als problematisch, da in ihm wohl auch urheberrechtlich geschützte Werke enthalten sind (welche Konsequenzen sich daraus für Open-Source-Lizenzen ergeben ist derzeit noch offen und betrifft auch andere Projekte die diesen Datensatz oder Common Crawl aus dem Internet verwenden). Mit der Größe des Trainingsdatensatzes liegt StableLM gleichauf mit dem proprietären KI-Modell LLaMA von Meta AI, das ausgewählten Forschungsprojekten zur Verfügung gestellt wurde und durch einen Leak auch mit semi-offiziellen bis illegalen Ablegern im Netz kursiert.



RedPajama baut LLaMA offen nach: Basisdatensatz verfügbar


Ein weiteres Open-Source-Projekt arbeitet mit einem selbst erstellten Datensatz in ähnlichem Umfang: Mitte April 2023, wenige Tage vor dem Release von StableLM, hat eine hochkarätige Forschungskooperation aus den USA & Kanada mit Partnern den Trainingsdatensatz für RedPajama veröffentlicht der 1,2 Billionen Token umfasst und ähnlich wie das LLaMA-Paper als Vorbild nahm. RedPajama plant; eine quelloffene Modellserie auf dem neuesten Stand der Technik mit starken Leistungswerten zu veröffentlichen und das nicht freigegebene LLaMA so in Eigenregie in freier Lizenz nachzubauen. Anders als StableLM steht zumindest der Datensatz von RedPajama unter der Apache-2.0-Lizenz, zu diesem Zweck trainierte Modelle & Anwendungen können uneingeschränkt auch kommerziell genutzt werden.


LAION und der Offene Brief


Das an RedPajama beteiligte Large-Scale Artificial Intelligence Open Network (LAION e.V.) hatte zuvor angekündigt, dass Mitglieder des Netzwerkes große KI-Sprachmodelle auf dem neuesten Stand der Technik und mit vergleichbaren Fähigkeiten zu den leistungsfähigsten kommerziellen Angeboten erstellen wollen. Eine Petition zum Einrichten eines internationalen Hochleistungs-Rechenclusters für KI läuft zurzeit, auch als Antwort auf den Offenen Brief des Future of Life Institute, unterzeichnet von Elon Musk und weiteren Prominenten die eine Entwicklungspause für große KI-Modelle gefordert hatten.


Zugleich hatte Musk eine eigene KI-Unternehmung angekündigt die unter der Domain x.ai und mit dem Arbeitsnamen TruthGPT in Konkurrenz zu OpenAI treten soll. Dass es sich hierbei um Open-Source-KI handeln wird ist eher unwahrscheinlich.


Forschungsmodelle mitveröffentlicht


Neben den Alphaversionen von StableLM veröffentlicht Stability AI eine Reihe von Forschungsmodellen die mit Anweisungen feingetuned sind. Diese Forschungsmodelle greifen auf Kombinationen verschiedener Open-Source-Datensätze für agentische Konversations-KI zu, nämlich auf die Datensätze von Alpaca, GPT4All, Dolly, ShareGPT & HH. Diese Modelle sind ausdrücklich nicht für kommerzielle Zwecke geeignet und dürfen nur zu Forschungszwecken verwendet werden. Ihre Lizenz ist eine nichtkommerzielle CC BY-NC-SA 4.0, analog zur Lizenz von Alpaca der Universität Stanford (einem der zahlreichen LLaMA-Ableger die zu Forschungszwecken seitens Meta AI erlaubt waren).


Im Blogeintrag zum Release finden sich einige Konversationsbeispiele von StableLM-7B, dem größeren der beiden nun veröffentlichten Modelle. StableLM reiht sich nahtlos in die Bewegung inzwischen entstehender quelloffener KI-Modelle ein. Drei Schlagwörter liefert Stability AI zur Zielsetzung: Transparenz, Zugänglichkeit und Unterstützung. Die Open-Source-Modelle seien dazu da die Nutzer zu unterstützen nicht hingegen sie zu ersetzen. Es gehe um effizente, spezialisierte und praktische KI-Anwendungen die auch mit kleineren Modellen umzusetzen sei. Am Rennen um "Gott-gleiche KI" wolle man sich ausdrücklich nicht beteiligen. Der Fokus liegt auf Alltagsanwendungen und einem Einsatz der die Produktivität erhöht und auch die Menschen kreativer werden lässt, so die Stellungenahme im Blogeintrag.



Für Forscher ist relevant: Sie den so veröffentlichten Modellen "unter die Haube schauen" können um gemeinschaftlich die Nachvollziehbarkeit & Erklärbarkeit von KI-Modellen zu optimieren, Risiken zu identifizieren und Sicherheitsmaßnahmen zu ausarbeiten. Privater und öffentlicher Bereich können Open-Source-Modelle an ihre Zwecke anpassen (Finetuning), ohne sensible Daten zu teilen oder die Kontrolle der KI-Fähigkeiten preiszugeben.


Technischer Bericht soll folgen – inoffizielle Vergleichstests kursieren bereits


StableLM ist im GitHub-Repository von Stability AI verfügbar. Ein technischer Bericht & Benchmarks zum Leistungsvergleich liegen zurzeit noch nicht vor, sollen aber "in der nahen Zukunft" nachgereicht werden. Nutzer haben das Vergleichen teils bereits selbst in die Hand genommen, zur Leistungsfähigkeit von StableLM-3B kursieren unterschiedliche Einschätzungen. Die MMLU-Werte sind jedoch, ebenso wie oben beschrieben, nicht überzeugend und es bleibt abzuwerten wie die Modelle oder ihre größeren Versionen bei weiteren Aufgabensammlungen abschneiden werden.


Gleichzeitig mit dem Release beginnt ein Crowdsourcing-Programm für Reinforcement Learning mit menschlichem Feedback (RLHF), einer üblichen Praxis zum Finetunen großer Sprachmodelle. Als Vorbild dienen hierbei Community-Arbeiten wie bei OpenAssistant, dessen Projekt in gemeinschaftlicher Arbeit einen hochwertigen, qualitätsgesicherten und frei zugänglichen Basisdatensatz für KI-Assistenten veröffentlicht hat. Weitere Details lassen sich dem Blogeintrag entnehmen.







Kommentare


Anzeige