Donnerstag, 13. Juli 2023 von Dr. Michael Gebert Stanford-Untersuchung von zehn KI-Modellen
Die Herausforderungen der Konformität
Das Human-Centered AI Institute in Stanford hat die Konformität von zehn KI-Modellen mit dem EU-Gesetzentwurf für KI untersucht. Die Ergebnisse deuten darauf hin, dass KI-Anbieter noch viel Arbeit vor sich haben, um die Anforderungen des derzeitigen Gesetzesentwurf zu erfüllen.
Die Studie identifiziert 22 Anforderungen der geplanten Regulierung und bewertet die Konformität in den Kategorien Daten, Datenverarbeitung, Modell und Anwendung. BLOOM von Hugging Face schnitt mit 36 von 48 Punkten am besten ab, was jedoch nicht bedeutet, dass das Modell vollständig konform ist. Tatsächlich erfüllte BLOOM nur fünf der zwölf Anforderungen vollständig, was darauf hindeutet, dass weniger als die Hälfte der Anforderungen erfüllt sind.
Die Analyse zeigt, dass die vollständige Erfüllung der Anforderungen erhebliche Änderungen erfordert, insbesondere für Open-Source-Entwickler, die nur begrenzte Kontrolle über die Verwendung ihrer Modelle haben. Der EU AI Act soll 2024 in Kraft treten, was bedeutet, dass die Anbieter nur sehr wenig Zeit haben, um die notwendigen Änderungen vorzunehmen.
Transparenz und regulatorische Hürden
Die Studie hebt vier Bereiche hervor, in denen viele Organisationen schlechte Ergebnisse erzielen: Urheberrechtlich geschützte Daten, Rechenleistung und Energie, Risikominderung und Evaluierung sowie Testing. Diese Bereiche sind etablierte Themen in der wissenschaftlichen Literatur und zeigen, dass es noch viel zu tun gibt, um die Transparenz in der KI-Entwicklung zu verbessern. Die Herausforderungen sind jedoch nicht nur auf die technischen Aspekte beschränkt. Es gibt auch rechtliche und regulatorische Hürden zu überwinden. Zum Beispiel ist die Verwendung von urheberrechtlich geschützten Daten in der KI-Entwicklung ein umstrittenes Thema. Wenige Anbieter geben Informationen über den Urheberrechtsstatus der Trainingsdaten preis. Viele Grundmodelle werden mit Daten trainiert, die aus dem Internet kuratiert werden, von denen ein erheblicher Teil wahrscheinlich urheberrechtlich geschützt ist. Die rechtliche Legitimität des Trainings auf diesen Daten im Rahmen der Fair-Use-Regelung -insbesondere für Daten mit spezifischen Lizenzen- und der Reproduktion dieser Daten bleibt unklar.
Darüber hinaus gibt es relevante Unterschiede in Bezug auf die Veröffentlichungsstrategie der Modelle. Offene Modelle, wie BLOOM und GPT-NeoX von EleutherAI, erzielen in der Regel gute Ergebnisse bei der Offenlegung von Ressourcen, haben aber Schwierigkeiten, die Bereitstellung zu überwachen oder zu kontrollieren. Eingeschränkte oder geschlossene Modelle, wie Google's PaLM 2 und OpenAI's GPT-4, erzielen bessere Ergebnisse bei der Erfüllung von Anforderungen der Bereitstellung, sind aber weniger transparent in Bezug auf die verwendeten Ressourcen.
Können Open-Source-Entwickler die Verwendung ihrer Modelle überwachen?
Die Studie kommt zu dem vorläufigen Schluss, dass es machbar ist, dass Anbieter von Grundmodellen mit dem europäischen KI-Gesetz konform gehen, und dass eine Offenlegung im Zusammenhang mit der Entwicklung, Nutzung und Leistung der Grundmodelle die Transparenz im gesamten Ökosystem verbessern würde. Es wird jedoch betont, dass die Anbieter kollektiv Maßnahmen ergreifen müssen, um branchenweite Standards zu setzen, die die Transparenz verbessern, und dass die politischen Entscheidungsträger Maßnahmen ergreifen müssen, um sicherzustellen, dass eine angemessene Transparenz die Grundlage für diese allgemeine Technologie bildet.
Die Ergebnisse werfen wichtige Fragen auf, die sowohl von KI-Entwicklern als auch von politischen Entscheidungsträgern berücksichtigt werden müssen. Wie können Open-Source-Entwickler die Verwendung ihrer Modelle effektiv überwachen und kontrollieren? Wie können Anbieter von Grundmodellen die Transparenz verbessern, ohne ihre Wettbewerbsvorteile zu gefährden? Und wie können die Anforderungen des EU-Gesetzentwurfs für KI so angepasst werden, dass sie sowohl praktikabel als auch effektiv sind?
Es ist klar, dass die KI-Branche vor einer Reihe von Herausforderungen steht, um die Anforderungen des EU AI Act zu erfüllen. Es wird interessant sein zu beobachten, wie sich die Branche in den kommenden Monaten und Jahren weiterentwickelt und wie sie auf diese Herausforderungen reagiert. Eine konstruktive Diskussion über die besten Wege zur Verbesserung der Transparenz und Verantwortlichkeit in der KI-Entwicklung ist zumindest angestoßen. Eine stärkerer Austausch zwischen KI-Entwicklern, politischen Entscheidungsträgern und der breiteren Gesellschaft ist notwendig.
Die Entwicklung von KI ist nicht nur eine technologische Herausforderung, sondern auch eine soziale und politische - damit die Vorteile der KI-Technologie maximiert und die Risiken minimiert werden. Mit dem geplanten Inkrafttreten der europäischen KI-Regulierung im Jahr 2024 wird die EU einen globalen Standard setzen. Unklar bleibt bislang, wie andere Länder und Regionen auf diese Entwicklung reagieren werden und ob sie ähnliche Regulierungsmaßnahmen einführen werden.
Die Ergebnisse der Untersuchung von Rishi Bommasani, Kevin Klyman, Daniel Thang und Percy Liang im Überblick:
https://crfm.stanford.edu/2023/06/15/eu-ai-act.html
#KI #KIEntwicklung #EU #Gesetzentwurf #KIRegulierung #Transparenz #Verantwortlichkeit #Herausforderungen #KIAnbieter #Technologie #OpenSource #Urheberrecht #RechtlicheHuerden #RegulatorischeHuerden #Offenlegung #Grundmodelle #Wettbewerbsvorteile #Zusammenarbeit #SozialeHerausforderungen #PolitischeHerausforderungen #GlobalerStandard #Stanford #HumanCenteredAIInstitute
