Seit dem Einzug der generativen künstlichen Intelligenz[1] in die Medienwelt, getriggert durch chatGPT von OpenAI, ist die künstliche Intelligenz (KI) in aller Munde. Unterschwellige Ängste machen sich in der Bevölkerung breit: Die Bildung muss sich - wie bei der Einführung des Taschenrechners - neu erfinden und in der Gesundheitsbranche kursieren Befürchtungen, Roboter würden uns demnächst unüberwacht behandeln. Dies, obwohl die Forschung und Anwendung von KI bis weit in die Mitte des letzten Jahrhunderts reicht, also gar nicht so neu ist. Aktuell versucht der europäische Gesetzgeber diesen Emotionen beruhigend entgegenzuwirken und hat mit dem EU AI Act das weltweit erste Gesetz zur KI in Kraft gesetzt[2].
In unserem Podcast[3] gelangten wir zum Schluss, dass die staatliche Regulierung der KI auf einer gesellschaftlich ausgewogenen Abwägung zwischen Nutzen und Risiken basieren sollte. Im letzten Blog[4] haben wir den potenziellen Einfluss des EU AI Acts auf unterschiedliche Anwendungen angeschaut. In vielen Beispielen ist unklar, wie dieser umzusetzen ist und welchen Einfluss solche regulativen Eingriffe auf die unterschiedlichen Bereiche haben werden.
In diesem Beitrag gehen wir der Frage nach, ob regulatorische Vorgaben wie der EU AI Act für den Bereich der Medizinprodukte in der vorliegenden Form verhältnismässig und überhaupt notwendig sind.
Der Gesundheitsbereich ist gesellschaftlich besonders bedeutsam und entsprechend ein sehr sensitives, bereits stark reguliertes Feld. Es lassen sich vorab zwei Aussagen machen.
1) Aufgrund der sehr breit gehaltenen Definition für KI-Systeme des EU AI Acts kann es schwierig sein, zu bestimmen, welche Systeme effektiv betroffen sind[5]. Eine technische Fachperson hingegen kann meist schnell entscheiden, ob es sich in einem konkreten Falle um ein relevantes KI-System handelt oder nicht und was dessen Gefahrenpotenzial ist, wenn denn überhaupt ein solches existiert.
2) Es sind noch viele Fragen offen, wie der EU AI Act für Hoch-Risiko-KI-Systeme, was die MedTech einschliesst[6], umgesetzt werden soll. Dies verunsichert Inverkehrbringer – insbesondere Hersteller von Medizinprodukten, die KI schon seit Jahren erfolgreich und problemlos einsetzen. Und Unsicherheit ist bekanntlich «Gift» für Innovation.
Am Beispiel der Medical Device Regulation (EU MDR)[7] lässt sich gut aufzeigen, welche Konsequenzen eine Harmonisierungsrechtsvorschrift der EU für die Schweiz haben kann.
Für die Schweiz gibt es aktuell kein spezifisches KI-Gesetz. Ein solches wird sich wohl an die Definition der OECD[8] und an das Rahmenübereinkommen des Europarates[9], bei dem sie tatkräftig mitwirkte, anlehnen. Diese Definition wurde bereits im EU AI Act leicht modifiziert übernommen[10]. Ebenfalls verwendet der vorgeschlagene «Safe and Secure Innovation for Frontier Artificial Intelligence Models Act» von Kalifornien eine leicht modifizierte Version dazu[11]. Hier zeichnet sich also eine potenzielle Harmonisierung ab.
Für die EU gilt seit Sommer 2024 der erwähnte EU AI Act. Für Medizinprodukte ist der grundsätzliche, regulative Weg mit oder ohne AI Act heute schon ersichtlich. Ein medizintechnisches KI-System beinhaltet Software, welche die KI-Elemente enthält. Eine solche Software (alleinstehend oder kombiniert mit einem Produkt) wird in der genannten EU MDR geregelt. Diese wird einer Risikoklasse zugeordnet[12]; zusätzlich wird eine Software-Sicherheitsklasse bestimmt[13]. Das Nutzen-Risiko-Verhältnis ist eine grundlegende Sicherheit- und Leitungsanforderung der EU MDR[14]: Produktesicherheit wird dabei durch Kontrolle der Risiken erreicht. KI ist ein offensichtliches Risiko in einem medizintechnischen System[15]. Dreh- und Angelpunkt ist demnach das Risikomanagement[16], was auch eine Anforderung im EU AI Act ist[17]. Themen wie Risikomanagement, Cybersecurity, KI und Qualität werden in der MedTech über entsprechende Managementsysteme, welche zudem noch integrativ sind[18], abgedeckt. Diese basieren auf international anerkannten Standards, welche die EU mehrheitlich schon harmonisiert hat[19].
Es stellt sich daher die Frage, weshalb es den EU AI Act für den MedTech-Bereich noch braucht. Alle Anforderungen seitens EU AI Act, namentlich Risikomanagementsystem, Daten und Daten-Governance, technische Dokumentation (TD), Aufzeichnungspflicht, Registrierung, Transparenz usw. sind bereits nachweislich mit der EU MDR abgedeckt. Es könnte bei der Umsetzung darauf hinauslaufen , dass ein Medizinprodukte-Hersteller seine Managementsysteme bei zwei benannten Stellen (notified bodies, NB) zertifizieren und auch seine Produkte-TD zweimal getrennt durch einen NB prüfen lassen muss. Denn die wenigsten Zertifizierungsstellen werden für beide Bereiche (d.h. Medizintechnik und KI) akkreditiert sein. Der Aufwand dafür ist gross. Selbst wenn es ein europäischer, MedTech-akkreditierter NB schaffen sollte, sich auch für den EU AI Act zu akkreditieren, dann wird umgehend der entsprechende «Scope» für Einschränkungen sorgen. Gleiches gilt für die Registrierungspflicht in einer separaten, europäischen Datenbank für KI-Systeme. Für die MedTech besteht bereits die EUDAMED.
Es ist also zu befürchten, dass mit dem EU AI Act vieles für die KI nutzenden MedTech doppelspurig ablaufen wird. Wohl höchsten ein bis zwei grosse NBs werden beides gleichzeitig anbieten können. Damit ist die innovative MedTech jedoch weit weg vom Konformitäts- und sehr nahe an einem Zulassungsverfahren, was ein relevanter Paradigmenwechsel für den Marktzugang darstellen würde. Zudem verschärfen die EU-Verordnungen die Probleme auf Stufe Zertifizierung, da der Zugang zu einer akkreditieren Stelle (NB) zum Engpass wird. In der Schweiz gibt es für die MedTech überhaupt keine akkreditierte Stelle mehr. Wir sind hier von der EU abhängig geworden. Wenn im europäischen Binnenmarkt nur noch einige wenige grosse akkreditierte NBs walten, fliesst das so zentral relevante «Know-how» aus der Schweiz ins Ausland ab. Dies hat schon bei der EU MDR gezeigt.
Grossunternehmen können solche regulativen Hürden einigermassen schlucken (und die daraus entsprechenden Kosten auf das Produkt übertragen). Für kleine und mittlere Unternehmen sind diese jedoch eine echte Herausforderung. Und für Start-ups und die Spin-offs unserer Hochschulen und Universitäten sind sie ein Killerargument. Hier darf man getrost die Frage stellen, warum wir so viel Geld in die Invention stecken, wenn wir dann die Innovation, d.h. die erfolgreiche wirtschaftliche Umsetzung einer Erfindung zugunsten der Gesellschaft behindern. Ähnliches droht wie oben beschrieben mit dem EU AI Act. Es wäre wünschenswert, die Schweiz würde aus der Geschichte (in diesem Falle der Erfahrung aus der EU MDR) lernen.
Einen anderen Weg schlagen die USA ein[20]. Das in Kalifornien vorgeschlagene KI-Gesetz soll v.a. die höchsten Risiken regeln. Medizinprodukte werden nur in seltenen Fällen von dem Gesetzesvorschlag touchiert, weil sie kaum den Anspruch an ein «Covered Model» erfüllen werden[21] - im Gegensatz zu grossen, generativen KI-Modellen. Die FDA, die US Zulassungsbehörde auch für Medizinprodukte veröffentlich laufend sogenannte (Add-on) Guidelines und sorgt damit rund um das Thema «AI/ML-enabled Medical Device» für Klarheit und Sicherheit . Es verwundert daher nicht, dass in den USA viele KI-basierte Medizinprodukte problemlos und erfolgreich in Verkehr gebracht werden[22]. Europa hingegen hinkt Jahre hinterher. Auch Schweizer MedTech Hersteller gehen mit betroffenen Produkten zuerst in den US Markt und fordern eine Akzeptanz von FDA-zugelassenen Produkten in der Schweiz[23]. Gewisse Produkte sind aufgrund der hohen regulativen Anforderungen in der Schweiz überhaupt nicht mehr verfügbar. Unser Markt ist zu klein und der Aufwand darum nicht gerechtfertigt.
Die MedTech macht seit Jahren gute Erfahrung mit Managementsystemen. Internationale Normen gibt es auch für die KI, im Speziellen für Managementsysteme[24]. Dieser Ansatz wird in Europa[25] und der Schweiz für Cybersecurity[26] bereits erfolgreich umgesetzt. Wieso also nicht den Weg vom Fach her kommend und international abgestimmt wählen, um später gezielt nachzujustieren – anstatt wie bei der KI politisch alles über eine Leiste schlagen zu wollen? Der Ansatz der EU schüttet das Kinde mit dem Bade aus und führt zu relevantem Know-how- und Erfahrungsverlust für die Schweiz – was auch die Erfahrung mit der EU MDR zeigt. Bei einem so wichtigen Thema wie KI wäre das für das Bildungsland Schweiz fatal.
Die Schweiz sollte darum für KI im MedTech-Bereich keine zusätzlichen Regeln vorsehen und aus den negativen Erfahrungen mit der EU MDR lernen. Ein Verbot für gewisse KI-Systeme erscheint auch in der Schweiz sinnvoll[27]. Wie detailliert ein spezifisches KI-Gesetz aussehen soll und welche Anforderungen effektiv zum Schutz der Gesellschaft wichtig sind, ist jedoch bislang ungeklärt. In der Medizintechnik jedenfalls kann man mit gutem Gewissen sagen, dass sämtliche Herausforderungen bereits abgedeckt sind und ein Nachvollzug des EU AI Act in dem Bereich wohl nur noch mehr Papier produzieren wird. Die dafür benötigten Berater:innen, die bereits nach der EU MDR wie Pilze aus dem Boden geschossen sind, wird es freuen. Gewinner:innen (und in der Konsequenz auch Verlierer:innen) gibt es in solchen Situationen immer. Wer wird es diesmal sein?
[1] Generative KI unterscheidet sich von konventioneller KI insofern, dass sie nicht nur Muster erkennt oder zu gelernten Mustern zuordnet (z.B. diagnostische KI in der MedTech zur Erkennung einer Krankheit), sondern auch Inhalte wie Text, Bilder, Musik, Audio und Videos erstellt resp. mit Hilfe von statistischen Verfahren generiert.
[2] Verordnung (EU) 2024/1689 (https://eur-lex.europa.eu/eli/reg/2024/1689/oj)
[3] Ein nüchterner Blick auf den Mythos KI: Auswirkungen von Künstlicher Intelligenz auf den Menschen (https://www.satw.ch/de/news/ein-nuechterner-blick-auf-den-mythos-ki-auswirkungen-von-kuenstlicher-intelligenz-auf-den-menschen)
[4]Wie soll «Künstliche Intelligenz» reguliert werden? – Eine Gratwanderung zwischen Innovation und gesellschaftsverträglichem Risiko (https://www.satw.ch/de/news/wie-soll-kuenstliche-intelligenz-reguliert-werden-eine-gratwanderung-zwischen-wohlstandsstiftender-innovation-und-gesellschaftsvertraeglichem-risiko)
[5] Verordnung (EU) 2024/1689, Artikel 96 Buchstabe f)
[6] Verordnung (EU) 2024/1689, Artikel 6, Nummer 1
[7] Verordnung (EU) 2017/745 (https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX%3A32017R0745)
[8] What is an AI system? (https://oecd.ai/en/wonk/definition)
[9] Council of Europe Framework Convention on AI and Human Rights, Democracy and the Rule of Law, Artikel 2 (https://rm.coe.int/1680afae3c)
[10] Verordnung (EU) 2024/1689, Artikel 3, Nummer 1 (https://eur-lex.europa.eu/eli/reg/2024/1689/oj)
[11] CA SB 1047, 22602, (b) (https://leginfo.legislature.ca.gov/faces/billNavClient.xhtml?bill_id=202320240SB1047)
[12] Verordnung (EU) 2024/1689, Anhang VIII, Regel 11 (https://eur-lex.europa.eu/eli/reg/2024/1689/oj)
[13] EN ISO 62304, Abschnitt 4.3
[14] Verordnung (EU) 2024/1689, Anhang I, Nummer 1 (https://eur-lex.europa.eu/eli/reg/2024/1689/oj)
[15] Verordnung (EU) 2024/1689, Artikel 6, Nummer (1), (a) sowie Anhang I, Abschnitt A (https://eur-lex.europa.eu/eli/reg/2024/1689/oj)
[16] Verordnung (EU) 2024/1689, Anhang I, Nummer 1-5 (https://eur-lex.europa.eu/eli/reg/2024/1689/oj) sowie EN ISO 14971
[17] Verordnung (EU) 2024/1689, Artikel 9
[18] www.sqs.ch/de/blog/ims-was-ist-ein-integriertes-managementsystem
[19] EN ISO 13854, EN ISO/IEC 27001, ISO/IEC 42001 und EN ISO 14971
[20] CA SB 1047 (https://leginfo.legislature.ca.gov/faces/billNavClient.xhtml?bill_id=202320240SB1047)
[21] CA SB 1047, 22602, (c) (1) (https://leginfo.legislature.ca.gov/faces/billNavClient.xhtml?bill_id=202320240SB1047)
[22] https://www.fda.gov/medical-devices/software-medical-device-samd/artificial-intelligence-and-machine-learning-aiml-enabled-medical-devices
[23] www.swiss-medtech.ch/sites/default/files/2023-05/Swiss%20Medtech_Position_Motion_20.3211_DE.pdf
[24] ISO/IEC 42001
[25] Verordnung (EU) 2022/2555 (https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX%3A32022L2555)
[26] https://www2.post.ch/-/media/post/ueber-uns/dokumente/factsheet-zertifizierungen.pdf?sc_lang=de&hash=655D204DAB13C6992BE35379F0C8A21F, https://www.swisscom.ch/de/about/governance/risikomanagement/iso-iec-managementsystem.html, https://www.bsi.bund.de/DE/Themen/Unternehmen-und-Organisationen/Standards-und-Zertifizierung/Zertifizierung-und-Anerkennung/Zertifizierung-von-Managementsystemen/ISO-27001-Basis-IT-Grundschutz/iso-27001-basis-it-grundschutz_node.html, https://www.ar.admin.ch/de/informationssicherheit, https://swissgrc.com/staerkung-der-digitalen-resilienz-das-informationssicherheitsgesetz-des-bundes-isg/ usw.
[27] Wie soll «Künstliche Intelligenz» reguliert werden? – Eine Gratwanderung zwischen Innovation und gesellschaftsverträglichem Risiko (https://www.satw.ch/de/news/wie-soll-kuenstliche-intelligenz-reguliert-werden-eine-gratwanderung-zwischen-wohlstandsstiftender-innovation-und-gesellschaftsvertraeglichem-risiko)
