(Adversarial) Artificial Intelligence: SATW

Cybersecurity Cybersecurity Map Künstliche Intelligenz Mittwoch, 21. Oktober 2020 12:00

Stand der Dinge

Die zunehmende Bedeutung von Künstlicher Intelligenz (KI) und Automatisierung in der digitalen Gesellschaft ist unbestreitbar. Sie verbessert nicht nur die Effizienz, sondern auch die Qualität von Entscheidungen, wie beispielsweise in der Medizin. Doch KI birgt auch Sicherheitsrisiken durch automatisierte Cyberangriffe oder wenn mittels Adversarial Artificial Intelligence (AAI), also feindlicher KI, Sicherheitsmechanismen umgangen und Systeme kompromittiert werden.

Die Begriffe KI und der KI-Teilbereich Maschinelles Lernen (ML) decken ein grosses Forschungsgebiet ab, das ein Teil der Computer Science ist und mit der Operationsforschung verwandt ist. Bei KI handelt es sich im Kern um einen Ansatz, mit dem Maschinen intelligentes, menschliches Verhalten imitieren, indem Informationen in Eingabedaten erkannt und sortiert werden. Diese Intelligenz kann auf programmierten Abläufen basieren oder durch ML erzeugt werden. Bei ML handelt es sich um eine Methode (mathematische Modelle und Algorithmen) zur Vorhersage von Ereignissen, basierend auf erkannten Mustern aus vorhandenen Datensätzen. Die Möglichkeiten der Künstlichen Intelligenz und der Automatisierung von Entscheiden bzw. Handlungen werden für die digitale Gesellschaft und Industrie immer wichtiger. Um kritische Entscheidungen zu treffen und Prozesse sowie Entscheidungsabläufe zu automatisieren, sind wir zunehmend von der Fähigkeit der KI zur eigenständigen Beurteilung und Handlung abhängig. Sie ermöglicht es uns, aus vielen früheren Erfahrungen zu lernen, Schlussfolgerungen zu ziehen, Zusammenhänge zu entdecken und komplexe Daten zu klassifizieren.

Neben der Möglichkeit, Abläufe zu automatisieren und somit eine Steigerung der Effizienz zu bewirken, ermöglicht die KI auch eine Steigerung der Qualität der getroffenen Entscheidungen: im Vergleich zu einem rein manuellen Vorgehen zeigt sich, dass beispielsweise medizinische Entscheide von höherer Güte sein können und in diesem Fall zur Steigerung der Lebenserwartung führen.

Im Bereich der Cybersicherheit erlaubt der Einsatz von KI, Angriffe besser zu erkennen, indem grosse Datenmengen verarbeitet und auf ungewöhnliche Muster hin überprüft werden. Jedoch ermöglicht die gleiche Technologie es den Angreifern auch, Muster und Schwächen in komplexen Systemen zu erkennen und diese automatisiert auszunutzen.

Mit der zunehmenden Digitalisierung aller Lebensbereiche sowie der grösseren Verfügbarkeit von Daten steigt die Bedeutung von KI, weshalb die Technologie auch für die Schweiz von grosser Wichtigkeit ist. Weil wir in dieser Disziplin eher noch in den Anfängen der zu erwartenden Entwicklung stehen – wir nutzen aktuell vor allem den Teilbereich des «Machine Learning», beispielsweise für die automatisierte Erkennung von Bildinhalten – kann mit den steigenden Fähigkeiten auch der Einfluss auf verschiedene Technologiebereiche noch deutlich steigen. KI bringt neben grossem Potential auch komplexe ethische Fragen mit sich, die zwingend beachtet und mit flankierenden Massnahmen versehen werden müssen.

Die grosse Verbreitung der KI führt u.a. auch zum Phänomen der «Adversarial Artificial Intelligence», bei der Angreifer Methoden und Werkzeuge der KI ausnutzen, um

sich in Gebrauch befindliche KI-Modelle zu kompromittieren
mit Deepfakes und Advanced Persistent Threats (APTs) Elemente von Angriffen zu skalieren und zu automatisieren, die vorher unmöglich waren (Deepfakes) oder stark auf manuellen Prozessen beruhten.

AAI führt in obigem Fall A dazu, dass attackierte Modelle des Maschinellen Lernens übermittelte Angaben falsch interpretieren und sich in einer für die Angreifenden günstigen Weise verhalten. Um das Verhalten eines Modells zu kompromittieren, erstellen Angreifer:innen «gegnerische Daten», also Daten mit einer Art Hintertür, die oft den zu erwartenden Eingaben ähneln, aber die Leistung des Modells beeinträchtigen oder die Ausgabe des Modells im Sinne der Angreifernden verändern. KI-Modelle klassifizieren dann diese gegnerischen Daten entgegen der erwarteten Weise und liefern mit hoher Genauigkeit inkorrekte Antworten. Verschiedene KI-Modelle, einschliesslich hochmoderner neuronaler Netze, sind anfällig für solche gegnerischen Daten.

Herausforderungen

Die günstiger werdende Rechenleistung und die steigende Fülle der gesammelten Daten führen dazu, dass immer komplexere KI-Modelle entwickelt werden, bei denen sich viele Verhaltensweisen dem menschlichen Verstand und — spätestens ab der Kategorie «Deep Learning» — immer mehr der Nachvollziehbarkeit und der menschlichen Kontrolle entziehen. So zeigt ein aktuelles Forschungspapier1, dass in trainierte Modelle Hintertüren so eingebaut werden können, dass diese aufgrund des Standardverhaltens des Modells nicht erkennbar sind, jedoch bei gezielter Aktivierung ein gesondert spezifiziertes Verhalten zeigen. Dies würde es den Urhebern erlauben, ein System des Maschinellen Lernens mit spezifisch manipulierten Inputs zu einer von ihnen gewünschten Entscheidung zu veranlassen. Die Hintertüren könnten auch mit noch so vielen Tests nicht entdeckt werden.

Manipulative Angriffe auf Schlüsseltechnologien wie Bildverarbeitung, optische Zeichenerkennung (OCR), Verarbeitung natürlicher Sprache (NLP), Sprache und Video (Deepfakes) sowie Erkennung von Malware wurden bereits nachgewiesen.

Beispiele für weitere AAI-Bedrohungen:

Deepfakes und Face Swapping (Gesichtsausdruck oder nur das Gesicht einer Person auf eine andere übertragen durch computergenerierte Manipulation) in Videos unter Verwendung von maschinellen Lernalgorithmen. Deepfake-Dienste werden online bereits für wenige Dollar angeboten. Wie Europol2 kürzlich vermeldet hat, werden Deepfakes bei Kriminellen ein immer beliebteres Werkzeug und es ist mit einer Zunahme dieser Gefährdung zu rechnen, um Desinformationskampagnen durchzuführen. Viele Dienste sind in Echtzeit verfügbar, was die Grenze der Machbarkeit vom statischen Bild und aufgezeichneten Video hin zu dynamischen Videokonferenzen verschiebt.
Bilderkennung/Klassifizierung im Bereich des autonomen Fahrens, z.B. Fehlinterpretation von Strassenschildern oder Hindernissen.
Manipulation der Texterkennung in automatisierten Dienstleistungen der Dokumenten- oder Zahlungsverarbeitung.
Fähigkeit, AI-gesteuerte Betrugserkennungs- und Kontrollmechanismen zu umgehen und zu industrialisieren (mittels KI-automatisierter und industrialisierter APT).
Böswillige Beeinflussung von AI-Modellen zur Begünstigung oder Diskreditierung bestimmter Gruppen.

Handlungsbedarf für Politik, Wirtschaft und Gesellschaft: Diese Lücken bestehen aktuell

Aktuell sind noch zahlreiche strategische Fragestellungen unbeantwortet, die im Zusammenhang mit kritischen Abhängigkeiten stehen:

Inwiefern sollten Anwendungen der KI in kritischen Infrastrukturen oder mit breiter gesellschaftlicher Relevanz in der Schweiz auf deren rechtmässige Ausführung oder auf Manipulation kontrolliert werden (v.a. in Bezug auf Ethik, Datenschutz, Transparenz und AAI, Qualität von Trainingsdatensätzen, etc.)?

Welche Entwicklung zeichnet sich bzgl. Einsatz von AAI in der Cyberkriminalität ab und wie muss die Schweiz eine solche Entwicklung in der Cybersicherheit antizipieren und darauf reagieren?

Welche proaktiven und reaktiven Strategien gibt es in der Schweiz, um resistenter gegenüber AAI zu werden?

Empfehlungen: So kann die Politik, Wirtschaft und Gesellschaft die Lücken schliessen

AAI zielt auf eine Angriffsfläche, die noch nie zuvor geschützt werden musste: Die KI-Modelle selbst. Die Expert:innen des SATW Advisory Boards Cybersecurity empfehlen die Umsetzung folgender Massnahmen:

Die mit KI-Modellen sowie KI-gesteuerter Automatisierung und Entscheidungsfindung verbundenen Risiken müssen Teil der Risikobewertung der kritischen Infrastrukturen sein.
Es muss ein Verständnis dafür entwickelt werden, wo AAI-gesteuerte Bedrohungen zu neuen, systemrelevanten Risiken führen können und wo entsprechend neue Schutzmechanismen entwickelt und eingesetzt werden müssen.
Die Robustheit von KI-Modellen (Widerstandsfähigkeit gegen Manipulation) muss als Entscheidungskriterium bei der Auswahl solcher Modelle berücksichtigt werden.
Bildungsorganisationen auf allen Ebenen müssen sicherstellen, dass sie über die erforderlichen Ausbildungsgänge und Talent-Pipeline verfügen, um das notwendige Know-how (KI, AAI, Einsatz von KI im Bereich Cybersicherheit) in der Schweiz aufzubauen und weiterzuentwickeln. Das SBFI muss entsprechende Anreize schaffen und steuern.
Regulierung sollte jedoch zurückhaltend, technologieneutral und vertrauensbildend ausgestaltet sein, um Innovation nicht zu behindern.
Mit dem Einsatz von KI verknüpfte, ethische Fragen sollten bei allen Entscheiden gebührend berücksichtigt werden, um gesellschaftliches Vertrauen und Akzeptanz für die Anwendung dieser Technologien zu erreichen und zu fördern.

Anwendungen der KI durchdringen immer mehr Bereiche der Wirtschaft und Gesellschaft, in denen man sich ihre Vorteile, z.B. aus Datensätzen Ergebnisse vorherzusagen, zu Nutze macht. Zahlreiche Anwendungen, sei es in der Medizin, im Verkehr oder in der Landwirtschaft beruhen auf KI und nicht selten sind kritische Infrastrukturen und sicherheitskritische Anwendungen betroffen. Aus diesem Grund und mit Blick auf die stark ansteigende Verbreitung des Einsatzes von immer leistungsfähigeren Algorithmen und Lösungen, ist das Thema KI – und die sich daraus ergebenden Chancen und Gefahren in Form von AAI – von grosser gesellschaftlicher und volkswirtschaftlicher Relevanz für die Schweiz.