Intelligence artificielle (antagoniste): SATW

Cybersécurité Cybersecurity Map Intelligence artificielle mercredi, 21. octobre 2020 12:00

Situation actuelle

L’importance grandissante de l’intelligence artificielle (IA) et de l’automatisation dans les sociétés numériques est incontestable. Elle améliore non seulement l’efficacité, mais aussi la qualité des décisions, notamment dans le domaine médical. Mais l’IA s’accompagne également de risques de sécurité, comme des cyberattaques automatisées, ou lorsque des outils d’intelligence artificielle antagoniste (AAI pour Adversarial Artificial Intelligence en anglais) contournent les mécanismes de sécurité et compromettent les systèmes.

Les termes intelligence artificielle et apprentissage automatique, un sous-ensemble de l’IA, couvrent un vaste champ de recherche, qui est lui-même une branche de l’informatique et qui s’apparente à la recherche opérationnelle. En substance, l’IA désigne une approche qui, en identifiant et en classifiant l’information contenue dans des données entrantes, permet aux machines d’imiter un comportement humain intelligent. Cette intelligence peut reposer sur des séquences programmées ou être générée par apprentissage automatique. L’apprentissage automatique, lui, décrit une méthode (modèles mathématiques et algorithmes) destinée à prédire des événements sur la base de schémas identifiés dans les jeux de données considérés. Les possibilités qu’offrent l’intelligence artificielle et l’automatisation des décisions ou des actions prennent une importante toujours plus grande dans la société numérique et dans l’industrie. Notre faculté à prendre des décisions critiques et à automatiser les procédures ou les processus décisionnels dépend de plus en plus de la capacité de l’IA à évaluer et à agir de manière autonome. Elle nous permet de tirer des enseignements à partir d’un grand nombre d’expériences antérieures, à identifier des corrélations et à classifier des données complexes.

En plus de permettre l’automatisation de processus, et donc un gain d’efficacité, l’IA améliore également la qualité des décisions : comparativement à une approche purement manuelle, il apparait que, dans le domaine médical notamment, les décisions peuvent être plus pertinentes et, dans ce cas, avoir un impact sur l’espérance de vie.

Dans le domaine de la cybersécurité, l’utilisation de l’IA permet de mieux détecter les attaques grâce au traitement de volumes importants de données et à la recherche de schémas inhabituels. Toutefois, cette même technologie donne aussi aux assaillants la possibilité d’identifier des schémas et des failles dans des systèmes complexes puis de les exploiter automatiquement.

Alors que la numérisation s’étend à tous les domaines de la vie et que la disponibilité des données s’accroît, l’intelligence artificielle joue un rôle de plus en plus central, faisant d’elle une technologie cruciale pour la Suisse. Cette discipline n’en est encore qu’à ses balbutiements (pour l’heure, nous avons surtout recours à la branche de l’apprentissage automatique, notamment pour la reconnaissance automatique de contenus visuels) ; on peut donc s’attendre à ce que l’amélioration progressive des capacités s’accompagne d’un impact significatif sur différents domaines technologiques. En plus d’afficher un fort potentiel, l’IA est aussi la source de questionnements éthiques complexes qu’il faut impérativement prendre en compte et encadrer de mesures d’accompagnement.

La généralisation de l’IA engendre, aussi, le phénomène de l’« intelligence artificielle antagoniste », une démarche qui consiste, pour un assaillant, à exploiter des méthodes et des outils d’IA dans le but

de compromettre les modèles d’IA en usage,
de dimensionner et d’automatiser des éléments d’attaques au moyen de deepfakes et de menaces persistantes avancées (APT), qui étaient impossibles à réaliser jusqu’alors (deepfakes) ou qui dépendaient largement d’opérations manuelles.

Dans le cas A ci-dessus, l’AAI conduit les modèles d’apprentissage automatique attaqués à mal interpréter les informations transmises et à réagir de manière favorable à l’assaillant. Afin de compromettre le comportement d’un modèle, les assaillants créent des « données hostiles », c’est-à-dire des données pourvues d’une sorte de porte dérobée, qui ressemblent souvent aux entrées attendues, mais affectent la performance du modèle ou modifient les résultats qu’il produit en faveur des assaillants. Les modèles d’IA classent ensuite ces données hostiles de manière inverse à celle attendue et fournissent des réponses incorrectes avec une grande exactitude. Différents modèles d’IA, y compris les réseaux neuronaux les plus récents, sont vulnérables face à des données hostiles de cette nature.

Enjeux

Conjuguée à l’abondance croissante de données, la baisse des coûts liés à la puissance de calcul a conduit au développement de modèles d’IA de plus en plus complexes, dont certains comportements échappent à la compréhension humaine ainsi que, dans une mesure grandissante depuis l’arrivée de l’« apprentissage profond », à toute forme d’intelligibilité et de contrôle humains. À ce titre, un document de recherche récent établit qu’il est possible d’intégrer des portes dérobées dans des modèles entrainés qui, indétectables en mode standard, sont toutefois en mesure d’adopter un comportement spécifique en cas d’activation ciblée. Il apparaît qu’une telle approche permettrait à ses auteurs d’inciter un système d’apprentissage automatique à produire un résultat conforme à leurs attentes au moyen d’entrées manipulées spécifiques. Ce document indique également que les portes dérobées sont indétectables, même avec des tests nombreux et variés.

Il a déjà pu être démontré que des attaques par manipulation ont été menées contre des technologies clés telles que le traitement d’images, la reconnaissance optique de caractères (OCR), le traitement automatique du langage naturel (NLP), la voix et la vidéo (deepfakes) ou encore la reconnaissance de logiciels malveillants.

Exemples d’autres menaces AAI

Deepfakes et échange de visage (changer l’expression du visage ou simplement échanger le visage d’une personne par celui d’une autre grâce à une manipulation générée par ordinateur) dans des vidéos au moyen d’algorithmes d’apprentissage automatique. Il existe des services deepfake accessibles sur Internet pour à peine quelques dollars. Comme l’a récemment signalé Europol, les deepfakes tendent à faire toujours plus fréquemment partie de l’arsenal des criminels et il faut s’attendre à voir augmenter le risque de campagnes de désinformation orchestrées à l’aide de cet outil. Disponibles en temps réel, de nombreux services repoussent ainsi les limites du possible et, après avoir envahi le monde des images fixes et des vidéos enregistrées, s’attaquent désormais aux visioconférences, dynamiques.
Reconnaissance/classification des images dans le domaine de la conduite autonome, p. ex. interprétation erronée de panneaux de signalisation ou d’obstacles.
Manipulation de la reconnaissance textuelle dans les services automatisés de traitement des documents ou de paiements.
Capacité à contourner et à industrialiser les mécanismes de détection et de contrôle des fraudes pilotés par l’IA (au moyen d’APT automatisés et industrialisés grâce à l’IA).
Exercice d’une influence malveillante sur des modèles d’IA visant à discréditer certains groupes de personnes.

Mesures à envisager aux échelons politiques, économiques et sociétaux : les faiblesses actuelles

À l’heure actuelle, de nombreuses questions stratégiques relatives aux dépendances critiques sont encore sans réponse :

Dans quelle mesure faut-il contrôler les applications d’IA touchant à des infrastructures critiques ou couvrant un large périmètre au sein de la société en Suisse quant à la conformité légale de leur exécution ou à d’éventuelles manipulations (notamment en ce qui concerne les aspects éthiques, la protection des données, la transparence et l’AAI, la qualité des jeux de données, etc.) ?

Quelles évolutions se dessinent quant à l’utilisation de l’AAI par les cybercriminels et comment la Suisse doit-elle anticiper ces évolutions sur le plan de la cybersécurité et y répondre ?

Quelles stratégies proactives et réactives permettent de renforcer la résilience face à l’AAI en Suisse ?

Recommandations : des solutions pour les milieux politiques, économiques et sociétaux

L’AAI vise une cible qui n’avait encore jamais eu besoin de protection : les modèles d’IA eux-mêmes. Les expert·e·s du Cybersecurity Advisory Board de la SATW recommandent la mise en œuvre des mesures suivantes :

Les risques associés aux modèles d’IA de même qu’à l’automatisation et la prise de décision générées par IA doivent être intégrés à l’évaluation des risques pour les infrastructures critiques.
Il y a lieu de bien comprendre où les menaces liées à l’AAI peuvent conduire à de nouveaux risques systémiques et où il est nécessaire de développer et mettre en place de nouveaux mécanismes de protection pertinents.
Le choix des modèles d’IA (résistance à la manipulation) doit notamment s’appuyer sur le critère de robustesse.
Les établissements de formation de tous niveaux doivent s’assurer qu’ils disposent des cursus nécessaires et du vivier de talents approprié pour asseoir et développer le savoir-faire nécessaire en Suisse (IA, utilisation de l’IA dans le domaine de la cybersécurité). Le SEFRI doit créer et coordonner les incitations pertinentes.
La réglementation en la matière veillera toutefois à s’inscrire dans un cadre modéré, à faire preuve de neutralité technologique et à créer un contexte de confiance pour ne pas freiner l’innovation.
Les questions éthiques liées à l’utilisation de l’IA doivent être traitées avec l’importance qu’elles méritent dans tous les processus décisionnels afin d’instaurer la confiance au sein de la société et encourager l’acceptation de ces technologies et de leurs applications.

Les applications de l'IA pénètrent de plus en plus de domaines de l'économie et de la société, dans lesquels ses avantages sont exploités, par exemple pour prédire des résultats à partir d'ensembles de données. De nombreuses applications, que ce soit dans le domaine de la médecine, des transports ou de l'agriculture, reposent sur l'IA et il n'est pas rare que des infrastructures critiques et des applications liées à la sécurité soient concernées. Pour cette raison et compte tenu de la forte augmentation de la diffusion de l'utilisation d'algorithmes et de solutions toujours plus performants, le thème de l'IA - et les opportunités et les dangers qui en découlent sous forme d'AAI - est d'une grande importance pour la société et l'économie suisse.