Techniques des injections de prompt, un nouvel eldorado de menaces dirigées vers l’IA

Magazine
Marque
MISC
Numéro
134
Mois de parution
juillet 2024
Spécialité(s)


Résumé

Aujourd’hui tout est IA, ce qui ne l’est pas se classe immanquablement dans l’obsolète, le désuet et donc l’invendable. Or, le domaine des grands modèles de langage (Large Language Model ou LLM) semble apporter une véritable révolution dans l’interaction Homme / machine sans aucune contrainte syntaxique. Le système est capable d’interpréter et générer un contenu inédit. Mais avec tant de liberté vient également la tentation de la détourner à bon ou mauvais escient. Bienvenue dans l’IA générative, l’univers fascinant des LLM et le monde cruel de la SSI !


Introduction

Avec la sortie fracassante de ChatGPT en 2022, le grand public a découvert les possibilités presque infinies offertes par l'IA générative. À peine plus d'un an après, de nouveaux modèles émergent de la part des grandes entreprises du numérique, et de nombreux services en proposent une intégration directe.

Pour tous ces systèmes, un élément apparaît comme central à leur bon fonctionnement : le prompt, une entrée transmise directement par l'utilisateur ou créée à la volée par le système appelant, que le modèle va interpréter et à partir duquel il va réagir.

Or, dans l'univers de la sécurité des systèmes d'information, la possibilité d'alimenter un programme à partir d'entrées arbitraires soulève immédiatement des préoccupations sur la possibilité d'une exploitation par injection. Dans ce contexte, des attaques d'un tout nouveau genre, qui ne nécessitent aucune compétence technique, apparaissent. L'intuitivité de ces...

Cet article est réservé aux abonnés. Il vous reste 97% à découvrir.
S'abonner à Connect
  • Accédez à tous les contenus de Connect en illimité
  • Découvrez des listes de lecture et des contenus Premium
  • Consultez les nouveaux articles en avant-première
Je m'abonne
Références

[1] https://openai.com/blog/introducing-the-gpt-store

[2] https://atlas.mitre.org/studies/AML.CS0016/

[3] "Universal Adversarial Triggers for Attacking and Analyzing NLP" par Eric Wallace et al., conférence EMNLP en 2019

[4] ALZANTOT, Moustafa, SHARMA, Yash, ELGOHARY, Ahmed, et al. Generating natural language adversarial examples. arXiv preprint arXiv:1804.07998, 2018.

[5] Jin, D., Jin, Z., Zhou, J.T., Szolovits, P., 2020. Is Bert really robust? A strong baseline for natural language attack on text classification and entailment. In: Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34. pp. 8018–8025

[6] https://www.preamble.com/prompt-injection-a-critical-vulnerability-in-the-gpt-3-transformer-and-how-we-can-begin-to-solve-it

[7] https://simonwillison.net/2022/Sep/12/prompt-injection/

[8] https://twitter.com/goodside/status/1569128808308957185?s=20

[9] https://twitter.com/leastfavorite_/status/1570475633557348355

[10] https://www.aicrowd.com/challenges/hackaprompt-2023

[11] https://gandalf.lakera.ai/

[12] https://gpa.43z.one/

[13] https://github.com/LouisShark/chatgpt_system_prompt

[14] NASR, Milad, CARLINI, Nicholas, HAYASE, Jonathan, et al. Scalable extraction of training data from (production) language models. arXiv preprint arXiv:2311.17035, 2023 (https://arxiv.org/abs/2311.17035)

[15] https://huggingface.co/blog/red-teaming

[16] https://platform.openai.com/docs/guides/moderation/overview

[17] https://huggingface.co/safetyllm/Llama-2-7b-chat-safety

[18] SCHULHOFF, Sander, PINTO, Jeremy, KHAN, Anaum, et al. Ignore This Title and HackAPrompt: Exposing Systemic Vulnerabilities of LLMs through a Global Scale Prompt Hacking Competition. arXiv preprint arXiv:2311.16119, 2023 (https://arxiv.org/abs/2311.16119)

[19] LIU, Yi, DENG, Gelei, XU, Zhengzi, et al. Jailbreaking chatgpt via prompt engineering: An empirical study. arXiv preprint arXiv:2305.13860, 2023 (https://arxiv.org/abs/2305.13860)

[20] https://gist.github.com/coolaj86/6f4f7b30129b0251f61fa7baaa881516

[21] https://www.linkedin.com/pulse/how-use-grandma-exploit-break-chatgpt-asiri-hewage

[22] https://www.reddit.com/r/ChatGPT/comments/12sn0kk/grandma_exploit/

[23] https://www.independent.co.uk/tech/chatgpt-microsoft-windows-11-grandma-exploit-b2360213.html

[24] https://twitter.com/immasiddtweets/status/1669721470006857729

[25] https://learnprompting.org/docs/prompt_hacking/injection

[26] https://learnprompting.org/docs/prompt_hacking/offensive_measures/obfuscation

[27] Kang, D., Li, X., Stoica, I., Guestrin, C., Zaharia, M., & Hashimoto, T. (2023). Exploiting Programmatic Behavior of LLMs: Dual-Use Through Standard Security Attacks. u/Nin_kat. (2023). New Jailbreak based on virtual functions – smuggle illegal tockens to the backend (https://arxiv.org/abs/2302.05733)

[28] https://www.reddit.com/r/ChatGPT/comments/10urbdj/new_jailbreak_based_on_virtual_functions_smuggl

[29] https://x.com/literallydenis/status/1708283962399846459?s=20

[30] https://www.reddit.com/r/ChatGPT/comments/10urbdj/new_jailbreak_based_on_virtual_functions_smuggle/

[31] https://www.langchain.com/

[32] https://ollama.com/

[33] https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_1.pdf

[34] https://github.com/openai/openai-python/blob/release-v0.28.0/chatml.md

[35] https://www.alignmentforum.org/posts/pNcFYZnPdXyL2RfgA/using-gpt-eliezer-against-chatgpt-jailbreaking

[36] https://huggingface.co/datasets/deepset/prompt-injections

[37] https://huggingface.co/datasets/hackaprompt/hackaprompt-dataset

[38] https://www.wired.com/story/air-canada-chatbot-refund-policy/



Article rédigé par

Les derniers articles Premiums

Les derniers articles Premium

Le combo gagnant de la virtualisation : QEMU et KVM

Magazine
Marque
Contenu Premium
Spécialité(s)
Résumé

C’est un fait : la virtualisation est partout ! Que ce soit pour la flexibilité des systèmes ou bien leur sécurité, l’adoption de la virtualisation augmente dans toutes les organisations depuis des années. Dans cet article, nous allons nous focaliser sur deux technologies : QEMU et KVM. En combinant les deux, il est possible de créer des environnements de virtualisation très robustes.

Brève introduction pratique à ZFS

Magazine
Marque
Contenu Premium
Spécialité(s)
Résumé

Il est grand temps de passer à un système de fichiers plus robuste et performant : ZFS. Avec ses fonctionnalités avancées, il assure une intégrité des données inégalée et simplifie la gestion des volumes de stockage. Il permet aussi de faire des snapshots, des clones, et de la déduplication, il est donc la solution idéale pour les environnements de stockage critiques. Découvrons ensemble pourquoi ZFS est LE choix incontournable pour l'avenir du stockage de données.

Générez votre serveur JEE sur-mesure avec Wildfly Glow

Magazine
Marque
Contenu Premium
Spécialité(s)
Résumé

Et, si, en une ligne de commandes, on pouvait reconstruire son serveur JEE pour qu’il soit configuré, sur mesure, pour les besoins des applications qu’il embarque ? Et si on pouvait aller encore plus loin, en distribuant l’ensemble, assemblé sous la forme d’un jar exécutable ? Et si on pouvait même déployer le tout, automatiquement, sur OpenShift ? Grâce à Wildfly Glow [1], c’est possible ! Tout du moins, pour le serveur JEE open source Wildfly [2]. Démonstration dans cet article.

Les listes de lecture

9 article(s) - ajoutée le 01/07/2020
Vous désirez apprendre le langage Python, mais ne savez pas trop par où commencer ? Cette liste de lecture vous permettra de faire vos premiers pas en découvrant l'écosystème de Python et en écrivant de petits scripts.
11 article(s) - ajoutée le 01/07/2020
La base de tout programme effectuant une tâche un tant soit peu complexe est un algorithme, une méthode permettant de manipuler des données pour obtenir un résultat attendu. Dans cette liste, vous pourrez découvrir quelques spécimens d'algorithmes.
10 article(s) - ajoutée le 01/07/2020
À quoi bon se targuer de posséder des pétaoctets de données si l'on est incapable d'analyser ces dernières ? Cette liste vous aidera à "faire parler" vos données.
Voir les 131 listes de lecture

Abonnez-vous maintenant

et profitez de tous les contenus en illimité

Je découvre les offres

Déjà abonné ? Connectez-vous