Des chercheurs français s’appuient sur Llama 2 de Meta pour résumer des amendements

Hémicycle de l'Assemblée Nationale garnie de députés assistant à une réunion plénière.

Sous l’impulsion de la direction générale des finances publiques (DGFiP), une trentaine de spécialistes de l’intelligence artificielle (IA) et du big data ont mis au point un outil pour synthétiser les amendements. Pour y parvenir, ils ont adapté Llama 2, un grand modèle de langage (LLM) développé et dévoilé par Meta l’an dernier. Le traitement […]

Hémicycle de l'Assemblée Nationale garnie de députés assistant à une réunion plénière.

Hémicycle de l'Assemblée Nationale garnie de députés assistant à une réunion plénière.

Sous l’impulsion de la direction générale des finances publiques (DGFiP), une trentaine de spécialistes de l’intelligence artificielle (IA) et du big data ont mis au point un outil pour synthétiser les amendements. Pour y parvenir, ils ont adapté Llama 2, un grand modèle de langage (LLM) développé et dévoilé par Meta l’an dernier.

Le traitement du langage naturel au service des législateurs

Chaque année, des dizaines de milliers d’amendements sont déposées par les députés et les sénateurs. Cela représente une immense quantité de texte que les agents publics sont obligés de lire, classer et résumer pour aider les ministres et les parlementaires dans leur travail. Pour gagner du temps, la DGFiP avec l’aide de la Direction de l’information légale et administrative (Dila) et de la direction interministérielle du numérique (Dinum), a conçu LlaMandement.

Selon les chercheurs, cette solution répond « aux défis administratifs posés par le traitement manuel d’un volume croissant d’amendements législatifs […] tout en égalent la robustesse d’un rédacteur juridique spécialisé ». Le modèle s’appuie sur la version Llama-2 70B, entraînée sur 70 milliards de paramètres et que Meta juge tout aussi performant que GPT-4 d’OpenAI.

Les chercheurs ont spécifiquement entraîné le LLM en se servant d’une base de données comprenant environ 15 000 amendements. Tous sont rédigés de la même manière. Ils présentent l’indicatif du projet de loi auquel l’amendement doit être appliqué, une mention permettant de savoir s’il s’agit d’un article additionnel ou s’il modifie un article existant, le corps de l’amendement, et enfin l’exposé sommaire justifiant de l’utilité de l’amendement ainsi que les objectifs qu’il doit remplir.

Capable de traiter le langage naturel, LlaMandement identifie chacune des parties afin de résumer l’amendement en quelques lignes. L’outil a déjà été testé à l’occasion de l’étude du projet de loi de Finances 2024. Il a été utilisé pour identifier rapidement, parmi les 5 400 amendements déposés au cours de l’année 2023, quels étaient ceux en rapport avec ce cadre législatif. En dix minutes, l’outil les a identifiés et a même remarqué qu’un texte sur six était redondant.

Le modèle a ensuite résumé les amendements en lien avec le projet de loi de Finances 2024. Ces synthèses ont été soumises à un panel de 20 agents publics qui les ont notés. Ils ont pu les comparer avec des résumés rédigés cette fois-ci par des humains. L’expérience a permis de montrer que les notes de l’IA étaient d’une qualité proche de celles du personnel juridique. Les agents administratifs ont attribué une moyenne de 16,5/20 aux résumés écrit par l’Homme, et 15,5/20 à ceux générés par LlaMandement. Des résultats encourageants, laissant envisager une généralisation de l’outil pour tous les projets et propositions de loi.