Manifeste de l'AV sur les IA génératives basées sur des LLM

Hello tout le monde,

Lors de la toute récente résidence de l’AV, un atelier questionnant l’usage des IA génératives basées sur des LLM a été mené. Quelques notes ont été prises ici : Résidence Assemblée virtuelle - Faire systèmes 2024 - HedgeDoc

Il a notamment été évoqué l’idée de rédiger un manifeste pour que l’on puisse se positionner sur les usages de cette technologie.

Personnellement j’ai tout récemment commencé à bricolé avec le Mixtral déployé par Infominiak et je me questionne sur les limites technico-éthiques de ce que je peux en faire. Aussi, plusieurs personnes de ma coopérative se posent des questions similaires, d’autres se sont directement engouffrés dans un usage quotidien de chatGPT, Copilot et Gemini.

Bref je suis assez motivé pour initié ce manifeste et essayer d’en cracher une première version à courts termes :slight_smile: !

2 « J'aime »

Je suis choqué de voir « recherche juridique » dans les usages possibles.

Pour tous les cas d’usage de recherche d’information, en dehors de recherche d’information généraliste de « culture générale », les réponses des LLM généralistes entrainés à partir de corpus web sont à mettre en doute. (si le LLM a digéré un corpus spécifique, c’est différent)

Il faut comprendre que les LLM n’ont aucune connaissance indépendante du language, aucun « graphe de connaissance ». Ils peuvent donner des réponses différentes à la même question posée dans des langues différentes. Un must-see sur ce point, et sur l’impact énergétique des LLMs : https://www.youtube.com/watch?v=WqYBx2gB6vA

Une hallucination dans une réponse à caractère juridique d’un LLM est tout simplement catastrophique : À cause de ChatGPT, un avocat américain cite des arrêts... qui n'ont jamais existé

L’usage pertinent des LLM d’après moi est l’équivalent d’une IHM : input/output, mais il doit déléguer la recherche d’information à une base externe (principe du RAG, retrieval augmented generation)

3 « J'aime »

Merci pour ton retour @thomas.francart !

C’est justement l’idée de rebondir sur les notes prises pendant cet atelier et les confronter pour tâcher de forger un manifeste avec le moins d’angles morts possibles :slight_smile:

2 « J'aime »

Hello !

J’ai esquissé un plan ici : [en cours de rédaction] Manifeste de l'Assemblée Virtuelle sur l'essor des IA génératives - HedgeDoc

Des motivés pour proposer des ajustements avant qu’on se lance dans une rédaction plus détaillée ?

Je suis particulièrement preneur de chiffres et références pour illustrer nos propos.

@guillaume.rouyer @Alice @fluidlog @simon.louvet.zen @srosset @ancelin @jules

1 « J'aime »

Hey, ça me paraît être une bonne base, j’ai pas trop de bande passante pour travailler à son approfondissement, mais je suis disponible en veille pour relire :slightly_smiling_face:

Pour répondre sur la recherche juridique @thomas.francart, je crois que c’est Ancelin et moi-même qui l’avions mentionné. Avec NOÉ, nous l’utilisons pour créer des bases de documents adaptées à nos besoins. On génère un squelette, et on le retravaille ensuite pour aboutir à un document qui tient la route, et on fait éventuellement relire par l’IA. Mais effectivement, il faut être bien alerte sur le contenu du document et rester maître de chaque phrase qui y est écrite. On fait aussi des recherches avec l’IA sur des questions pointues, là où une recherche sur internet est infructueuse. Ça nous donne des pistes, et on peut ensuite approfondir et confirmer ces pistes par une recherche complémentaire. Je suis d’accord il ne faut jamais croire une IA générative sur parole. Sa qualité est de générer des idées, pas des vérités.

Ceci dit, sur des travaux plus simples en lien avec la génération « pure » (trouver des champs lexicaux, labelliser de la donnée) l’IA peut s’avérer très performante avec un taux d’erreur dont ça ne m’étonnerait pas qu’il soit même en dessous du taux d’erreur humain.

En bref, l’intégration de l’ia s’accompagne toujours d’une évaluation/mitigation de son inévitable faillibilité. Parfois l’erreur est acceptable (labellisation fausse une fois sur 1000), parfois moins (articles juridiques inexacts dans documents officiels)

1 « J'aime »

précision : dans " 1. Pour faire de la recherche en language naturelle" il est entendu, transformer du language naturel en requetes (SPARQL, CubicWeb, ElacticSerach…)

Un équivalent de notre workshop sur L’IA de la résidence mais d’un autre niveau avec du big data dedans : https://www.youtube.com/watch?v=dgouFEVCG2I (surtout à partir de 1:28)

1 « J'aime »

J’ai écouté et merci cela donne d’autres éléments ! Notamment les LLM locaux histoire d’utiliser la puissance matérielle des ces pc neufs ne servant qu’à de la bureautique.

J’essaie de faire un premier jet de manifeste pour vous le soumettre à relecture d’ici la fin mars.

autres contenus source : https://www.youtube.com/watch?v=tTb5wQw_8JE

1 « J'aime »

Merci @simon.louvet.zen !

Je ne l’avais pas écouté en entier et que d’une oreille il faudra que je me pose pour le reprendre dans de meilleures conditions ^^