LoRA au-delà de la démo : retour d'expérience sur la classification de 60 intentions d'assurance

Wed, 18 Dec 2024 08:30:00 +0100

Sur un cas de classification de demandes clients couvrant 60 intentions d’assurance, le modèle de base routait correctement 50,07 % des 3 000 demandes du test. Après un fine-tuning supervisé avec LoRA, réalisé sans modifier les poids d’origine du modèle, l’accuracy est montée à 92,00 % : +41,93 points, soit environ 84 % d’erreurs en moins. Dans le même temps, le taux de réponses respectant strictement le contrat JSON est passé de 96,63 % à 99,97 %.

Generative AI on Lean Deep Tech blog

LoRA au-delà de la démo : retour d'expérience sur la classification de 60 intentions d'assurance